리뷰어는 언제나 옳다: 의학교육의 피어리뷰 (Med Educ, 2009)

The reviewer is always right: peer review of research in Medical Education

Kevin W Eva




글렌 레헤르가, '평론가는 항상 옳다'고 했을 때, 나의 반응은 이 말을 읽는 대부분의 작가들의 반응과 비슷했을 것이라고 생각한다.

When I first heard Glenn Regehr, say‘The reviewer is always right’, I imagine my reaction must have been similar to those of most authors upon reading the quote


이 사설은 첫째, 피어리뷰의 구조에 어떻게 생산적으로 접근할 수 있는지에 대한 나의 관점에서 작성되며, 둘째, 피어리뷰가 활용되는 방법을 시도하고 강화하기 위해 저널에서 우리가 구현하고 있는 전략의 일부를 강조하기 위해 작성된다.

this editorial is written, firstly from the perspective of an author regarding how one might productively approach the construct of peer review and, secondly, in order to highlight some of the strategies we are implementing in the journal to try andstrengthenthe way in which peer review is utilised.


그렇다면, 검토자가 잘못했던 경우가 그렇게 많음에도 불구하고, 어떻게 리뷰어가 항상 옳을 수 있을까? 대답은, 다소 원형으로, 불쾌한 사례에서조차, 리뷰어가 틀리지 않았다는 것이다.

So, how can it be that the reviewer is always right when it is so easy to recall instances in which the reviewer has been wrong? The answer, somewhat circularly, is that, even in those infuriating instances, the reviewer was not wrong.


처음 한 말에 이어, 레게르는 '만약 검토자가 어떤 것을 오해했다면, 내가 검토자의 주장을 명백히 문자그대로 반박하는 문단을 짚어낼 수 있다 하더라도, 저자로서 나는 그 주장을 clear하게 짚어내는데 실패한 것이다'고 명확히 했다. 리뷰어들이 무엇인가를 놓치거나 오해할 수 있지만, 리뷰어들은 저널의 어떤 일반적인 독자보다 훨씬 더 신중하고 의도적으로 우리의 논문을 읽는 경향이 있다는 것을 기억할 필요가 있다.

beyond his initial statement, Regehr clarified that: ‘If the reviewer has misunderstood something, even if I can point to a paragraph in the text that explicitly and literally counters the reviewer’s claim, then I as the author have failed to make the point clearly.’ Reviewers can miss or misinterpret things, but we as authors need to remember that peer reviewers tend to read our papers much more carefully and deliberately than the general readership of any journal does.


혼란을 최소화하는, 즉 영향을 극대화하는 방법으로 메시지를 전달할 방법을 찾기 위한 저자로서의 책임은 우리에게 있다.

the onus is on us as authors to find a way to pitch the message in a way that minimises confusion and, in turn, maximises impact


결국 평론가들은 우리의 청중이기도 하다. 그들은 우리가 우리의 연구 노력을 읽고 사용하기를 원하는 사람들이다. 그리고 만약 우리가 그들에게 우리의 연구를 명확하고 의미 있는 방식으로 하지 않는다면, 우리는 그것이 출판되더라도 그것의 영향이 optimal하지 않을 것임을 확신할 수 있다.

The reviewers, after all, are also our audience. They are the people we want to read and use our research efforts and if we do not pitch our work to them in a way that makes it clear and meaningful, then we can be sure that its impact will be less than optimal, even if it is published.


본능적인 반응들을 잠깐 접어두고, 어떻게 우리의 원고가 리뷰어의 피드백을 기반으로 개선될 수 있는지 이해하려고 노력하는 것이 절대적으로 중요하다.

it is absolutely vital to set our visceral reactions aside and try to understand how our work could be improved based on the feedback received.


시간이 흐르고 감정이 가라앉으면, 받은 의견을 바탕으로 어떻게 원고를 더 잘 개선할 수 있는지에 대해 열린 마음으로 질문하며 다시 논문으로 돌아가라. 피어리뷰가 갖는 모든 결점에도 불구하고, 나는 그 과정을 거치면서 개선되지 않은 논문을 본 적이 없다.

allow time to pass and emotions to subside, and then return to your paper with a spirit of openly questioning how it can be made better based on the comments received. For all the flaws inherent in peer review, I have never seen a paper, that was not improved as a result of going through the process.


이런 것을 고려하더라도, 우리는 여전히 리뷰어가 항상 옳도록 보장할 의무가 있다고 믿는다, 내용을 통제하는 것이 아니라, 피어리뷰의 과정을 효율적이고 전문적이며 건설적으로 실행하기 위해 우리가 할 수 있는 모든 것을 해야 한다는 의미이다.

Having said all that, we at the journal still believe that we have an obligation to ensure that the reviewers are always right, not at the level of controlling content, but at the level of doing whatever we can to run the process in an efficient, professional and constructive manner.


리뷰어로서, 어떤 경우든지 궁극적인 목표는 '내가 무엇을 배웠는가?'와 '저자들로 하여금 어떻게 내가 더 많이 배우도록 도울 수 있을까?'를 심사위원으로서 스스로에게 물어보는 것이어야 한다. 즉 '저자들이 전달하고자 하는 주장을 내게 납득시킬 수 있으려면 무엇을 해야했을까?' 만약 당신이 검토자로서 그 질문에 대답할 수 없다면, 애초에 해결될 수 없는 문제인지, 연구 방법이 수행가능하지 않은 것인지, 아니면 리뷰어가 불합리한 것인지를 결정할 필요가 있다.

The ultimate goal, in all instances, should be to ask yourself, as the reviewer, ‘Did I learn anything?’ and ‘How could the authors have helped me learn more?’ In other words, ‘What could the authors have done that would convince me of the argument they are trying to convey?’ If you cannot answer that question as a reviewer, it is necessary to determine whether the problem is unsolvable, the research method is untenable, or the reviewer is irascible and unreasonable.


동시에, 당신은 피어리뷰 과정에 적극적으로 참여하는 것이 이타적인 행동이라는 느낌을 가질 필요가 없다. 내가 학업을 시작할 때, 나는 내가 부탁받은 만큼 자주 동료 평가를 제공하는 것에 동의하는 것을 권고받았다. 나의 스승인 리 브룩스가 내게 한 주장은 피어리뷰는 아래를 위한 훌륭한 방법이라는 것이었다. 

  • (a) 지역사회의 관심사를 보다 폭넓게 파악하는 수단

  • (b) 연구분야에서 추가 연구할 가치가 있는 특정 문제에 대해 연구자 간 생각의 차이를 아는 수단

  • (c) 해당 분야의 의견 리더들에게 당신이 시기적절하고 사려 깊은 동료 평가를 쓸 수 있다는 것을 보여줌으로써, 자기자신의 권리에 공동체에 보여주는 수단

At the same time, you don’t need to feel altruistic to want to actively engage in the peer review process. When I was starting my academic career I was advised to agree to provide a peer review as often as I was asked. The argument put to me by my mentor, Lee Brooks, was that reviewing is a great way to 

(a) get a broader view of the issues of interest in the community, 

(b) identify gaps in the way the community is thinking about particular issues worthy of further study, and 

(c) become established in the community in your own right by showing opinion leaders in the field that you are capable of writing timely and thoughtful peer reviews.



2 Roediger HL. Twelve tips for authors. APS Observer 2007;20 (6): http://www.psychologicalscience. org/observer/getArticle. cfm?id=2185. [Accessed 9 December 2008.]


https://www.psychologicalscience.org/observer/twelve-tips-for-authors


6 Roediger HL. Twelve tips for reviewers. APS Observer 2007;20 (4): http://www.psychologicalscience. org/observer/getArticle.cfm?id= 2157. [Accessed 9 December 2008.]


https://www.psychologicalscience.org/observer/twelve-tips-for-reviewers



 2009 Jan;43(1):2-4. doi: 10.1111/j.1365-2923.2008.03243.x.

The reviewer is always rightpeer review of research in Medical Education.

PMID:
 
19140991
 
DOI:
 
10.1111/j.1365-2923.2008.03243.x
[Indexed for MEDLINE]


저널에서 논문을 리젝하거나 억셉하는 이유: 의학교육리포트의 강점과 약점(Acad Med, 2001)

Reasons Reviewers Reject and Accept Manuscripts: The Strengths and Weaknesses in Medical Education Reports

Georges Bordage, MD, PhD



길버트와 추빈은 학문 간 전문지인 사이언스의 사회학에서 거부된 원고들에 대한 평론자들의 논평 샘플을 위해 이 같은 분석을 실시했다. 그들은 원고를 거절한 것에 대해 가장 빈번한 검토자들이 제시한 이유가 "부실한 주장" 즉, 설득력 있는 주장을 펴지 못했다는 것임을 발견했다. 자주 주어진 다른 이유로는 서투른 글쓰기, 기존 문헌에 대한 무지, 참신함의 결여, 자료나 문헌에 대한 오해나 오용 등이 있었다. 평론가들은 논평을 쓰지만, 평론가의 합의 수준은 여전히 매우 다양하다. 추빈과 해킷은 서로 다른 과학 분야에서의 연구를 평가하면서 리뷰어들 사이의 낮은 합의를 보고했으며, 0.25 범위 내에서의 신뢰도를 나타냈다.1 이 연구는 편집자들이 알고 있는 것을 확인시켜준다: 주어진 원고에 대해서 리뷰어들은 각기 다른 문제에 초점을 맞춘다.

Gilbert and Chubin1, p. 108 conducted such an analysis for a sample of reviewers’ comments on manuscripts that had been rejected from Social Studies of Science, an interdisciplinary specialty journal. They found that the most frequent reason reviewers offered for rejecting a manuscript was ‘‘poor argumentation,’’ that is, failing to make a convincing case. Other reasons frequently given included poor writing, ignorance of the literature, lack of novelty, and misunderstanding or misapplying the data or the literature. While reviewers do write comments, the level of agreement among reviewers remains highly variable. Assessing studies from different areas of science, Chubin and Hackett reported poor agreement among reviewers, with inter-rater reliability in the 0.25 range.1 The research confirms what editors have known: Reviewers for any given manuscript focus on different issues.


방법

METHOD


이 연구에 한 데이터 세트가 사용되었는데, 1997년과 1998년에 미국 의학대학협회(AAMC)가 매년 후원하는 의학 교육 연구(RIME) 컨퍼런스를 위해 제출된 연구 원고 검토가 그것이다.

One data set was used for this study: reviews of research manuscripts submitted in 1997 and 1998 for the Research in Medical Education (RIME) conference sponsored annually by the Association of American Medical Colleges (AAMC).


분석은 전적으로 저자에 의해 수행되었다. 분류편향을 피하기 위해 연도별로 등급과 코멘트를 비틀어 분석했다(즉, 1997년부터 20회, 1998년부터 20회, 기타). 이유는 검토자 한 명당 한 번만 집계되었다. 코멘트(예: "문제성 무작위화")가 둘 이상의 이유 범주(예: 연구 설계 또는 샘플링)에 속할 때마다 코멘트는 코멘트가 나타난 맥락에서 가장 잘 지시되는 범주에 할당되었다.

The analysis was performed solely by the author. To avoid categorization bias, the ratings and comments were analyzed in a staggered fashion according to years (i.e., 20 from 1997 followed by 20 from 1998, etc.). Reasons (comments) were tallied only once per reviewer. Whenever a comment (e.g., ‘‘questionable randomization’’) could belong to more than one category of reason (e.g., research design or sampling), the comment was assigned to the category best dictated by the context in which it appeared.


결과

RESULTS


내용 분석 중에는 주요 리젝의 이유나 '치명적 결함'을 사소한 이유와 구별하는 것이 불가능했다. 일부 부정적인 논평은 분명히 다른 것들보다 덜 중요했으며, 그것의 대부분은 저자들을 돕기 위한 교육적 마인드 차원에서 언급된 것이었다. 다수의 리뷰어가 게재불가를 판단했을 때, 반대 의견의 수는 전체 리뷰어의 절반 이하 또는 한 명의 검토자만 게재불가를 권고했을 때와 비교하여 두 배(약 6개의 부정적 의견에서 12개까지) 증가하였다.

During the content analysis, it was not possible to distinguish major reasons or ‘‘fatal flaws’’ from minor reasons; some of the negative comments were definitely less important than were others and were stated mostly in an educational spirit to help the authors. When a majority of reviewers recommended rejection, the number of negative comments overall doubled (from approximately six negative comments to 12) compared with when fewer than half of the reviewers or a single reviewer recommended rejection.


원고 거부에 대해 심사자가 제시한 사유 수와 비율은 광범위한 범주와 연도별로 표 1에 제시되어 있다. 검토자가 작성한 부정적 의견의 거의 3/4 (70.1%)는 20가지 이유로 분류되었다(표 2 참조). 이유와 부정적인 논평의 전체 목록은 부록 A에 제시되어 있다.

The numbers and percentages of reasons given by the reviewers for rejecting manuscripts are presented in Table 1 according to broad categories and by years. Almost three fourths of the negative comments written by the reviewers (70.1%) were categorizable to 20 reasons (see Table 2). The complete list of reasons and negative comments is presented in Appendix A.



논문을 리젝하는 20개 이유

Top 20 Reasons (Negative Comments) Written by the Reviewers Recommending Rejection of 123 Medical Education Manuscripts*

통계: 부적절, 불완전 또는 불충분하게 기술된 것 등 

Statistics: inappropriate, incomplete, or insufficiently described, etc. 

결과의 과대 해석 

Overinterpretation of the results 

부적절하고, 최적화되지 않았으며, 불충분하게 설명된 도구

Inappropriate, suboptimal, insufficiently described instrument 

샘플이 너무 작거나 편향됨 

Sample too small or biased 

이해하기 어려운 텍스트 

Text difficult to follow, to understand 

불충분하거나 불완전한 연구문제 기술

Insufficient or incomplete problem statement 

부정확하거나 일관성이 없는 데이터가 보고됨 

Inaccurate or inconsistent data reported 

불충분하거나 불완전하거나 부정확하거나 시대에 뒤떨어진 문헌 검토 

Inadequate, incomplete, inaccurate, or outdated review of the literature 

데이터가 부족함 

Insufficient data presented 

불량표 또는 수치 

Defective tables or figures 

신뢰성이 부족하거나 알 수 없는 신뢰성 점수를 매긴다. 

Scores insufficiently reliable or unknown reliability 

중요치 않거나 관련 없는 주제 

Unimportant or irrelevant topic 

간섭(독립 변수)이 불충분하게 설명되거나 혼동 

Intervention (independent variable) insufficiently described or confusing 

제목이 불충분하게 설명됨 

Subjects insufficiently described 

개념적 또는 이론적 프레임워크 부족 

Lack of conceptual or theoretical framework 

결과의 과소 해석, 결과 무시 

Underinterpretation of results; ignoring results 

잠재적 교란 변수 해결 안 됨 

Potential confounding variables not addressed 

불완전, 추상적 정보 부족 

Incomplete, insufficient information in abstract 

연구를 대표하지 않는 제목 

Title not representative of the study 

샘플링 방법이 부적절하거나 불충분하게 설명됨

Sampling method inappropriate or insufficiently described




검토자가 작성한 긍정적인 의견의 4분의 3(76%)이 9가지 이유로 포함되었다(표 3 참조). 긍정적인 논평의 전체 목록은 부록 B에 제시되어 있다.

Three fourths of the positive comments written by the reviewers (76%) were contained in nine reasons (see Table 3). The complete list of positive comments is presented in Appendix B.



아홉 가지 억셉 이유

Top Nine Reasons (Positive Comments) Written by the Reviewers Recommending Acceptance of Medical Education Manuscripts*

중요, 시기적절, 관련, 중요, 널리 퍼진 문제 

Important, timely, relevant, critical, prevalent problem 

잘 쓴 원고(명료하고, 직설적이고, 따라하기 쉽고, 논리적으로) 

Well-written manuscript (clear, straightforward, easy to follow, logical) 

잘 설계된 연구(적절하고 엄격하며 포괄적인 설계) 

Well-designed study (appropriate, rigorous, comprehensive design) 

깊이 고민한, 초점이 뚜렷한, 최신의 문헌 검토 

Thoughtful, focused, up-to-date review of the literature 

표본 크기가 충분히 큼 

Sample size sufficiently large 

실용적이고 유용한 시사점 

Practical, useful implications 

연구의 한계를 고려한 해석

Interpretation took into account the limitations of the study 

문제가 잘 설명됨, 공식화됨 

Problem well stated, formulated 

데이터 분석에 대한 새로운 접근 방식

Novel, unique approach to data analysis




고찰

DISCUSSION


긍정적인 논평과 부정적인 논평의 전반적인 패턴은 연구된 2년 동안 상당히 유사했다. 그러나 리뷰어의 논평의 다양성은 원고마다 다른 측면에 초점을 맞추었거나, 반대 의견마다 가중치가 달랐음을 시사했다. 따라서 편집자는 콘텐츠 전문성, 방법론 전문성 및 교육적 관련성 사이에서 균형을 이루도록 검토자를 선택해야 한다.

The overall patterns of positive and negative comments were quite similar across the two years studied. However, the diversity of the comments made by the reviewers suggested, once again, that they had focused on different aspects of the manuscripts or weighted their objections differently. Consequently, editors should select reviewers in such a way as to strike a balance between content expertise, methodologic expertise, and educational relevance.


이 연구의 검토자들이 원고를 거절한 이유는 길버트와 추빈의 리스트 1, 페이지 109를 확인시켜 주었지만 훨씬 더 상세하다. 또한 이 연구에서 원고를 reject하는 이유는 단순히 원고를 accept하는 이유에 대한 반대가 아니었다. 연구자와 저자는 [좋은 연구와 좋은 글쓰기의 자질(예: 관련성과 잘 짜여진 원고)]과 [부실 연구와 형편없는 원고(예: 부적절한 통계와 결과의 과잉 해석)의 단점] 모두에 주의를 기울일 필요가 있다. 

The reasons given by the reviewers in this study for rejecting manuscripts confirmed Gilbert and Chubin’s list,1, p. 109 but are even more detailed. Also, the reasons for rejecting manuscripts in this study were not simply mirror images of the reasons given for accepting manuscripts. Researchers and authors need to pay attention both to qualities of good studies and good writing (e.g., relevance and well-crafted manuscripts) and to shortcomings of poor studies and poorly written manuscripts (e.g., inappropriate statistics and overinterpretation of the results). 


리뷰어는 연구자가 본인 연구의 한계를 무시하기보다는 연구의 한계를 인정하는 것(예: 선택 편견, 전력 부족 또는 낮은 신뢰성)의 중요성을 강조했다. 일부 평론가에 의해 지적된 바와 같이, 설계와 결과를 과학적 문장으로 만드는 "정직한" 접근방식은 출판될 확률을 증가시킬 가능성이 있다. 

A number of strengths identified by the reviewers emphasized the importance of researchers’ acknowledging the limitations of their studies (e.g., possible selection biases, lack of power, or low reliability) rather than ignoring these deficiencies. An ‘‘honest’’ approach to design and results in scientific writing, as noted by some reviewers, is likely to increase one’s chances of being published. 


따라서 연구자들은 연구의 설계 단계에서, 그리고 결과 분석 이후 모두에서 가능한 편견과 교란 변수를 식별하기 위해 의식적인 노력을 기울여야 한다. 연구원들은 스스로에게 '경쟁적인 가설로는 무엇이 있으며, 대안적 설명은 무엇이 있는가? 그리고 어느 정도까지 그것들을 통제하거나 설명할 수 있는가?’’

Consequently, researchers need to make a conscious effort to identify possible biases and confounding variables, both during the design phase of the study and once the results are in. Researchers should ask themselves, ‘‘What are the competing hypotheses3 or alternative explanations and to what extent can they be controlled or explained?’’


많은 평론가들은 글쓰기의 퀄리티(좋은 것과 나쁜 것)를 문제삼았으며, 잘 짜여진 원고를 제출하는 것이 필수임을 시사했다. 좋은 글쓰기는 원고를 받아 들이는 데 중요한 자산인 반면, 서투른 글쓰기는 평론가를 짜증나게 하고 저자의 출판 기회를 감소시킬 가능성이 있다.

Many reviewers raised the issue of quality of writing (good and bad), suggesting that submitting well-crafted manuscripts is vital. Good writing is an important asset in getting one’s manuscript accepted, while poor writing is likely to annoy reviewers and decrease the author’s chance of getting recommended for publication.


결론적으로, 300년 전과 마찬가지로, 과학의 상호의존성과 훌륭한 원고를 제작하는 데 있어서의 글쓰기의 기술은 오늘날에도 여전히 유효하다. 보일라우의 두 인용구를 떠오르게 한다: 

  • "분명히 이해되는 것은 잘 표현되어 있으며, 쉽게 이해할 수 있다." 

  • "20번씩 글쓰기에 투자해서, 끊임없이 연마하고 다시 윤색하라."

In conclusion, the interdependence of science and the art of writing in producing good manuscripts brings to mind two quotes from Boileau7 that are as true today as they were over three centuries ago when they were written about the art of poetry: ‘

  • ‘What is clearly understood is well expressed and the words to say it come easily’’; and 

  • ‘‘Twenty times on the stocks put your work, polishing it unceasingly and repolishing it.’’ 

과학적인 글쓰기는 [좋은 과학의 수행]과 [좋은 원고 작성], 둘 다를 요구한다.

Scientific writing demands both conducting good science and writing good manuscripts.









 2001 Sep;76(9):889-96.

Reasons reviewers reject and accept manuscripts: the strengths and weaknesses in medicaleducation reports.

Author information

1
Department of Medical Education, College of Medicine, University of Illinois at Chicago, IL 60612-7309, USA. bordage@uic.edu

Abstract

PURPOSE:

Scientific journals rely on peer review to maintain the high quality and standards of papers accepted for publication. The purpose of this study was to explore the strengths and weaknesses of medical education reports by analyzing the ratings and written comments given by external reviewers.

METHOD:

The author conducted a content analysis of reviewers' comments on 151 research manuscripts submitted to the 1997 and 1998 Research in Medical Education conference proceedings. The negative comments on 123 manuscripts that received "questionable, probably exclude" or "definitely exclude" overall ratings from at least one reviewer were evaluated. A similar analysis was performed on reviewers' positive comments for 28 manuscripts recommended unanimously for acceptance.

RESULTS:

On average, four peers (4.1, SD = 0.97, range = 2-6) reviewed each manuscript. Of those recommended for exclusion, a mean of 2.3 reviewers recommended exclusion and each reviewer wrote a mean of 8.1 (SD = 5.7) reasons. The top ten reasons for rejection were: inappropriate or incomplete statistics; overinterpretation of results; inappropriate or suboptimal instrumentation; sample too small or biased; text difficult to follow; insufficient problem statement; inaccurate or inconsistent data reported; incomplete, inaccurate, or outdated review of the literature; insufficient data presented; and defective tables or figures. The main strengths noted in accepted manuscripts were the importance or timeliness of the problem studies, excellence of writing, and soundness of study design.

CONCLUSION:

While overstating the results and applying the wrong statistics can be fixed, other problems that the reviewers identified (ignoring the literature, designing poor studies, choosing inappropriate instruments, and writing poor manuscripts) are likely to be fatal flaws warranting rejection.

PMID:
 
11553504


CMBE: 무결점의 담론 (Med Educ, 2018)

Competency-based medical education: the discourse of infallibility

Victoria A Boyd,1 Cynthia R Whitehead,2,3,4 Patricia Thille,2 Shiphra Ginsburg,1,2,5 Ryan Brydges1,2,6 & Ayelet Kuper1,2,7





도입

INTRODUCTION


2000년대 초 북아메리카에 역량 기반 의료 교육(CBME)의 도입은 학자들이 교육과 평가 이론과 실천을 개념화하는 방식에 변화를 일으켰다.

The introduction of competency-based medical education (CBME) in North America in the early 2000s initiated a shift in how scholars conceptualise education and assessment theory and practice.


CBME에 대한 이러한 이해는 1940년대 후반으로 거슬러가 실증주의와 행동주의에 뿌리를 둔 오래된 교육 이론의 흐름에서 비롯된다.4 역량 운동은 세계 의학 교육 연맹WFME이 제안한 에든버러 선언에 의해 더욱 추진되었다.

This understanding of CBME stems from an older stream of educational theory, rooted in positivismand behaviourism, beginning in the late 1940s.4 The competency movement was further propelled by the Edinburgh Declaration put forward by the World Federation for Medical Education.


그러나 의료 교육 내에서 역량 기반 접근의 역사는 간단하지도 않고 명확straightforward하지도 않았다. 많은 학자들은 성과에 초점 둠으로써 더 나은 의사를 생산하고 진화하는 의료 환경에서 직면하고 있는 도전을 완화시킬 것이라고 믿는다. CBME의 개념적 근거가 직관적으로 타당할 수는 있지만, 역량 기반 접근법을 뒷받침하는 경험적 근거는 부족하며, 이를 촉진하기 위해 사용된 '혁명적 수사'에 대한 우려가 제기되었다. 또한, 일부 연구자들은 이 모델의 이론적 기반과 의학교육에 있어서 CBME의 실용적 적용 가능성에 의문을 제기한다.

Yet the history of the competency-based approach within medical education has been neither simple nor straightforward. Many scholars believe a focus on outcomes promises to produce better doctors and mitigate challenges faced in the evolving health care landscape.6–9 Although its conceptual basis may make intuitive sense, concerns have been raised about the paucity of empirical evidence4,10,11 supporting the competency-based approach and the ‘revolutionary rhetoric’ used to promote it.12 Further, some researchers question the theoretical underpinnings of the model,13–16 as well as the feasibility of its practical application in medicine.11,17


의료 교육에서 역량 프레임워크의 국제적 이해를 고려할 때, 한 걸음 물러서서 이러한 변화를 이끄는 가정을 검토하는 것이 중요하다.

Given the international uptake of competency frameworks in medical education, it is crucial to step back and examine the assumptions driving this change.


우리는 CBME를 [정치적 및 역사적 맥락에 내재된 사회적 구성]으로 바라볼 것이다.12,18 이러한 관점에서 CBME(또는 교육학적 접근법)는 의대생들을 독립적 의료인으로서 어떻게 준비시킬 것인가에 대한 일련의 가정이나 예비preliminary 신념에 기초한다. 그러나 CBME의 토대가 되는 가정은 일반적으로 명확하게 설명되지 않으며, 그냥 당연한 것으로 간주된다.

We approach CBME as a social construction embedded in its political and historical context.12,18 From this perspective, CBME (or any pedagogical approach) is built on a series of assumptions or set of preliminary beliefs about how to prepare medical students for their future practice as doctors. Such assumptions are generally unarticulated and taken for granted;


담론은 담론의 사회적 맥락을 반영할 뿐만 아니라, 그 자체가 현상의 사회적 구축에 기여한다.19 따라서 우리는 CBME에 초점을 맞춘 학술문헌에 대한 비판적 담론 분석을 실시했다.

Discourse both reflects its social contexts and contributes to the social construction of phenomena.19 Therefore, we undertook a critical discourse analysis of the academic literature focused on CBME.


방법

METHODS


우리는 CBME 문헌의 Foucoldian 비판적 담론 분석20(CDA)을 수행하여 그 구조를 뒷받침하는 지배적인 담론을 묘사했다. 비판적 담론 분석은 텍스트의 집합에서 가정과 전제를 탐구하기 위한 렌즈로서 많은 분야에서 사용되는 사회과학 방법론이다.21,22 다양한 형태의 비판적 담론 분석이 존재하지만, 푸코적 관점은 담론, 사회 관행, 지식 및 권력 상대 사이의 관계를 식별하는 것을 추구한다. Michel Foucault는 사회적 관행과 그 관행이 지식 및 권력에 연결된 방식이 담론의 생산과 사용을 제약한다고 이론화했다.19 담론이라는 용어는 확고부동한 사고, 발화, 행동의 방식을 보여준다.

We conducted a Foucauldian critical discourse analysis20 (CDA) of the CBME literature to delineate the dominant discourses underpinning the construct. Critical discourse analysis is a social science methodology used in many disciplines as a lens to explore the assumptions and presuppositions in a group of texts.21,22 Although various forms of critical discourse analysis exist, a Foucauldian perspective seeks to identify relationships between discourse, social practices, knowledge and power relations. Michel Foucault theorised that social practices and their links to knowledge and power constrain the production and use of discourse.19 The term discourse refers to entrenched ways of thinking, speaking and acting.23,24 


담론이란 문자와 구어를 통한 논의의 표시이다. 25,26 그것은 특정한 형태의 텍스트를 가능하게 하고, 다른 어떤 것들은 불가능하게 한다.19 진술된 진실은 '깊고 더 복잡한 담화 시스템의 표면적 표현'이다.12 Truth statements는 주어진 맥락에서 [어떤 것이 진실 또는 거짓으로 인식될지], 그리고 어떤 것이 [승인되거나 비승인될지authorised and unauthorised]에 대한 정당한 가정으로 인식된다.12 그러한 진술은 무언가에 대해 생각하고, 말하고, 실행하는 것인 가능하거나 불가능하게 만드는 구분을 확립한다.27 푸코적 CDA는 우리에게 무엇이 진실이라고 인식되는지 뿐만 아니라, 어떻게 그것이 '진실'으로 받아들여지는지를 질문할 수 있는 도구를 쥐어준다.

Discourse manifests through written and spoken text;25,26 it renders certain forms of text possible, and others less possible.19 Statements of truth are ‘the surface manifestation of deeper and more complex systems of discourse.’12 Truth statements are recognised as legitimised assumptions regarding what is perceived as true or untrue and authorised or unauthorised in a given context.12 Such statements establish dividing practices that make it possible to think, say and do certain things but not others.27 Foucauldian CDA equips us with the tools to interrogate not only what is perceived as true, but how it becomes accepted as ‘truth’.28


푸코는 저항resistance이라는 용어를 [지배적인 의지에 반대하는 대체적인 추론]을 언급하는 용도로 사용한다.29 저항 담론은 사회적 변화를 enact하기 위한 목적으로 고착된 사고와 글쓰기 방식을 훼손undermine하는 수단이 될 수 있다. 저항 담론에 대한 연구는 종종 지배 담론의 근본적인 체계를 푸는 열쇠가 된다. Foucauldian 접근법을 사용하면 CBME 문헌을 뒷받침하는 지배적 성향과 저항적 성향 사이의 경계를 발굴하고 조사하기 위해 승인된 진실 진술이 가지고 있는 문제를 찾아낼 수 있다.

Foucault uses the term resistance to refer to alternative lines of reasoning that oppose dominant discourses.29 A resistance discourse can be a vehicle for undermining entrenched ways of thinking and writing in order to enact social change. The study of a resistance discourse is often the key to unlocking the fundamental mechanics of a dominant discourse. Our use of a Foucauldian approach20,25,26 allows us to problematise authorised truth statements in order to unearth and examine the boundaries between dominant and resistance discourses underpinning the CBME literature.


푸코의 관점에서 보면, 개인과 조직의 인가된authorised 혹은 저항resistance 담론의 사용이 반드시 의도적인 것은 아니다. 오히려 그러한 욕구는 특정 시기의, 특정 사회적 맥락에서 비롯된다. 담론의 이해(및 생산)는 그 사회적, 정치적, 역사적 형태에서 분리될 수 없다.310,31 따라서 CBME 문학 내에서 의욕의 구성과 사용을 추적할 때, 독자는 특정한 사고 방식이나 글쓰기 방법이 반드시 의식적이거나 고의적인 것은 아니라는 것을 기억해야 한다. 오히려 그러한 관행은 주어진 시간과 장소에서 지배적인 담론의 범위 내에서 허용되기 때문에 발생한다.

From a Foucauldian perspective, individuals’ and organisations’ use of authorised or resistance discourses is not necessarily intentional. Rather, such discourses derive from a certain social context at a particular time. The uptake (and production) of a discourse cannot be disentangled from its social, political and historical formations.30,31 Therefore, as we trace the construction and use of discourses within the CBME literature, the reader must remember that particular ways of thinking or writing are not necessarily conscious or deliberate. Rather, such practices occur because they are allowed within the bounds of a dominant discourse, in a given time and place.



검색 전략 및 포함 기준

Search strategy and inclusion criteria


CDA가 텍스트 집합을 통해 욕구조성을 입증할 수 있는 넓은 렌즈를 필요로 한다는 점을 감안하여, 질적, 정량적, 혼합적 방법 경험적 연구, 위치 조각, 논평, 논평, 사설 및 합의 컨퍼런스의 보고를 포함한 모든 유형의 출처를 고려하였다.

Given that CDA requires a broad lens to demonstrate the construction of discourses through a collection of texts, we considered all types of sources, including qualitative, quantitative and mixed methods empirical studies, position pieces, commentaries, reviews, editorials, and reports of consensus conferences.


푸코의 비판적 담론분석

Foucauldian critical discourse analysis


몇 가지 광범위한 연구 질문이 우리의 분석을 이끌었다. 

(i) CBME 문헌의 기초가 되는 지배적인 성향은 무엇인가? 

(ii) 담론을 어떻게 사용하는가? 

(iii) 이러한 의욕을 뒷받침하는 가정은 무엇인가?

Several broad research questions guided our analysis: 

(i) What are the dominant discourses underlying the CBME literature? 

(ii) How are the discourses used? 

(iii) What assumptions underpin these discourses?


Foucoldian 원칙과 일치하는 분석은 본문의 반복적인 정밀 판독과 형성 그룹 논의에 의해 진전된 협업 과정이었다. 한 연구팀 구성원(VB)은 각 기사의 전문을 읽고 반복적인 진술과 개념을 코드화했다. 코딩 프레임워크는 해석적이고 데이터 중심적인 접근방식을 사용하여 설정되었다. 여기서 관련 개념은 이산형 패턴으로 분류되었다. 코딩 프레임워크는 보관소의 지속적인 탐색과 정기적인 팀 회의로 추진되는 진화하는 실체였다. 각 텍스트가 코드화되면, 우리는 어떻게, 그리고 어떤 목적으로, 다른 유형의 학구적 기사에 불분명한 추세가 사용되는지를 조사했다. 

Consistent with Foucauldian principles,20,25,26 the analysis was a collaborative process advanced by iterative close readings of the texts and formative group discussions. One research team member (VB) read the full text of each article and coded recurring statements and concepts. A coding framework was established using an interpretive, data-driven approach, wherein related concepts were grouped as discursive patterns. The coding framework was an evolving entity propelled by continued exploration of the archive and regular team meetings. Once each text was coded, we examined how, and for what purposes, discursive trends were used in different types of scholarly articles. 


그런 다음 우리는 이러한 discursive한 관행을 정당화하는 데 사용되는 합리성을 탐구하기 위해 이러한 주장들의 반복적인 변화와 변화를 추적했다. 우리는 또한 반복되는 논쟁이 서로를 지지하거나 반박하거나 반대함으로써 문학에서 대화를 만들어 내는 방법을 고려했다. 그렇게 함으로써, 우리는 이러한 관행이 당연하게 여겨지는take-for-granted 담론과 진실 진술truth statements에서 어떻게 발생arise하는지를 문제 삼았다. 마지막으로, 우리는 이러한 의학적 교육 연구와 실천의 미래에 대한 의욕의 영향을 고려했다. 분석은 Nvivo 정성 분석 소프트웨어(QSR International, Doncaster, Victoria, Australia)를 사용하여 구성되었다.

We then traced recurring arguments and shifts in these arguments25,34 to explore the rationales used to legitimise these discursive practices. We also considered the ways in which recurrent arguments created a dialogue in the literature by supporting, contradicting or opposing each other. In doing so, we problematised how these practices arise from taken-for-granted discourses and truth statements. Finally, we considered the implications of these discourses for the future of medical education research and practice. The analysis was organised using Nvivo qualitative analysis software (QSR International, Doncaster, Victoria, Australia).


FINDINGS 


역량은 주로 관찰 가능하고 측정 가능한 능력으로 이해되며, 실천을 통해 능동적으로 통합될 때 의사의 역량이 된다.3 그럼에도 불구하고 모든 저자가 역량 프레임워크의 기초가 되는 개념적 전제를 수용하는 것은 아니며, 의학교육에서의 구현에서도 역량의 개념이 온전히 수용되는 것도 아니다.

Competencies are predominantly understood as observable and measurable abilities that, when actively integrated in practice, constitute physician competence.3 Nevertheless, not all authors accept the conceptual premise underlying competency frameworks, nor their implementation in medical education.


CBME 문헌을 뒷받침하는 불온한 '대화'

A discursive ‘dialogue’ underpinning the CBME literature



CBME의 분석가들은 접근법의 개념적 특성에 의문을 제기하는 많은 비판을 제시한다. 종합적으로, 이러한 비평은 역량 프레임워크의 이론적 기반에 도전하는 저항 담론을 확립한다. 표 1.

Detractors of CBME present a number of critiques questioning the conceptual nature of the approach. Collectively, these critiques establish a resistance discourse that challenges the theoretical underpinnings of competency frameworks. Table 1



CBME의 지지자는 종종 두 가지 반복된 주장을 통해 이러한 주장에 대응한다. 

(i) CBME는 구현하기 어렵고, 

(ii) CBME에 대한 오해가 구현의 장애물이다.

Proponents often counter these arguments by drawing on two repeated assertions: 

(i) CBME is difficult to implement and 

(ii) misunderstanding CBME is a barrier to implementation.


이 진술들은 실제로 CBME 이론을 성공적으로 운용하는 것이 어렵다는 점을 강조한다.; 그것들은 문제가 발생할 경우 관련된 CBME 자체가 아니라 "사람"이 문제의 근원이라는 가정에 기초한다.

The statements emphasise the challenges of successfully operationalising the theory of CBME in practice; they are built on the assumption that if issues arise, those involved are the source of the problem, not CBME itself.


우리가 앞으로 보여주는 것처럼, 이러한 레토릭은 CBME 개념에 대한 비판을 [불완전한 구현]이나 [오해로 인한 문제]로 축소시켜버림으로써, 결과적으로 CBME의 토대에 대한 관심을 다른 곳으로 돌려버린다.

As we will demonstrate , this rhetoric reduces conceptual critiques to matters of poor implementation or misunderstanding, and, consequently, deflects attention away from the basis of CBME.


문헌을 통해 '대화' 추적하기: 네 가지 예

Tracing the ‘dialogue’ through the literature: four examples


첫 번째 대표적 논문에서는 CBME의 개념적 토대에 대해 지적하고 있다. ['역량에 대한 부적절한 인식에 기초한 전문직 교육']이 이뤄지고 있으며, 그 결과 다른 형태의 학습 담론에서 통찰력을 얻을 수 없게 만든다고 지적한다. 이 논문에서는 CBME 관행이 '전문적 실무관행에 필요한 심화된, 성찰적 참여를 부정하는 심각한 위험을 초래한다'고 경고하고 있다.

The first representative article13 challenges the conceptual underpinnings of CBME by rejecting the practice of ‘professional education based upon an inappropriate epistemology of competency’, in which other forms of learning discourse are unable to bring their insights. The text cautions that this practice ‘runs the serious risk of negating a deep and reflective engagement with a professional practicum’.


또한, 이 논문은 CBME를 지지하는 행동주의 가정들에 의문을 제기하며, '전문가에게 필요한, 전체적이고, 잘 발달된 실천을 위해 필요한 성찰, 직관, 경험, 그리고 고차원의 역량을 제한한다'고 지적한다. 평가와 관련하여, 이 논문은 CBME는 '더 쉽게 측정될 수 있는 것과 관련된 질문'만을 던진다고 경고한다. 그것은 객관적 척도만으로는 [고차원의 역량]과 같은 우리가 관심 있는 모든 능력을 포착할 수 없다는 것을 지적하며 주장을 더욱 확장한다.

Further, the article questions the behaviourist assumptions supporting CBME, suggesting they ‘limit reflection, intuition, experience, and higher order competency necessary for expert, holistic, or well-developed practice’. Withregards to assessment, the article warns of only asking ‘questions related to those things that may be more easily measured’. It extends this argument to suggest objective measurements cannot capture all the abilities we are interested in, such as higher- level competence. 


이 논문을 직접 언급하며, 두 번째 논문에서는 CBME 토론에 대해 '이 두 그룹이 근본적으로 반대 입장에 있는가, 아니면 역량을 정의하는 데 있어서 다른 언어를 구사하기 때문에 오해가 있는가?'라고 질문하며, '역량이라는 용어에 대한 혼란을 좀 더 자세히 살펴봐야 할 때'라고 말한다. 이 논문에 따르면, 앞선 논문에서의 주장은 역량의 언어에 대한 혼돈으로 인한 오해라고 축소시킨다. 즉, 앞의 논문에서 비판한 construct는 진정한 CBME가 아니라 저자가 잘못 해석된 모조품이라고 말한다. 이 주장은 CBME의 개념적 전제에서 벗어나 비판적 주의를 분산시키는 산만한discursive 전략으로서 기능한다.

In directly referencing this article, a second text35 questions the ongoing CBME debate by asking, ‘do these two groups of authors fundamentally disagree, or is there misunderstanding because they speak a different language when it comes to defining competency? It seems time to take a closer look at the confusion about competence terminology’. This excerpt reduces the arguments of the former article to a matter of misunderstanding caused by confusion over the language of competence. It suggests the construct being critiqued is not truly CBME, but a misinterpreted imitation. This assertion functions as a discursive strategy deflecting critical attention away from the conceptual premise of CBME.


아카이브의 세 번째 논문 14는 행동주의 기반에 초점을 두고 있는 CBME의 핵심 가정에 의문을 제기한다. 의학 교육으로 옮겨진 행동주의 이론은 전체론적 전문지식을 '일련의 분할된 과제'로 축소함으로써, 이러한 과제를 '전체'로서 만드는데 필요한 [연계]를 무시하는 경향이 있다고 지적한다. 이 논문에서는 '전문직 교육을 평가하는데 역량의 개념은 '의사에 관한 가장 중요한 사항들을 다루는데 실패하기 때문에 무용지물'이라고 설명하고 있다. 이이러한 추론에 따르면, '누군가의 능력을 판단할 수 있는 객관적 기준은 없다.[...] 모든 경우, 면밀하게 따져보면, 뛰어난 판단에는 주관적 요소가 항상 존재한다'고 말하면서 객관적 평가를 거부한다. 이 논문은 의학은 도덕적 추구이며 객관적이고 행동 중심적인 역량 모델은 이러한 견해를 내포할 수 없다고 제안함으로써 결론짓는다.

A third paper14 from the archive questions the core assumptions of CBME by targeting its behaviourist underpinnings. Behaviourist theories, transposed into medical education, tend to reduce holistic expertise to a ‘series of discrete tasks’ and ignore the connections that make these tasks ‘a purposeful whole’. The text explains that the ‘concept of competency is useless for assessing the education of the professional’ because it ‘fails to address the most important things about a physician’. This line of reasoning rejects objective assessments, stating ‘there are no objective criteria by which we may determine someone’s competency. [...] In all cases, when closely examined, the subjective element of the competent judge is always present’. The paper concludes by suggesting that medicine is a moral pursuit and the objective, action-focused competency model cannot embody this view.


이 논문에 대한 답에서는 이전의 텍스트와 답변을 인용하며, '독립적 의료행위에 대비한 훈련의 결과를 평가하기보다는, CBME를 그저 역량에 기초한 훈련을 체크리스크에 체크하는 것으로 경험한 사람들의 주장과 같다'라고 반박한다. 이 논문에서는 [체크박스 관행]을 [CBME]와 구분함으로써, 앞선 비판을 부실한 시행의 문제로 재구성recast한다. 이러한 레토릭에 따르면, 이러한 버전의 CBME는 CBME의 '진정한' 접근법을 반영하지 않는다고 본다. 행동주의자들의 비판을 실제 역량 프레임워크 [운영의 문제]로 간주할 때, 이 모호함 전략discursive strategy은 CBME에 대한 비판을 효과적으로 완충한다.

A responding paper36 quotes the previous text and replies by stating, the argument ‘resonates with others who experience the practice of competence- based training as checking boxes on checklists rather than assessing the outcome of training in preparation for practice’. By distinguishing the practice of checking boxes from CBME, this quotation recasts the critiques of the former paper as an issue of poor implementation. This rhetoric suggests this version of CBME is not reflective of the ‘true’ approach. In subsuming behaviourist critiques as a problem of operationalising competency frameworks in practice, this discursive strategy effectively buffers the approach from critical appraisal.


CBME를 비판한 또 다른 텍스트는 '역량 기반 접근법은 잠재적으로 개별화된 유연한 훈련, 투명한 표준 및 공공 책임 증대로 이어질 수 있다'라고 말하며, CBME에 대한 유용성과 함정pitfalls을 요약한다. 또한 CBME가 부적절하게 시행될 경우, 그것은 또한 동기 저하, 최소한의 기준에 초점, 행정 부담 증가, 교육 내용 감소로 이어질 수 있다고 지적한다.' 이 논문에 따르면, '강력하게 정의된 상위 수준의 역량이 available하지 않는 한, 역량 기반 접근법을 보편적으로 적용하는 데 신중해야 한다'고 제안하며 결론짓는다.

Another text summarises the perceived benefits and pitfalls by stating, ‘the competency-based approach potentially leads to individualised flexible training, transparent standards, and increased public accountability. If applied inappropriately, it can also result in demotivation, focus on minimal acceptable standards, increased administrative burden, and a reduction in the educational content.’ The review concludes by suggesting, ‘we should be cautious of applying the competency-based approach universally unless robustly defined higher order competencies are available’.


이 논문에 대한 답신에서는 '역량 기반 접근법[...]에 대한 논의는 용어의 의미에 대한 합의 부족 때문임'을 강조하며 대응한다. 이 논평은 CBME의 이론을 다루고자 시도한 대화theoretical dialogue를 '역량 기반 교육의 의미에 대한 쓸모없는 논쟁'으로 축소시킨다. "정의의 다양성이 CBME의 구현을 어렵게 한다"라는 주장을 사용함으로써, 이 논문에서는 CBME와 '역량에 대한 환원주의적 접근법'을 서로 다른 두 가지 별개의 것으로 포지셔닝한다. 이러한 모호함 전략은 앞서 제기된 비판을 그저 [CBME에 대해서 잘 못 해석한 버전]이라고 평가절하하고 있으며, 비판의 대상이 된 construct는 틀리게 해석한 버전이라고 주장하며, CBME를 환원주의에 대한 비판으로부터 떨어뜨려 놓는다.

A corresponding commentary37 directly responds to this review by noting the ‘controversy over the competency-based approach [...] centres on a lack of consensus over what the term means’. The commentary reduces the theoretical dialogue to ‘a fruitless debate about the meaning of competency- based education [which] is likely to detract from the real challenges in the next decade’. In using the assertion that a multiplicity of definitions prohibits implementation, these quotations position CBME and ‘the reductionist approach to competence’ as two distinct constructs. This discursive strategy reduces the concerns expressed within the review to a matter of misunderstanding and distances CBME from the reductionist critique by claiming the construct in question is a wrongly interpreted version.


마지막 예로 보여줄 한 체계적인 검토에서는 CBME에 대해 '지금까지의 문헌이 6개의 ACGME의 일반 역량을 독립적인 구조로서 평가할 수 있는 어떠한 방법도 산출하지 않았다는 것을 지적한다. 오히려 대부분의 역량 기반 평가는 ACGME 프레임워크에 명확하게 매핑되지 않는 단일 구성 또는 다중 구성을 측정할 가능성이 있다. 이 연구는 '6개의 핵심 역량이 서로 독립적으로 측정될 수 없는 경우, 이를 독립적 역량의 기준으로 규정하는 데 실질적인 효용이 거의 없다'고 명시함으로써 결론짓는다.

The final example is drawn from a systematic review16. The systematic review finds that the ‘literature to date has not yielded any method that can assess the six ACGME general competencies as independent constructs’. Rather, most competency-based assessments likely measure either a single construct or multiple constructs that do not clearly map onto the ACGME framework. The study concludes by stating, if the ‘six core competencies cannot be measured independently of one another, there [is] little practical utility in specifying them as independent criteria of competence’.


이 지적에 대응하는 논문에서는, 앞선 논문에서 '임상 역량을 해부anatomize하는 것'의 위험에 대한 비판은 인정하지만, '현재 이용할 수 있는 도구가 전공의를 평가하기 부적절하다라는 허무주의적 잡음'에 대응하는 데 초점을 맞추고 있다. 이 저자들은 '역량을 평가하는 데 있어 가장 큰 문제는 적절한 평가 도구가 부족한 것이 아니라, 비숙련 교수들이 이용할 수 있는 평가 도구들의 일관성 없는 사용과 해석이다. 그러나 우리는 교수들을 경멸하려는 것도 아니며, 교수들의 헌신과 노력을 인정하지 않으려는 것도 아니다'라고 말한다. 이 반박에서는 근거에 기반한 비평이 [구현과 해석]이라는 레토릭으로 뭉뚱그려져버린다. 이로서 CBME의 본질이 비판으로부터 보호받을 수 있는데, 왜냐하면 문제의 근원은 CBME 자체가 아니라 교직원이기 때문이다.

In a responding article38 , the text acknowledges critiques regarding the risks of ‘anatomizing clinical competence’, but focuses on responding to ‘the nihilistic din that the instruments currently available are inadequate for evaluating residents’. The text reads, ‘the biggest problem in evaluating competencies is, in our opinion, not the lack of adequate assessment instruments but, rather, the inconsistent use and interpretation of those available by unskilled faculty. We do not make this claim pejoratively. Nor do we fail to recognise the commitment and effort of faculty’. In this quotation, the evidence-based critique of the previous study is subsumed by the rhetoric of implementation and interpretation. The core nature of CBME is shielded from critical appraisal because faculty members are positioned as the source of the problem, rather than CBME itself.



CBME의 분산 전략을 지원하는 증거 검토

Examining the evidence supporting the discursive strategy for CBME


우리는 이러한 주장들이 주로 비-경험적 단편들과 논평으로부터 제기되었다는 것을 확인할 수 있었다. CBME를 지지하는 진술들은 일관되게 경험적인 증거에 의해 지지받지 못했다. CBME의 정의의 다원성에 대한 증거로 특별히 인용된 몇 가지 경우를 제외하고는, 대부분의 논문은 unreferenced였거나, 반대 입장이나 논평자를 인용하는 방식으로 지지되지 않았다 그림 1은 이러한 참고문헌 패턴의 지도를 보여준다.

We found these assertions were predominantly raised in non-empirical position pieces and commentaries. The statements were consistently unsupported by empirical evidence. They were either unreferenced or supported by citations of other position pieces and commentaries, except for a few instances wherein literature reviews were cited specifically as evidence for the plurality of definitions of CBME. Figure 1 maps these referencing patterns.





CBME의 구현과 관련된 과제를 경험적으로 검토하는 문헌의 수가 증가하고 있지만, 이 연구는 증거적 지원evidentiary support로 사용되지 않았다.

Although there is a growing body of literature empirically examining the challenges associated with implementation,39–43 this research was not used as evidentiary support.


CBME를 지지하는 문헌들은 근거-기반 패러다임에 자리함으로써, CBME의 개념적 비평에 대해 증거가 부족하다고 주장하지만, 정작 그 문헌들은 증거 인용을 게을리한다. 참조 패턴에 근거하여보자면, [CBME와 관련된 우려가 구현이나 해석의 결과\라는 수사적 주장은, 경험적 증거에 의해 뒷받침되지 않는 수사적 주장일 뿐이다. 이 관행은 CBME 문헌을 뒷받침하는 모호한 대화의 핵심 특징이다.

The texts are situated in an evidence-based paradigm by insisting conceptual critiques lack evidence, yet they neglect to cite evidence themselves. Based on referencing patterns, the rhetorical claim that concerns related to CBME are the result of implementation or interpretation is simply that: rhetoric, unsupported by empirical evidence. This practice is a key feature of the discursive dialogue underpinning the CBME literature.


CBME의 저항 평가를 뒷받침하는 증거 검토

Examining the evidence supporting the resistance critiques of CBME


불분명한 전략 뒤에 있는 증거를 매핑한 후, 우리는 CBME의 저항 비판resistance critiques을 뒷받침하는 증거에 주목했다.

After mapping the evidence behind the discursive strategy, we turned our attention to the evidence underpinning resistance critiques of CBME.


이 연구는 철학, 심리학, 사회학, 역사, 교육 등과 같은 학문으로부터 유래하여 의학 분야 이외의 접근에 대한 오랜 역사를 반영한다. 70년에 걸친 이 지식의 본체는 주로 저항적 담론에 의해 활용되었다. 테이블 

This research reflects a long history of consideration of the approach outside the field of medicine, stemming from disciplines such as philosophy, psychology, sociology, history and education. This body of knowledge, which spans seven decades, was leveraged predominantly by the resistance discourse. Table 2



고찰

DISCUSSION


문헌을 찾아본 뒤, 저항 담론이 CBME와 관련된 개념적 비평의 집합체array을 발전시켰다는 것이 명백해졌다. CBME를 지지하는 측의 담론은 종종 이러한 비판을 평가절하minimize하고, 역량 프레임워크의 기본적 개념에서 주의를 분산시키는 명확한 분산 전략으로 대응해왔다.이 과정의 한 가지 방식은, CBME와 관련된 우려를 구현과 해석이라는 두 가지 현실적인 문제로 귀결시키는 것이다. 우리는 이 과정이 CBME의 무결점 담론에 기여한다고 주장한다.

Moving through the textual archive, it became clear that a resistance discourse has advanced an array of conceptual critiques related to CBME. The CBME discourse has often responded to these, not with evidence, but with a clear discursive strategy that minimises these critiques and deflects attention from the underlying concept of competency frameworks. As part of this process, concerns related to CBME are attributed to two practical problems: implementation and interpretation. We argue this process contributes to a discourse of infallibility of CBME.


CBME의 무결점 담론

The discourse of infallibility of CBME


CBME에 대한 개념적 비판을 구현 또는 해석의 문제로 리프레이밍해버림으로써, 무결점 담론은 CBME의 핵심 가정을 부정적인 평가로부터 보호하는 모호성discursive 버퍼를 갖게 된다. 이로서 이들은 비판적 목소리를 잠재우고 역량 기반 접근방식에 대한 엄격한 검사를 방해한다. 이와 같이 무결점 담론은 CBME를 의심할 수 없는 '진리'로서 구성함으로써 스스로를 강화한다. 이와 같이, 역량 기반 접근은 의료 교육의 합리적이고 피할 수 없는 발전으로 인식된다.


In reframing conceptual critiques as matters of implementation or interpretation, the discourse of infallibility establishes a discursive buffer that shields CBME’s core assumptions from negative appraisal. This practice silences critical voices and hinders a rigorous examination of the competency- based approach. In this way, the discourse of infallibility strengthens CBME by constructing it as a ‘truth’ that cannot be questioned. As such, the competency-based approach comes to be perceived as a rational and inevitable advancement in medical education.


CBME에 대한 인증된, 및 인증되지 않은 비평

Authorised and unauthorised critiques of CBME


다른 사회적 구성과 마찬가지로 CBME 역시 '반복되는 정당화된 진술에 바탕을 둔 힘과 지식 관계'의 산물이다.26

CBME, like any social construct, is a product of ‘power and knowledge relationships founded on a series of repeated and legitimised statements’.26


이러한 관점에서, CBME 문헌에서 어떤 일련의 추론들이 참 또는 거짓으로 인식되는지, 합법적이거나 불법적인 것으로 인식되는지, 그리고 인가되거나 인가되지 않는지가 명백해진다. 무결점의 담론은 [실행과 해석]을 역량 프레임워크의 이론 및 실천과 관련된 legitimate and legitimated 관심사로 포지셔닝 시킨다.

From this perspective, it becomes clear which lines of reasoning are perceived as true or untrue, legitimate or illegitimate, and authorised or unauthorised in the CBME literature. The discourse of infallibility positions implementation and interpretation as both legitimate and legitimated concerns related to the theory and practice of competency frameworks.


그러나 방어가 필요한 다른 우려들, 특히 인식론적 및 행동주의 문제에 근거한 개념적 의문inquiry는 이러한 모호성 경계 내에서 정당화되지 않았다. 따라서 Foucault의 공인된authorized 진실 진술의 명명법에 따라, 이러한 지점에 대한 비판은 무익성의 담론의 범위 내에서 승인되지 않았다unauthorised고 볼 수 있다.

Yet other defensible concerns, particularly conceptual inquiry grounded in epistemological and behaviourist issues,13–16 have not been legitimated within these discursive boundaries. In keeping with Foucault’s nomenclature of authorised truth statements, these forms of criticism are therefore unauthorised within the bounds of the discourse of infallibility.


[합당하고 인가된 CBME의 비평]과 [합당하지만 인가되지 않은 비평] 사이의 명확한 구별이 있다.

a clear distinction between critiques of CBME that are legitimate and authorised, and critiques that are legitimate but unauthorised.


인가된 비평과 인가되지 않은 비평 사이의 첨예한 분리는 CBME에 대해 말할 수 있는 것과 말할 수 없는 것의 경계를 정의하는 진실 진술의 힘을 보여준다. [인가된 비평]이 대안적 견해를 침묵시키거나, 단순히 무시해버릴 수 있는 능력을 갖는 것은 바로 이 힘의 역동성을 통해서이다. 이러한 모호한 경계는 저항 담론에 의해 진전된 인식론적 및 행동주의적 우려를 제거해버리는dismissal 데 기여하며, 그 결과 이러한 우려는 대부분 문헌에서 언급되지 않는다. 그러나 사실 이렇게 무시되어 온 담론과 주장이야말로 CBME의 기본 원칙과 패러다임 전환을 뒷받침하는 근거의 부족성에 대해 엄격하고 타당한 주장으로 의문을 제기한다.4,10,11

The sharp division between authorised and unauthorised criticism illustrates the power of a truth statement to define the boundaries of what can and cannot be said about CBME. It is through this power dynamic that authorised critiques have the ability to silence, or simply ignore, alternative views. These discursive boundaries contribute to the dismissal of epistemological and behaviourist concerns advanced by the resistance discourse, leaving them largely unaddressed in the literature. This disregarded body of work raises valid arguments that rigorously question the foundational tenets of CBME,13–16 as well as the paucity of evidence supporting the paradigm shift.4,10,11


CBME는 진실 진술에 의해 생성된 범위 내에서만 비판될 수 있고, CBME는 무결점 담론으로 뒷받침되고 있다. 이러한 구분은 궁극적으로 '개인과 기관이 사고하고, 말하고, 행동할 수 있는 방법을 제한한다'.24 시간이 지남에 따라 특정 형태의 지식과 앎의 방식은 더 수용가능해지지만, 다른 것들은 덜 허용less acceptable된다.44 이러한 관점에서 보자면, CBME를 가능하게 만드는 것은 [CBME의 주요 문제는 그것의 도입과 관련한 실행과 해석이라는 반복적 주장]이다.

CBME can only be critiqued within the confines produced by the statement of truth and upheld by the discourse of infallibility. This dividing practice ‘shapes and limits the ways individuals and institutions can think, speak, and conduct themselves’.24 Over time, this causes certain forms of knowledge and ways of knowing to become more acceptable, and others less so.44 From this perspective, CBME is made possible by the recurring claim that the construct’s primary issues are its practical implementation and interpretation.


CBME에 대해 [말할 수 있는 것]과 [말할 수 없는 것]이 무엇인가를 나누는 관행은 결국 말할 수 있는 사람은 누구이고 말할 수 없는 사람은 누구인지를 알려준다. [사상과 언어에 대해 사회적으로 구성된 제약]은 권력을 가진 특정 개인 집단에게 더 집중invest되는데, 이는 궁극적으로 누가 CBME에 대해 쓰거나 말할 권한을 갖는지 결정한다. 지배적인 담론에 부합하는 학문적 의견을 가진 사람들은 합법성에 동의하는 반면, 다른 목소리들은 억압된다. 또한, 의학 교육의 구조 내에서 개인의 위치는 그들이 말할 수 있는 것에 영향을 미칠 수 있으며, 어떤 근거로 그것을 말할 수 있는지에도 영향을 미친다.45 이러한 역동을 고려한다면, CBME에 대한 무결점 담론을 주장하는 저자들이 CBME를 받아들이고 거기에 투자하고 있는 기관에 소속되어 있는 것은 전혀 놀랄만한 것이 아니다. 

The same dividing practices that shape what can and cannot be said about CBME also inform who can and cannot say it. Socially constructed constraints on thought and speech invest certain groups of individuals with power, which ultimately determines who has the authority to write or speak about CBME. Those whose scholarly opinions align with the dominant discourse are accorded legitimacy, whereas other voices are suppressed. Further, individuals’ positions within the structure of medical education can influence what they are able to say, and on what grounds they may say it.45 It is perhaps not surprising, when considering this dynamic from a Foucauldian perspective, that many authors using the discourse of infallibility are affiliated with organisations that promote the competency-based approach and are invested in its uptake in medical education.


시간이 지남에 따라, 이러한 권력 구조는 의학 교육 문헌에서 정상화normalize되었다. 그림 1의 서지학적 분석은 이 정규화 과정의 결과를 보여준다. 그것은 [시행과 해석]이 CBME와 관련된 유일한 합법적 우려사항이라는 주장이 이제 당연하게 받아들여져서 학술 간행물에서 경험적 증거를 뒷받침할 필요가 없음을 나타낸다.

Over time, these power structures have become normalised in the medical education literature. The bibliographic analysis in Figure 1 illustrates the result of this normalisation process. It indicates that the assertion implementation and interpretation are the only legitimate concerns related to CBME is now so taken for granted it does not require supporting empirical evidence in academic publications.



그릇된(가짜) 반론으로서의 무불변의 담론.

The discourse of infallibility as a faux resistance


푸코에 따르면 권력은 종종 [소유]보다는 [전략]의 형태로 나타나며, 복잡한 담화 체계로 확산된다.46 역량 프레임워크의 운영과 관련된 합법적이고 정당한 우려로서, 시행과 해석implementation and interpretation은 CBME의 이용자들이 잠재적 좌절감을 내보일 수 있는 배출구 역할을 한다. 시행과 해석이라는 인증된authorised 비평은 CBME를 지속적으로 실천하는 과정에서 어려움이 발생할 때 사용자가 책임을 물을 수 있는 희생양을 제공한다. 이러한 방식으로, 시행과 해석은, 부분적으로는, 일종의 저항 담론으로 기능한다.

According to Foucault, power often manifests in the form of a strategy rather than a possession, diffused throughout a complex system of discourse.46 As both legitimate and legitimated concerns related to the operationalisation of competency frameworks, implementation and interpretation act as an outlet through which users of CBME can channel potential frustration. The authorised critiques provide users with a scapegoat to bear the blame when challenges arise in the sustained practice of CBME. In this way, implementation and interpretation appear to be, and partially function as, a resistance discourse


시행과 해석이라는 인가된 비평은 CBME의 반대측 담론에 연루되어 있는 것처럼 보이지만, 사실은 CBME가 절대 무결하다는 개념을 강화하고 보존한다는 점에서 "가짜" 저항일 뿐이다. 이러한 명백한 모순은 CBME의 지배력을 증가시키는 엄청난 생산성을 가지고 있다. 이 담론이 CBME를 반대하는 척 위장하고 있기 때문에, 여러 문헌에서는 '무결점 담론'에 대한 특별한 설명이 없더라도 그렇게 인식되지 않는 상태로 작동할 수 있다. CBME 담론은 그것의 가짜 저항에 의해 지속되며, CBME의 개념을 [강력하고 경험적인 방식으로 질문하는 것]을 방지한다.

The authorised critiques are a faux resistance in that they seem to be implicated in an opposing discourse, yet instead strengthen and preserve the notion that CBME is infallible. This apparent contradiction has immense productivity in increasing the dominance of CBME. Disguised as a form of opposition, the discourse of infallibility can operate unarticulated and unrecognised in the literature. Thus, the discourse is perpetuated by the way its faux resistance facade prevents the concept of CBME from being questioned in a robust, empirical manner.


함의

IMPLICATIONS FOR MEDICAL EDUCATION


우리는 무결점 담론의 생산과 전파가 의식적으로, 의도적으로 사용된다고 생각하지는 않는다. 오히려 푸코다이드 CDA는 '개인이 시대적 의욕에 어떻게 내재되어 있는지'를 밝히는데, 이는 '사회적 구성과 언어의 수용은 그 맥락에서 분리될 수 없으며, 의도하지 않은 영향을 미리 예측할 수 없다'는 뜻이다.31

In discussing the production and propagation of the discourse of infallibility, we do not suggest it is used consciously or intentionally. Rather, Foucauldian CDA illuminates how ‘individuals are embedded in the discourses of their times’, meaning ‘the social construction and uptake of language cannot be divorced from its context, nor can unintended effects be predicted in advance’.31


CDA는 언어와 힘의 결합을 가시화하는 과정에서 지배담론과 저항담론 사이의 이분법을 지나치게 강조할 수 있다. 그럼에도 불구하고 CDA는 언어가 사회적, 정치적, 역사적 형식과 불가분의 관계에 있기 때문에 중립으로 간주될 수 없다는 것을 상기시킨다.31 담론, 관행, 권력의 교차점을 검토할 때 CDA는 지역적local 수준을 다루지 않는다. 오히려, CDA는 집단을 이룬 개개인이 어떻게 그리고 왜 "당연하게 여겨지는 관행"에 관여implicated하는지를 고려함으로써, 사회적 수준에 주의를 기울인다.

CDA can over-emphasise the dichotomy between dominant and resistance discourses when making visible the integral link between language and power. Nevertheless, CDA reminds us that language cannot be considered neutral because it is inextricably tied to its social, political and historical formations.31 In examining the intersections between discourse, practices and power, CDA does not address the local level. Rather, it attends to the societal level by considering how and why groups of individuals are implicated in taken-for-granted practices.


우리는 그렇다면 개인의 무능력이나 반대되는 저항의 담론을 사용하는 것은 의도의 문제가 아니라, 역량 기반 접근법의 구상, 개발 및 이행 중 의학교육 연구와 실천에 engage하는 과정에서 발생하는 직접적인 결과라고 제안한다.

We suggest, then, that individuals’ use of the discourse of infallibility or the opposing resistance is not a matter of intent, but a direct consequence of their engaging with medical education research and practice during the conception, development and implementation of the competency-based approach.


CBME 문헌을 뒷받침하는 '대화'를 해체할 때, 우리는 우리의 담론의 범위 밖에서 작동하고 있다고 주장하지 않는다. 모든 개개인이 그러하듯, 우리의 사고와 글도 필연적으로 우리의 문맥과 시간의 산만한discursive 구조와 연결되어 있다.

In deconstructing the ‘dialogue’ underpinning the CBME literature, we do not claim to operate outside the bounds of these discourses. Like all individuals, our thinking and writing are inevitably tied to the discursive structures of our context and time.


비록 우리가 이 연구를 하는 동안 자신의 위치에 대한 성찰적 고려를 유지하려고 노력했지만, 우리는 우리가 작동하는 담론에서 완전히 벗어날 수는 없다. CDA는 이 과정을 안내하기 위한 강력한 개념적, 방법론적 프레임워크를 제공하지만, 그것 역시 세계를 이해하는 기초가 되는 일련의 가정에 놓여 있다. 이 연구는 필연적으로 그러한 가정들에 관련되어 있다.

Although we endeavoured to maintain a reflexive consideration of our own positionalities throughout this study, we cannot entirely disentangle ourselves from the discourses within which we operate. CDA offers a strong conceptual and methodological framework to guide this process, but it too rests on a set of assumptions that serve as a basis for understanding the world. This research is inevitably implicated in those assumptions.


우리의 연구는 문헌에서 중요한 inquiry들이 어떤 방식으로 언급되지 않고 지나가는지를 강조한다. 이 연구 기관은 의료 교육에서의 역량 프레임워크의 이론과 실천에 의문을 제기하는 정당한 주장을 제기하였다. 이러한 주장은 경험적 연구에 바탕을 두지 않는 경우가 많았지만, 오래 지속되고 잘 발달된 이론적 고려에 의해 진전되었다. 더 나아가서, 우리는 인증되지 않은unauthorised 비평을 타당한 연구 질문으로 리프레임reframe할 것을 제안한다. 다른 분야의 과거 지식을 기초로 삼아, 이 비평은 의료 교육에서 역량 기반 접근방식을 뒷받침하는 가정의 엄격한 검사에 귀중한 진입점을 제공한다.

Our study highlights how important lines of inquiry were often unaddressed in the literature. This body of work raised legitimate arguments questioning the theory and practice of competency frameworks in medical education. These arguments, although often not based in empirical research, were advanced by long-standing and well-developed theoretical consideration. Moving forward, we propose reframing the unauthorised critiques as valid research questions. Using past knowledge from other fields as a foundation, the critiques offer valuable entry points for rigorous examinations of the assumptions underpinning the competency- based approach in medical education.


결론

CONCLUSION


CBME에 대한 무결점의 담론을 밝혀내는 과정에서, 우리는 그러한 담론이 어떻게 허가되었는지, 당연하게 사실로 받아들여지는 CBME에 대한 비판은 무엇인지, 그리고 사회적 관행이 허가되지 않은 사고방식을 어떻게 소멸시키는지를 알아보았다.

In uncovering the discourse of infallibility, we make visible the means by which the discourse is sanctioned, the types of criticism of CBME that are accepted as true, and the social practices that extinguish unauthorised ways of thinking.









 2018 Jan;52(1):45-57. doi: 10.1111/medu.13467. Epub 2017 Oct 27.

Competency-based medical education: the discourse of infallibility.

Boyd VA1Whitehead CR2,3,4Thille P2Ginsburg S1,2,5Brydges R1,2,6Kuper A1,2,7.

Author information

1
Department of Medicine, University of Toronto, Toronto, Ontario, Canada.
2
Wilson Centre for Research in Education, Toronto, Ontario, Canada.
3
Women's College Hospital, Toronto, Ontario, Canada.
4
Department of Family and Community Medicine, University of Toronto, Toronto, Ontario, Canada.
5
Mount Sinai Hospital, Toronto, Ontario, Canada.
6
St. Michael's Hospital and University of Toronto, Toronto, Ontario, Canada.
7
Sunnybrook Health Sciences Centre, Toronto, Ontario, Canada.

Abstract

BACKGROUND:

Over the last two decades, competency-based frameworks have been internationally adopted as the primary educational approach in medicine. Yet competency-based medical education (CBME) remains contested in the academic literature. We look broadly at the nature of this debate to explore how it may shape scholars' understanding of CBME, and its implications for medical education research and practice. In doing so, we deconstruct unarticulated discourses and assumptions embedded in the CBME literature.

METHODS:

We assembled an archive of literature focused on CBME. The archive dates from 1996, the publication year of the first CanMEDS Physician Competency Framework. We then conducted a Foucauldian critical discourse analysis (CDA) to delineate the dominant discourses underpinning the literature. CDA examines the intersections of language, social practices, knowledge and power relations to highlight how entrenched ways of thinking influence what can or cannot be said about a topic.

FINDINGS:

Detractors of CBME have advanced an array of conceptual critiques. Proponents have often responded with a recurring discursive strategy that minimises these critiques and deflects attention from the underlying concept of the competency-based approach. As part of this process, conceptual concerns are reframed as two practical problems: implementation and interpretation. Yet the assertion that these are the construct's primary concerns was often unsupported by empirical evidence. These practices contribute to a discourse of infallibility of CBME.

DISCUSSION:

In uncovering the discourse of infallibility, we explore how it can silence critical voices and hinder a rigorous examination of the competency-based approach. These discursive practices strengthen CBME by constructing it as infallible in the literature. We propose re-approaching the dialogue surrounding CBME as a starting point for empirical investigation, driven by the aim to broaden scholars' understanding of its design, development and implementation in medical education.

PMID:
 
29076231
 
DOI:
 
10.1111/medu.13467


의학적 의사결정에서 무의식적 편견: 줄이기 위해서 무엇을 할 수 있을까? (Med Educ, 2011)

Non-conscious bias in medical decision making: what can be done to reduce it?

Jeff Stone1 & Gordon B Moskowitz2




INTRODUCTION


질병의 진단, 치료, 생존 및 예방에 있어서의 인종적, 민족적 불균형이 광범위하게 기록되어 있다.1-6 그러한 불균형의 원인은 

(1) 유전적 또는 생물학적 선행요소, 

(2) 사회 경제적 예측자, 

(3) 집단간 편견을 일으키는 심리적 과정 

..등 세 가지 광범위한 요인과 관련이 있다.

Racial and ethnic disparities in the diagnosis, treatment, survival and prevention of disease are widely documented.1–6 The causes of such disparities are linked to three broad factors: genetic or biological antecedents; socio-economic predictors, and psychological processes that contribute to intergroup bias.


수백 개의 실험에서 고정관념과 편견은 심지어 평등주의적인 일반인들의 판단과 행동에까지 영향을 미친다는 것을 밝혀냈다7 그리고 몇몇 연구는 이제 의료 전문가들이 소수 집단 환자들을 진단하고 치료하는 방법에 편견과 고정관념이 영향을 미친다는 것을 보여준다.8,9

Hundreds of experiments have revealed that stereotypes and prejudices influence the judgement and behaviour of even egalitarian lay people without their knowledge7 and several studies now reveal that prejudice and stereotyping impacts on how medical professionals diagnose and treat minority group patients.8,9


문화적 역량을 갖춘 의료인을 양성하는 것은 [소수 집단 환자의 건강 서비스 이용을 저해하는 불감증 행위]를 줄이고 [소수 집단 환자들이 필요하고 정당한 치료를 받지 못하게 하는 의도하지 않은 차별 행위]를 줄이는 데 중요한 역할을 할 것이다.

Training health care providers in cultural competence will play an important role in reducing the acts of insensitivity that discourage minority group patients from using health services and in decreasing the unintentional acts of discrimination that prevent minority group patients from obtaining the care they need and deserve.10–12



무의식적 고정관념과 인종적 편견의 심리학

THE PSYCHOLOGY OF NON-CONSCIOUS STEREOTYPING AND RACIAL BIAS


고정관념이란 '인간집단에 대한 한 사람perceiver의 지식, 신념, 기대를 담고 있는 인지구조'라는 정신적 표현이다.18 사람들은 고정관념을 획득함으로써, 이용가능한 정신적 에너지와 시간 면에서 [효율적이고 경제적인 방법으로 정보를 처리하고 저장고자 하는 목표]를 충족시키는 데 이득을 얻게 된다.

A stereotype is a mental representation, ‘a cognitive structure that contains the perceiver’s knowledge, beliefs, and expectations about a human group’.18 People acquire stereotypes to help them satisfy the goal of processing and storing information in a manner that is efficient and economical in terms of the mental energy and time they have available.


고정관념에 대한 거의 한 세기 동안의 경험적 연구를 통해, [고정관념의 반복적인 사용]은 [고정관념을 더 강화시킬 뿐만 아니라], [고정관념 그 자체가 무의식으로 가라앉아서 (그것에 의존하는 사람들은 보지 못하는) 암묵적 심리체계를 만들어 낸다]는 공감대가 형성되었다. 연구에 따르면, 개인이 집단에 대해 의식적인 부정적인 감정을 갖지 않고, 문화적 다양성에 대해 교육을 받고, 의식적으로 고정관념의 사용을 억압하려고 할 때조차 이렇게 된다는 것이 사실이라고 한다.19

Almost a century’s worth of empirical investigation on stereotypes has led to the consensus that the repeated use of stereotypes creates a psychological system in which both the goals that promote stereotyping and the act of stereotyping itself recede from consciousness so that stereotyping becomes implicit (invisible to those who rely on it). Research shows that this is true even when an individual has no conscious negative feelings toward the group, is educated in cultural diversity, and consciously attempts to suppress his or her use of stereotypes.19


고정관념의 과정은 뚜렷하게 구분되는 두 단계의 인지 과정을 통해 발생한다: 

  • 1단계는 고정관념 활성화 여부를 결정하는 인지 과정으로 구성되며, 

  • 2단계는 다른 사람에 대한 평가, 판단, 행동에 고정관념의 사용여부를 결정하는 인지 과정으로 구성된다.13,20

The process of stereotyping occurs through two phases with dissociable and distinct sets of cognitive processes: 

  • phase 1 comprises cognitive processes that determine stereotype activation, and 

  • phase 2 comprises cognitive processes that determine whether stereotypes are used in evaluation, judgement and action toward others.13,20


첫 번째 단계에서, 고정관념의 활성화는 사람들이 한 개인을 사회 집단의 구성원으로 분류할 때 일어난다. 일단 어떤 개인이 분류되면, 사람들은 해당 집단의 구성원들이 어떤 사람인지에 대한 신념을 떠올리게 되고, 이것이 곧 고정관념이다. 시간이 지남에 따라 이와 같은 분류는 노력, 인식, 의도 없이 자동적으로 고정관념을 활성화시킬 수 있다.

In the first phase, activation of a stereotype occurs when people categorise an individual as a member of a social group. Once that individual has been categorised, people bring to mind their beliefs about what members of that group are like: their stereotypes. Over time, categorisation can activate stereotypes without effort, awareness or intent.


두 번째 단계에서, 사람들은 어떤 개인에 대한 인상을 형성하고 상호작용할 때 활성화된 믿음을 사용한다. 활성화와 마찬가지로, 우리가 정보를 수집하고 처리하는 방법에 대한 가이드로서 고정관념을 사용하는 것은 의식적인 노력이나 주의를 필요로 하지 않는다. 그러나, 만약 사람들이 적절하게 동기부여되고 그들의 반응을 조절할 능력이 있다면, 이 두 단계 모두 통제될 수 있다.

In the second phase of the process, people use activated beliefs as they form an impression of and interact with the target individual. As with activation, using a stereotype as a guide in how we collect information and process it does not require conscious effort or attention. However, both of these phases can be controlled if people are properly motivated and have the ability to regulate their responses.


연구 결과에 따르면 의료인은 위에서 설명한 프로세스의 1단계에서 소수 집단 구성원에 대한 부정적인 고정관념을 자동으로 활성화한다. 예를 들어, 아프리카계 미국인 환자에 대한 노출은 자동적으로 백인 의사들에 의한 부정적인 고정관념을 활성화시킨다(G. B. Boskowitz, A. Childs 및 J. Stone, 미발표 데이터).

Research indicates that health care providers automatically activate negative stereotypes about minority group members during phase 1 of the process described above. For example, exposure to African-American patients automatically activates negative stereotypes held by White doctors (G. BMoskowitz, A. Childs and J. Stone, unpublished data).


이것은 가난과 범죄와 연관된 아프리카계 미국인들에 대한 부정적인 고정관념이, 의사들로 하여금 이러한 단어들을 의학적 용어로 인식하게끔 파고들었음leak을 시사한다. 

This suggests that negative stereotypes about African-Americans that are linked to poverty and crime leaked into the doctor’s ability to recognise these words as medical terms. 


스테레오타입 활성화는 또한 소수 집단 환자의 임상 진단과 치료 동안 고정관념 과정의 2단계에서 자신의 존재를 드러내는 것으로 나타났다. 아프리카계 미국인들에 대한 의식 없는 부정적 감정 – 암묵적인 편견 –은 의료 제공자들이 아프리카계 미국인 환자를 진단하고 치료하는 방식에 부정적인 영향을 미칠 수 있다.

Stereotype activation has also been shown to manifest itself in phase 2 of the stereotyping process during the clinical diagnosis and treatment of minority group patients. Non-conscious negative feelings – implicit prejudice – against African-Americans can negatively impact the way health care providers diagnose and treat an African-American patient.


이러한 발견의 중요성은, 고정관념이 활성화되었을 때, 암묵적인 부정적 태도와 고정관념은 의사가 소수 집단 환자들을 평가하고 행동하는 방식을 편향시킬 수 있으며, 이것은 의사의 진료행위에서 환자들을 불편하게 할 수 있다는 것이다.

The importance of these findings for medical professionals is that, when activated, implicit negative attitudes and stereotypes can bias the way they evaluate and behave toward minority group patients, which can make such patients uncomfortable when they seek care.


[명시적 태도와 신념]에 의해 [겉으로 드러나는 행동]만 영향을 받는 것은 아니다. [상대방에 대한 신념, 그 자신의 행동에 대한 신념, 상호작용의 방식에 대한 대한 신념] 등도 대상 집단에 대한 명시적이거나 의식적인 태도explicit or conscious attiudes와 신념에 의해 영향을 받을 수 있다.21

It is not only explicit behaviours that are likely to be guided by explicit attitudes and beliefs; a perceiver’s beliefs about the target person, beliefs about his or her own behaviour and beliefs about how the interaction is going are also likely to be guided by his or her explicit or conscious attitudes toward and beliefs about the target group.21


문제는 사람들이 특정 개인에게 어떻게 반응하는지에 영향을 주는 [암묵적인 태도와 믿음]을 가지고 있다는 것이다. 사람들은 자신의 노골적인 편견을 통제하는 데 집중하지만, 이미 그들의 암묵적인 태도와 신념은 소수 집단 환자에 대한 비호감이나 불편함을 내포하는 눈 접촉, 언어 오류 및 기타 미묘한 회피 행동과 같은 비언어적 행동을 통해 새어나갈 수 있다.21,22 그러므로, 암묵적인 형태의 차별은 암묵적인 태도와 신념에 의해 이끌리기 쉽다. 결국 이러한 방식으로 [의도하지 않은 형태의 편견이 의료 전문가들이 소수 집단 환자와 소통하고 치료하는 방식으로 스며드는 것]이다.

The problem is that people also have implicit attitudes and beliefs that contribute to how they respond to target individuals. While their attention is focused on controlling their explicit biases, their implicit attitudes and beliefs can leak out through non-verbal behaviours, such as eye contact, speech errors and other subtle avoidance behaviours that convey dislike or unease in the presence of minority group patients.21,22 Thus, implicit forms of discrimination are more likely to be guided by implicit attitudes and beliefs, thus indicating the path by which unintentional forms of bias seep into the way medical professionals communicate with and treat a minority group patient.


통신 양식이 서로 일치하지 않을 때(예: 암묵적 언어가 명시적 행동 반응과 일치하지 않는 경우), 또는 명시적 언어가 암묵적 행동 반응과 일치하지 않을 때, 이러한 불일치는 소수 집단 개인에 의해 감지될 수 있으며, 이것은 그들로 하여금 의사나 간호사가 자신들에 대해 편견을 가지고 있다는 것을 인식하게 한다.

When communication modalities are inconsistent with one another, such as when the implicit verbal is inconsistent with the explicit behavioural response, and when the explicit verbal is inconsistent with the implicit behavioural response, this inconsistency can be detected by minority group individuals and this leads them to perceive that the doctor or nurse is biased against them.


도비디오 외 연구진 21은 이 과정의 극적인 예를 보고했다.

Dovidio et al.21 reported a dramatic example of this process.


편견의 명시적 척도는 명시적인 언어 행동을 예측하였지만, 암시적 척도는 다른 것을 예측하였다. 오히려 편견의 암시적 척도는 암묵적인 비언어적 행동을 예측하였으며, 편견의 명시적 척도는 이것을 예측하지 못하였다. 즉, 암시적 태도는 매너리즘, 눈맞춤, 말실수와 같은 비언어적 형태의 편견에 영향을 미친 반면, 명시적 태도는 대화의 내용과 같은 명시적 형태의 편견에 영향을 미쳤다.

The explicit measures of prejudice predicted explicit verbal behaviours, whereas implicit measures did not. Implicit measures of prejudice predicted implicit, non-verbal behaviours, whereas explicit measures of prejudice did not. Thus, implicit attitudes influenced non-verbal forms of bias, like mannerisms, eye contact and speech errors, whereas explicit attitudes influenced explicit forms of bias, such as the content of the conversation.


아프리카계 미국인들에 대한 결과도 있다. 이것은 암묵적인 인종적 편견이 의료 전문가의 소수 집단 환자에 대한 행동뿐만 아니라 소수 집단 환자가 제공자와의 상호 작용에 대해 어떻게 느끼는가에 영향을 미칠 수 있음을 시사한다. 그러나 제공자는 환자가 왜 다시 의사를 찾지 않았는지, 왜 의료 조언을 주었는데 받아들이지 않았는지를 결코 깨닫지 못할 수도 있다.

There were also consequences for the African-Americans. This suggests that implicit racial biases can impact on not only a medical professional’s behaviour toward a minority group patient, but also on how the minority group patient feels about the interaction with the provider; however, the provider may never come to realise why the patient failed to return or to take the medical advice he or she was given.


그러나 현재의 문화적 역량 훈련이 의료전문가들에 의한 편견의 자동적 활성화와 사용에 얼마나 잘 대처하는지에 대해서는 결정적 한계가 있을 수 있다.

However, there may be important limitations to how well current training in cultural competence addresses the automatic activation and use of bias by medical professionals.


문화적 역량 훈련의 함정

THE PITFALLS OF TRAINING IN CULTURAL COMPETENCE


가장 광범위한 수준에서 [문화적 역량]이란 [다양한 가치, 신념 및 행동을 가진 환자에게 의료를 제공하는 시스템의 능력]을 말하며, 여기에는 환자의 사회적, 문화적, 언어적 필요에 맞춰서 의료행위를 적절히 조정하는 것을 포함한다.23 개인차원에서 이는 다음과 같은 능력을 말한다.

  • 모든 사람들 사이의 다양성과 유사성을 중시한다. 

  • 개인 및 조직 차원의 문화적 자기 평가에 참여한다. 

  • 문화적 차이를 이해하고 효과적으로 대응한다. 

  • 특정 소수 집단의 문화 스크립트를 수용하도록 서비스 전달 및 지원 활성화 조정.10,12,25

At the broadest level, cultural competence describes the ability of systems to provide care to patients with diverse values, beliefs and behaviours, including their tailoring of delivery to meet patients’ social, cultural and linguistic needs.23 At the individual level, it refers to the ability of health care providers to 

  • value diversity and similarities among all peoples, 

  • engage in cultural self-assessment at the individual and organisational levels, 

  • understand and effectively respond to cultural differences, and 

  • adjust the delivery of services and enabling supports to accommodate the cultural scripts of specific minority groups.10,12,25


의료 사업자가 이러한 목표를 달성하도록 돕기 위해, 미국 소인 보건국(Office of Minority Health, Office of Minority Health, Office of Minority Health, DHHHS-OMH)은 의료 서비스에서 문화 및 언어학적으로 적절한 서비스(CLAS)에 대한 국가 표준을 만들었다.24,25

To help health care providers achieve these goals, the US Department of Health and Human Services, Office of Minority Health (DHHS-OMH) created the National Standards for Culturally and Linguistically Appropriate Services (CLAS) in Health Care.24,25


히스패닉 문화에서 흔히 볼 수 있는 세 가지 건강 관련 전통으로는 

  • 패밀리스모(의료 의사 결정에 가족 참여, 환자의 치료와 진로에 대한 환자의 통제를 감소시키는), 

  • 마키스모(남성에게 가족 내 여성을 위한 의학적 의사 결정을 할 수 있는 힘을 주는 성 역할), 그리고 

  • 파탈리스모(건강과 질병은 운명으로 정해진 것이며, 통제할 수 없다.)

Three health-related traditions common in Hispanic culture include 

  • familismo (family involvement in medical decision making, which reduces the patient’s control over the treatment and course of illness), 

  • machismo (gender roles that give males the power to make medical decisions for females in the family) and 

  • fatalismo (the belief that health and illness are preordained and, therefore, beyond control).


CLAS 표준은 문화 역량에서의 훈련의 중요성, 그리고 전문가들이 보건의료에서 인종과 민족성의 역할에 대해 알아야 할 것에 대한 포괄적이고 포괄적인 지침을 제공하지만, 여기서는 이 표준들이 어떻게 가르쳐져야 하는지에 대해서는 명시하지 않으며 자료의 내용 역시 구체적이지 않다.

Although the CLAS standards provide a sweeping and comprehensive set of guidelines about the importance of training in cultural competence, and about what professionals should know about the roles of race and ethnicity in health care, they do not specify how these standards should be taught and are not specific about the content of the materials.


의학전문가가 문화적 지식의 활성화와 고정관념의 사용 사이의 간극thin line을 걷는 것을 돕기 위해, 소수 집단 환자와 상호작용할 때 문화적 차이를 지나치게 일반화하지 않도록 주의를 기울이는 것은 직관적으로 이치에 맞을 수 있다. 그러나, 고정관념에 대한 연구는 [사람들에게 명시적인 편견을 피하는 방법을 가르치는 것]이 상호작용의 특정 지점에서는 효과가 있을지 몰라도, [아이러니하게도, 고정관념을 활성화하고, 자신도 모르게 초기의 인상 형성 및 상호작용 과정에 이것을 사용될 가능성을 증가시킬 수 있다]는 것을 발견한다. 

To help the medical professional walk the thin line between the activation of cultural knowledge and the use of stereotypes, it might make intuitive sense to caution against overgeneralising cultural differences when he or she interacts with minority group patients. However, research on stereotyping finds that although teaching people how to avoid explicit bias may control it at certain points in an interaction, it may also, ironically, increase the likelihood that stereotypes are activated and unknowingly used early in the impression formation and interaction process. 


이는 고정관념을 억누르려는 의식적인 시도가 더 큰 암묵적 활성화로 이어지는 반등 효과의 결과일 수도 있고, 또는 상호작용 중 상대에 대한 기본적인 가정을 갖고 있을 때 민족적, 인종적 차이에 대한 정보를 사용해야 하는 필요성 때문에 발생할 수도 있다. 그러므로 문화적 역량에 대한 정보주기식well-informed 훈련이 '하향적' 형태의 편견을 축소할 수는 있지만, 상호 작용의 초기 단계에서 고정관념이 외부인식이 활성화되는 것을 막지 못할 수 있다.

This can occur either as a result of rebound effects, whereby conscious attempts to suppress stereotypes lead to their greater implicit activation,27,28 or as a result of the necessity of using information about ethnic and racial differences in making basic assumptions during an interaction. Thus, although well-informed training in cultural competence may curtail ‘downstream’ forms of bias, it may fail to prevent stereotypes from becoming activated outside awareness at the outset of an interaction.


역설적이게도, 이는 문화적 역량 훈련이 고정관념 활성화를 촉진하고 의료 전문가들이 소수 집단 환자와 어떻게 상호작용하는지에 자신도 모르게 영향을 미칠 가능성을 열어준다구체적으로, 의사나 간호사가 새로운 환자와 초기 인터뷰를 할 때 소수 민족과 인종에 대한 부정적인 고정관념이 암묵적으로 활성화된다면, 고정관념은 질문의 종류에 영향을 미칠 수 있다. 이는 결국 취득하여 기록한 정보에 영향을 미치며, 눈의 접촉, 얼굴 표정, 신체적 접촉과 같은 비언어적 행동들은 환자의 편안함과 반응에도 영향을 미칠 수 있다.

This opens the door to the possibility that cultural competency training will promote stereotype activation and unknowingly influence how medical professionals interact with minority group patients. Specifically, if negative stereotypes about ethnic and racial minorities are implicitly activated when a doctor or nurse meets and conducts an initial intake interview with a new patient, the stereotypes may influence the types of questions that are asked, the information that is acquired and recorded, and nonverbal behaviours like eye contact, facial expressions and physical contact, which may impact on the comfort and responses of the patient.


문화적 역량 향상을 위한 암묵적 편견 대응 훈련

TRAINING IN IMPLICIT BIAS CAN ENHANCE CULTURAL COMPETENCE



워크숍의 주요 초점은 [의료인이 고정관념과 태도를 억제하는 것으로 알려진 전략을 사용하도록 교육]하여 인종과 인종의 관련 특성이 진단 결정에 도움이 필요한 지점에서 제공자-환자 상호작용에서만 제한적으로 도입되도록 하는 것이다. 

A major focus of the workshop is to train health care professionals in strategies known to inhibit stereotypes and attitudes so that attributes linked to ethnicity and race will only be introduced during the provider–patient interaction at points at which they are required to aid in diagnostic decisions, rather than being introduced unknowingly at times when the provider would desire greater accuracy and individuating information about the patient.


암묵적 편견에 대해 배우기

Learning about implicit bias


워크숍은 학생들에게 집단간 편견의 성격을 조심스럽게 소개하는 것으로 시작된다. 이것은 많은 사람들에게 민감한 주제인데, 연구 결과는 누구든 정면으로 confronting하는 것은 화를 유발하고 정보에 대한 저항력을 자극하는 경향이 있다는 것을 보여주기 때문이다.30–32 따라서 워크숍은 편견의 심리적 구성 요소와 그것이 판단과 상호작용에 어떻게 영향을 미치는가에 대한 광범위한 논의로 시작한다. 강사 또는 조력자는 편견, 고정관념 및 차별의 개념을 정의하는 것으로 시작하여, 이것들이 서로 개념적으로는 구분되지만, 서로 상호작용하여 인식/감정/행동에 영향을 준다는 것을 이야기해야 한다. 이해를 용이하게 하는 좋은 방법은 뉴스, 인터넷 또는 다른 매체에 나타나는 예를 보여줌으로써 각 구성의 토론을 통해 수업을 이끄는 것이다. 이 토론은 또한 강사들이 전체적인 관심 수준을 측정하고 주제와 관련하여 특히 불편한 개인들을 주의 깊게 관찰할 수 있다.

The workshop starts by carefully introducing students to the nature of intergroup bias. This is a delicate topic for many and research shows that confronting people right off the bat tends to cause anger and motivate resistance to the information.30–32 Thus, the workshop begins with a broad discussion of the psychological building blocks of bias and how it impacts judgement and interaction. The instructor or facilitator should begin by defining the concepts of prejudice, stereotyping and discrimination, and by talking about how they are conceptually distinct but interact with one another to influence cognition, emotion and behaviour. A good way to facilitate comprehension is to lead the class through a discussion of each construct by showing them examples that appear in the news, Internet or other media. The discussion also allows instructors to gauge the overall level of concern and to attend to individuals who may be especially uncomfortable talking about the topic.


워크숍의 다음 섹션에서는 학생들에게 암묵적 인식과 암묵적 형태의 편견의 개념을 소개한다. 수업 내용으로는 

    • 암묵적 고정관념과 명시적 고정관념과 편견의 차이, 

    • 암묵적 편견이 어떻게 발달하게 되며, 그것의 기능은 무엇인지에 대한 이론적 관점, 

    • 마지막으로 그것들이 어떻게 측정되는가에 초점을 맞춘다.

The next section of the workshop introduces students to the concept of implicit cognition and implicit forms of bias. The materials focus 

    • on the difference between implicit and explicit stereotypes and prejudice, 

    • on theoretical perspectives on how implicit biases are developed and the functions they serve, and, finally, 

    • on how they are measured.


암묵적 편견 경험하기

Experiencing implicit bias


다음으로, 참가자들은 고정관념의 활성화로 지각에 오류가 생기는 방법을 보여주는 일화를 포함하여 고정관념과 편견의 암묵적인 성격을 보여주는 몇 가지 교실 사례를 통해 이끌어진다. 그런 다음 학습자들은 잘 문서화된 IAT(Implicit Association Test)의 학급 내 시연에 참여한다.33,34 컴퓨터 자원이 이용 가능하다면 학생들은 점수를 받기 위해 인종적 또는 인종적 편견의 많은 IAT 척도 중 하나를 완성한다. 그리고 나서 이것들은 공유되고 논의된다. 

Next, participants are led through several classroom examples that demonstrate the implicit nature of stereotypes and prejudice, including illustrations of how the activation of stereotypes creates errors in perception. Learners then participate in an in-class demonstration of the well-documented Implicit Associations Test (IAT).33,34 If computer resources are available, students complete one of the many IAT measures of racial or ethnic bias to receive a score. These are then shared and discussed. 


편견을 보여주는 또 다른 강력한 방법은 학생들이 짝짓기에 반응하여 다리에 박수를 치는 IAT의 동급 버전 연습을 하는 것이다. 이 demonstration은 고정관념에 부합하는 짝(예: 남성-과학)와 비교하여 고정관념에 맞지 않는 짝(예: 여성-과학)에 대응하는 상대적인 어려움을 '느끼게' 할 수 있을 뿐만 아니라, 일관성에 대하여 청중들의 높고 낮은 반응을 '잘 들리게 하는' 의미도 있다. 우리의 경험에 따르면, 이러한 수업 내 연습은 덜 위협적이며 작업장 참가자들 사이에서 상당한 논의를 야기한다.

Another powerful way to demonstrate the bias is to performan in-class version of the IAT in which students clap on their legs in response to pairings. This demonstration allows the audience to not only ‘feel’ the relative difficulty of responding to stereotype-inconsistent pairings (e.g. female–science) compared with stereotype-consistent pairings (e.g. male–science), but also to ‘hear’ the relative low versus high variability of responses in the audience to the consistent versus inconsistent pairings. In our experience, the in-class demonstration is less intimidating and generates considerable discussion among workshop participants.


연습의 요점을 강화하기 위해서는, 암묵적 편견과 고정관념에 대한 실험의 데이터를 제시하는 것으로 데모를 끝내는 것이 중요하다. 즉, 의료전문가를 포함한 모든 사람들은 소수의 집단 환자와 상호작용할 때 자신의 판단과 행동에 '파고드는' 암묵적 편견을 가지고 있다.9 학생들에게 그들의 암묵적인 편견을 염두에 두게mindful 함으로써, 평등주의 목표와 이러한 목표 달성에 필요한 정보를 습득하고자 하는 욕구를 활성화시키기 위한 것이다. 그런 다음 그들은 다음 절에서 제공하는 편견을 줄이기 위한 전략을 처리, 유지 및 사용하도록 특별히 동기를 부여해야 한다.

It is important to end the demonstration with a presentation of data from experiments on implicit prejudice and stereotyping in order to reinforce the main point of the exercises: all people harbour implicit biases that ‘leak’ into their judgements and behaviours, including health care professionals when they interact with minority group patients.9 Making students mindful of their implicit biases is designed to activate their egalitarian goals and their desire for information relevant to achieving these goals. They should then be especially motivated to process, retain and use the strategies for reducing bias that are provided in the next section.


암묵적 편견을 예방하기 위한 전략

Strategies for preventing implicit bias


워크숍의 마지막 섹션은 참가자들에게 소수 집단 환자에 대한 판단과 상호작용에서 [암묵적 편견의 활성화와 사용]을 줄이는 방법을 가르친다. 최근의 연구는 암묵적 인지 시스템과 명시적 인지 시스템은 서로 연결되어 있고, 사람들이 그들의 암묵적 반응을 변화시키고 통제하기 위해 명시적인 과정을 이용할 수 있다는 것을 보여준다.16,17,35 이 목표를 달성하기 위해 학생들은 어떻게 암묵적 편견을 줄일 수 있는 강한 잠재력을 보여주는 네 가지 전략을 사용하는지에 대해 배울 수 있다: 평등주의적 목표 추구; 이상공통 아이덴티티, 역강화 및 관점 확보.36,37

The final section of the workshop teaches participants how to reduce the activation and use of implicit bias in their judgement of and interaction with minority group patients. Emerging research shows that the implicit and explicit cognition systems are connected and that people can use explicit processes to change and control their implicit responses.16,17,35 To accomplish this goal, students can learn about how to use four strategies that show strong potential for reducing implicit bias: 

    • pursuing egalitarian goals; 

    • identifying common identities; 

    • counter-stereotyping, and 

    • perspective taking.36,37


암묵적 고정관념을 통제하기 위한 한 가지 전략은 소수 집단을 공정성과 평등을 촉진하는 목표와 연관시키는 것을 배우는 것이다.38 평등주의적인 목표가 활성화되면 고정관념 활성화의 암묵적인 성격을 훼손하고 상쇄함으로써 고정관념을 억제하여 고정관념을 생각하기에 앞서 단절시킨다. 참가자들에게 평등주의 목표를 추구하도록 가르치는 것은 대다수의 의료 전문가들에게 이미 존재하는 항구적chronic 가치와 믿음을 활용한다. 이 전략의 목표는 환자의 민족성이 고정관념을 유발하는 것이 아니라, 그들의 평등주의 목표를 (환자를 만나고 인터뷰하는 것과 같은) 일상 업무와 어떻게 연관시켜야 하는지를 보여주는 것이다. 이를 통해 임무를 수행할 때 자동적으로 목표를 추구함에 있어 정확하고 공정하며 편견 없이 능숙하게 하도록 유도하는 것이다.

One strategy for controlling implicit stereotypes is to learn to associate minority groups with goals that promote fairness and equality.38 When activated, egalitarian goals inhibit stereotypes by undermining and counteracting the implicit nature of stereotype activation, thereby cutting stereotypes off before they are brought to mind. Teaching participants to pursue egalitarian goals capitalises on the chronic values and beliefs already present in the majority of health care professionals. The objective is to show them how to associate their egalitarian goals with everyday tasks, such as meeting and interviewing a patient, so that performing such a task automatically triggers pursuit of the goal to be accurate, fair, unbiased and skilled in its performance, rather than letting the ethnicity of the patient trigger a stereotype.


의료전문가가 이 기술을 개발하도록 도와주는 핵심은 평등주의 목표를 더 잘 표현할 수 있도록 하고articulate, 환자를 [다른 사람들을 돕는다는 목표를 추구할 수 있는 기회]로서 인식하도록 훈련시키는 것이다.39 의료전문가가 소수 집단 환자들을 만날 때마다, 그 환자는 평등주의의 목표와 전략을 추구할 수 있도록 trigger하는 단서가 될 수 있다. 이렇게 한다면 [환자로부터 보다 정확한 응답을 얻을 뿐만 아니라], [의료인이 자기자신의 본질적 인센티브가 무엇인지 상기할 수 있는] 두 가지 이득을 얻을 수 있다.

The key to supporting health care professionals in developing this skill is to help them better articulate their egalitarian goals and train them to identify patients as representing opportunities to pursue their goals of helping others.39 Each time the health care professional encounters a minority group patient, that patient can serve as a cue to trigger the pursuit of goals and strategies that have the double benefit of obtaining more accurate responses and reminding the provider of his or her primary incentive.


이 전략에서, 첫 번째 단계는 학생들에게 평등주의가 무엇을 의미하고 그것이 직장에서의 건강 관리 활동과 어떻게 관련되는지 정의하게 하는 것이다. 강사는 참가자가 도출한 응답을 사용하여, 목표와 그것을 구현하는 방식에 제약이 되는 부정확성을 확인하고 해결할 수 있다. 다음으로, 단순히 의식적으로만 평등주의 목표를 형성하는 것이 암묵적 편견을 줄이기에는 충분하지 않을 수 있다는 것을 보여주는 것이 중요하다. 이를 설명하기 위해 참여자에게 소수 집단 환자와 상호작용하면서 그 목표에 따라 행동하지 못한 최근의 예를 한 가지 떠올려볼 것을 요구할 수 있다. 학생들이 평등주의 목표를 사용하여 암묵적 편견의 가능성을 줄이도록 돕기 위해서, 강사는 사람들이 어떻게 그들의 단점을 그들의 평등주의 목표를 추구하기 위한 단서로 사용할 수 있는지를 보여주는 이론과 연구를 제시할 수 있다.

The first step is to have students define what egalitarianism means and how it relates to their health care activities at work. The instructor can use the responses participants generate to identify and address inaccuracies in how they construe the goal and its implementation. Next, it is important to show themthat simply forming conscious egalitarian goals may be insufficient to reduce implicit bias. To illustrate this, participants are asked to reflect on one example from the recent past in which they failed to act according to those goals while interacting with a minority group patient. To help students use their egalitarian goals to reduce the potential for implicit bias, the instructor can then present theory and research showing how people can use their shortcomings as cues to trigger their pursuit of their egalitarian goals.


암묵적 형태의 편견을 줄이는 또 다른 메커니즘은 환자들을 분류하는 방법을 변화시키는 것인데, 이것은 공유되고 공통된 정체성에 초점을 맞춤으로써 이루어질 수 있다.41 연구에 따르면, 사람들이 다양한 사회 집단에 속해 있기 때문에, 한 사람의 인상을 형성하는 과정에서, 한 집단의 정체성을 촉발하는 행위가 다른 정체성의 활성화를 억제하고, 마찬가지로 다른 정체성과 관련된 고정관념을 억제한다. 이 재범주화를 위한 한 가지 전략은 의료인과 환자가 공유하고 있는 그룹 또는 다른 사회적 신분, 관심 및 활동에 대해 질문하는 것이다. 환자의 인종이나 민족성에서 다른 범주(성인, 직업, 취미 등)로 주의를 옮기는 것은 암묵적 부정적 고정관념의 활성화를 억제할 수 있다. 물론 문화적 역량은 환자의 인종적, 민족적 집단 구성원 자격을 고려해야 하지만, 적절한 의학적 결정을 하는데 절대적으로 필요할 때까지 의료 전문가들은 그러한 분류를 유보하도록 가르칠 수 있다.

Another mechanism for reducing implicit forms of bias is to change the way patients are categorised, which can be accomplished by focusing on a shared, common identity.41 Research finds that, because people belong to a variety of social groups, in the process of forming an impression of a person, the act of triggering one group identity inhibits the activation of other identities and also inhibits the stereotypes associated with the other identities. One strategy for this re-categorisation requires the professional to ask questions about group or other social identities, interests and activities that he or she may share with the patient. Shifting attention from the patient’s race or ethnicity to some other category (gender, occupation, hobby, etc.) can inhibit the activation of implicit negative stereotypes. Of course, cultural competency requires that the racial and ethnic group membership of the patient should be considered, but medical professionals could be taught to reserve such categorisation until it is absolutely necessary for making appropriate medical decisions.


반-고정관념적 특성과 행동에 대한 정보를 수집하는 것 역시 암묵적 고정관념의 활성화를 완화시킬 수 있다. 반-고정관념화란 문화적 고정관념과 반대되는 정보를 제공하는 것을 포함한다. 연구에 따르면, 어떤 사람이 정형화된 집단에 속하는 것으로 분류되더라도, 인식자가 그 집단에 대한 새로운 연관성을 발달시키면 고정관념이 억제될 수 있다.36 따라서 제공자가 자신이 소수의 집단에 대해 가지고 있는 특정한 부정적인 신념에 반하는 정보를 수집하는 방법을 배울 수 있다면, 결국 그러한 counter-stereotypical한 연관성이 그 그룹과 연결되게 되고, 해당 그룹의 환자를 만날 때 자동으로 활성화될 것이다. 참가자들이 새로운 소수 집단 환자에 대한 반직관적, 반고정관념적 정보를 얻는 것을 돕기 위해, 참가자들은 그들이 환자의 개별화된 속성과 행동을 드러낼 가능성이 있는 질문을 개발하고, 그 질문을 사용하는 것을 돕기 위한 목적으로 개발된 연습을 수행할 수 있다.

Collecting information about counter-stereotypical attributes and behaviours can also mitigate the activation of implicit stereotypes. Counter-stereotyping involves providing information that is opposite to the cultural stereotypes about a group. Research shows that even when a person is categorised as belonging to a stereotyped group, the stereotype can be inhibited if the perceiver develops new associations to that group.36 Thus, if a provider can learn how to acquire information that is counter to the specific negative beliefs he or she holds about a minority group, eventually the counter-stereotypical associations become linked to the group and automatically activated when the provider meets a patient from the group. To help them acquire counterstereotypical information about a new minority group patient, participants can perform exercises designed to help them develop and ask questions that are likely to reveal the patient’s individualised attributes and behaviours.


마지막으로, 암묵적 고정관념의 활성화를 줄이기 위한 네 번째 전략은 소수 집단 환자의 관점을 취하는 것이다. 연구에 따르면, 사람들은 오명을 쓴 개인이나 집단이 직면하는 어려운 상황을 상상하고 감상하도록 장려될 때, 

    • 그룹에 대한 부정적인 고정관념을 활성화할 가능성이 적으며, 

    • 자기와 타인의 공통점을 더 잘 느낄 수 있고 

    • 곤궁에 처한 집단이 마주한 불의에 공감하고, 

    • 결과적으로 더 좋은 인상을 갖게 된다.

Finally, a fourth strategy for reducing the activation of implicit stereotypes involves taking the perspective of the minority group patient. Research shows that when perceivers are encouraged to imagine and appreciate the difficult situation faced by a stigmatised individual or group, they are 

less likely to activate negative stereotypes about the group and 

better able to feel more self–other overlap, 

empathise with the injustice in the group’s plight, and 

adopt a more favourable impression as a result.42–44 


워크숍 참가자들이 소수 집단 환자의 관점을 취하는 것을 배우도록 돕기 위해, Trainee에게 소수 집단 남성 또는 여성 환자의 사진을 보고 그 환자의 일생에서 하루의 간략한 이야기를 쓰는 연습을 해보도록 요구할 수 있다. 그런 다음, 그들은 그 사람의 건강 관리에 대한 그룹의 관점을 보다 완전하게 그려내는 데 도움을 주기 위해 학급과 이야기를 나눌 수 있다.

To help workshop participants learn to take the perspective of their minority group patients, they are asked to complete an exercise in which they view a picture of a minority group male or female patient and write a brief story about a day in the life of that patient. They can then share their stories with the class to help paint a more complete picture of the group’s perspective on that person’s health care.


결론

CONCLUSIONS


암묵적 편견은 의료인이 소수 집단 환자에 대한 정보를 획득하고 진단하고 치료하는 방식에 스며든다. 그러나 의료 사업자를 훈련시켜 암묵적 편견을 통제하게 하면 암묵적 편견의 영향을 완화할 수 있다.

Thus, implicit biases may leak into the way health professionals acquire information on and diagnose and treat minority group patients. However, training health care providers to control their implicit biases can mitigate the impact of implicit bias.





 2011 Aug;45(8):768-76. doi: 10.1111/j.1365-2923.2011.04026.x.

Non-conscious bias in medical decision making: what can be done to reduce it?

Author information

1
Department of Psychology, School of Mind, Brain & Behavior, College of Science, University of Arizona, Tucson, AZ 85721, USA. jeffs@email.arizona.edu

Abstract

CONTEXT:

Non-conscious stereotyping and prejudice contribute to racial and ethnic disparities in health care. Contemporary training in cultural competence is insufficient to reduce these problems because even educated, culturally sensitive, egalitarian individuals can activate and use their biases without being aware they are doing so. However, these problems can be reduced by workshops and learning modules that focus on the psychology of non-conscious bias. THE PSYCHOLOGY OF NON-CONSCIOUS BIAS: Research in social psychology shows that over time stereotypes and prejudices become invisible to those who rely on them. Automatic categorisation of an individual as a member of a social group can unconsciously trigger the thoughts (stereotypes) and feelings (prejudices) associated with that group, even if these reactions are explicitly denied and rejected. This implies that, when activated, implicit negative attitudes and stereotypes shape how medical professionals evaluate and interact with minority group patients. This creates differential diagnosis and treatment, makes minority group patients uncomfortable and discourages them from seeking or complying with treatment.

PITFALLS IN CULTURAL COMPETENCE TRAINING:

Cultural competence training involves teaching students to use race and ethnicity to diagnose and treat minority group patients, but to avoid stereotyping them by over-generalising cultural knowledge to individuals. However, the Culturally and Linguistically Appropriate Services (CLAS) standards do not specify how these goals should be accomplished and psychological research shows that common approaches like stereotype suppression are ineffective for reducing non-conscious bias. To effectively address bias in health care, training in cultural competence should incorporate research on the psychology of non-consciousstereotyping and prejudice.

TRAINING IN IMPLICIT BIAS ENHANCES CULTURAL COMPETENCE:

Workshops or other learning modules that help medical professionals learn about non-conscious processes can provide them with skills that reduce bias when they interact with minority group patients. Examples of such skills in action include automatically activating egalitarian goals, looking for common identities and counter-stereotypical information, and taking the perspective of the minority group patient.

PMID:
 
21752073
 
DOI:
 
10.1111/j.1365-2923.2011.04026.x


의과대학생의 학습 목표를 지정하기: 지시한대로 따르는가? 만약 그렇지 않다면? (Med Teach, 2019)

Assigning Medical Students Learning Goals: Do They Do It, and What Happens When They Don’t?


Julian Manzonea, Glenn Regehrb , Shawn Garbedianc, and Ryan Brydgesa,d

aWilson Centre, University Health Network; Faculty of Medicine, University of Toronto, Toronto, Ontario, Canada; bCentre for Health Education Scholarship and Department of Surgery, University of British Columbia, Vancouver, British Columbia, Canada; cNorth York General Hospital, Toronto, Ontario, Canada; dDepartment of Medicine, University of Toronto and Allan Waters Family Simulation Centre, St. Michael’s Hospital, Toronto, Ontario, Canada





도입

Introduction


학습 시간을 최적화하기 위해서는 연습생들이 효과적인 자기 조절학습(SRL)에 참여해야 한다.1 그러나 실제로 연습생들은 종종 자신이 무엇을 모르는지 모르고, 2 자신의 학습 목표를 설정하는 데 어려움을 나타내며, 3 감독자와 환자의 우선순위와 자신의 목표 사이에서 협상하는 것을 어려워한다.4,5

To optimize such learning time trainees must engage effectively in self-regulated learning (SRL).1 In practice, however, trainees often don’t know what they don’t know,2 express difficulty in setting their own learning goals,3 and experience challenges negotiating their goals with the priorities of their supervisors and patients.4,5


SRL 최적화를 지원하는 교육자: 

  • 연습 시간을 효과적으로 스케줄링할 수 있도록 돕는 것이 포함될 수 있다(예: 언제 어떻게 공부할 것인가).

  • 주요 학습 성과를 촉진하는 방식으로 콘텐츠 제시(예: 개념적 및 절차적 지식을 통합하는 동영상)

  • SRL에 주의를 기울이는 데 도움이 되는 학습 조건 설계(예: 목표를 설정하는 방법)

support trainees to optimize their SRL.6,7: 

  • supports might include helping trainees schedule their practice time effectively (e.g., when and how to study),8,9 

  • presenting content to them in ways that facilitate key learning outcomes (e.g., videos that integrate conceptual and procedural knowledge),10 and 

  • designing learning conditions that help them attend to relevant aspects of their SRL (e.g., how to set goals).4,5,11,12


의학 교육 외 분야에서 이뤄진 연구에 따르면, 기술 습득을 목표로 할 때, 학습자가 프로세스 목표(즉, 결과를 도출하기 위해 취한 조치)를 설정하도록 지시하는 것이 결과 목표(즉, 성과물)를 설정하도록 방향을 정하는 것보다 즉각적으로 측정된 성과를 더 좋게 이끈다는 것을 보여주었다.13-15 이러한 연구 결과와 대조적으로, 의학교육에서, 봉합 기술을 배울 때 프로세스 목표를 설정했던 초보 의대생들은 결과 목표를 설정한 그룹과 비교할 때 유의미한 이점이 없었다.15

Goal setting research exploring the acquisition of skills outside medical education has shown that orienting learners to set process goals (i.e., the steps taken to produce an outcome) leads to better performance gains, measured via an immediate postintervention test, than does orienting them to set outcome goals (i.e., products of performance).13–15 In contrast to these findings, within medical education, a study orienting novice medical students to set process goals when learning suturing skills produced no significant benefits compared to a group that was oriented to set outcome goals.15


그러나, 기존의 연구는 학습과 기억에 대한 일회성 시험결과만을 보여준 것이었다. 모터 학습motor learning을 연구한 사람들은, 이런 학습은 "통장잔고savings"의 비유로 더 잘 개념화 될 수 있다고 주장한다특히 참가자들이 1주 이상의 retention 기간 후에, 일련의 수행 시도를 통해 더 빠르고 잠재적으로 더 광범위한 재학습 가능성을 보여줄 수 있다.

however, As an alternative to such single-trial demonstrations of learning and memory, researchers in motor learning argue that learning might be better conceptualized as “savings,”16 specifically the potential for participants to show faster and potentially more extensive relearning over a series of performance attempts, after they experience a retention period of 1 week or more.



Methods



Study setting


Study design


Figure 1 depicts our study design.



Participants


Via e-mail, 우리는 약 500명의 학부 의대생들의 풀에서 참가자들을 모집했다.

Via e-mail, we recruited participants from a pool of approximately 500 undergraduate medical students


우리의 평가 도구는 이 연구를 위해 특별히 제작되었기 때문에, 우리는 표본 크기 계산을 수행할 데이터가 없었다. 그러나, 우리가 선택한 표본 크기를 통해 약 0.9 표준 편차의 효과 크기를 볼 수 있을 것이다.

As our assessment tool was constructed specifically for this study, we did not have data to conduct a sample size calculation. However, our selected sample size would enable us to see an effect size of approximately 0.9 standard deviations.


Materials


모든 참가자들은 시나이 병원의 수술 스킬 센터에서 제공하는 봉합과 매듭 묶는 기술에 대한 3분짜리 교육 비디오를 접할 수 있었고, 곡선 바늘에 실리콘 스킨 패드, 조직 힘줄, 가위, 바늘 드라이버, 실크 봉합 등을 제공받았다(Sofsilk 3-0 GS-832 V-20; Medtronic, Minnapolis, MN).

All participants had access to a 3-minute instructional video on suturing and knot tying skills provided by the Surgical Skills Center at Mount Sinai Hospital and were provided with a silicone skin pad, tissue forceps,scissors, a needle driver, and silk sutures on a curve needle (Sofsilk 3-0 GS-832 V-20; Medtronic,Minneapolis, MN).


Procedure and educational interventions


우리의 일차적인 조작은 훈련생들에게 Brydges 등에 기술된 프로토콜과 유사한 방식으로 훈련 중 프로세스 목표 또는 결과 목표를 설정하도록 방향을 설정하도록 지원했다. 그러나 우리는 각각 그 영향을 개선하기 위해 설계된 프로토콜에 세 가지 변경을 가했다.

Our primary manipulation was to support trainees by orienting them to set either process goals or outcomes goals during training in a manner similar to the protocol described in Brydges et al.15 However we made three changes to that protocol, each designed to improve its impact.


첫째, 참가자들에게 25번의 봉합 시도(예: Trials 1–25)를 완료하도록 했는데, 이전 연구보다 67% 더 많은 실습을 했다.

First, we had participants complete 25 suturing attempts (i.e., referred to as Trials 1–25), which was 67% more practice than the previous study.


둘째로, 우리는 그들이 (프로세스 지향 그룹이 그들의 성과를 평가하도록 요청하고 결과 지향적인 그룹이 그들의 최종 제품을 평가하도록 요청하면서) 연습 전반에 걸쳐 할당된 목표를 능동적으로 자가 모니터링하도록 지시하기 위해 첫번째, 그리고 이후 매 세번째마다(1, 4, 7, ...) 그들의 성과를 스스로 평가하도록 했다.

Second, we had them self-score their performance on the first and every third subsequent trial (1, 4, 7, …), to cue them to actively self-monitor their assigned goals throughout practice (with the process-oriented group asked to assess their performance and the outcome-oriented group asked to assess their final product).


셋째, 우리는 그들에게 연습의 시작에만 있는 것이 아니라 연습 내내 할당된 목표 리스트에 접근할 수 있도록 했고, 우리는 계속해서 그들에게 다음 세 번의 시험 동안 그들이 할 수 있는 목표를 확인하도록 요구했다.

Third, we gave them access to their assigned goal list throughout practice rather than only at the beginning of practice, and we continually asked them to identify the goal they would be working on for the subsequent three trials.


두 번째와 세 번째 변경을 달성하기 위해, 우리는 참가자들이 "과제의 프로세스 목표에 대한 전반적인 성취도를 어떻게 평가하시겠습니까?" 또는 "과제의 결과 목표에 대한 전반적인 성취도를 어떻게 평가하시겠습니까?"라는 질문을 하면서 가장 최근의 평가 결과를 얻도록 유도하는 컴퓨터 프로그램을 설계했다. 이 질문 아래에서, 우리는 이전에 발표된 글로벌 등급 척도의 전체 성능 점수를 바탕으로 매우 very poor(가장 왼 쪽), competent(중간), clearly superior(가장 오른쪽) 언어적 앵커가 포함된 시각적 아날로그 척도를 제시했다.17

To accomplish the second and third change, we designed a computer program that prompted participants to score their most recent trial, asking either “How would you rate your overall accomplishment of the process goals of the task?” or “How would you rate your overall accomplishment of the outcome goals of the task?” Below this question, we presented a visual analog scale with verbal anchors of very poor (far-left side), competent (middle), and clearly superior (far-right side), based on the Overall Performance score of a previously published Global Rating Scale.17


척도 아래에서는 프로세스 목표 그룹의 참가자가 5가지 프로세스 목표 목록을 본 반면, 결과 목표 그룹의 참가자는 이전 연구에서 모두 4가지 결과 목표 목록(표 1)을 보았다.15

Below the scale, participants in the process goal group saw a list of five process goals, whereas those in the outcome goal group saw a list of four outcome goals (Table 1), all from the previous study.15



Retention session


약 2주 후, 참가자들은 같은 봉합 기술과 매듭짓기 기술을 가진 10번의 시도로 구성된 retention 세션을 완료하기 위해 돌아왔다. 참가자들이 기술을 얼마나 잘 유지하고 "취득"했는지를 시험하기 위한 여러 가지 시도를 포함했다(즉, "절약"으로서의 보존). 참가자들은 1, 4, 7, 10회 평가에서 자기채점을 하였다. 중요한 것은, 모든 참가자들에게 "과제의 목표에 대한 전반적인 성취도를 어떻게 평가하시겠습니까?"라는 같은 질문을 던졌다. 이 세션 동안, 우리는 의도적으로 참가자들이 (프로세스나 결과에 초점을 맞출 명시적인 지원 없이) trial을 어떻게 평가할 것인지를 스스로 정의할 수 있도록 허용했다.

Approximately two weeks later, participants returned to complete a retention session consisting of 10 trials of the same suturing and knot-tying skill. We included multiple trials to test how well participants retained and “reacquired” the skill (i.e., retention as “savings”). Participants self-scored their performance on Trials 1, 4, 7, and 10. Important to note, all participants were prompted with the same question: “How would you rate your overall accomplishment of the goals of the task?” During this session, we intentionally allowed participants to self-define how they would assess the trial (with no explicit support that would focus them on process or outcome).



측정

Measurements


Assessing suturing skill


교육 세션에서 프로세스 지향 그룹에서 각 참가자의 성과를 비디오로 녹화하여 결과 지향 그룹에서 각 참가자의 최종 봉합 제품의 스틸 사진을 찍었다. 참가자와 동일한 컴퓨터 프로그램과 시각적 아날로그 스케일을 사용하여 두 명의 평가자(일반 및 정형외과 수술 펠로우)가 프로세스 지향 참가자의 프로세스, 결과 지향 참가자의 결과를 평가했다. Raters는 첫 번째와 이후 6번째 시험(예: Trial 1, 7, 13, 19, 25)마다 점수를 매겨 시간을 절약했다(그림 1).

In the training session, we video-recorded each participant’s performance in the process-oriented group and took a still photograph of each participant’s final suturing product in the outcome-oriented group. Using the same computer program and visual analog scale as the participants, two raters (surgical fellows in general and orthopedic surgery) scored performance processes when viewing the process-oriented participants’ videos or performance outcomes when viewing a still photo of the outcome-oriented participants’ final suturing product. Raters scored the first and every subsequent sixth trial (i.e., Trials 1, 7, 13, 19, 25) to limit their time commitment (Figure 1).


보존 세션에서는 모든 참가자의 성과(프로세스)를 비디오로 촬영하고, 1차 및 3차 시험 때마다 최종 봉합 제품(결과)을 모두 촬영했다(그림 1). 우리는 두 그룹의 모든 참가자들에게 이 비디오와 사진을 별도로 채점해 줄 것을 요청했다. 따라서, 평가자는 모든 참가자가 완료한 4개의 보존 시험의 프로세스와 결과 점수를 모두 제공했고, 우리는 그러한 점수를 사용하여 분석에서 그룹을 직접 비교했다. 모든 데이터에 대해, 우리는 ICC(Inter-aclass correctives 계수)를 사용하여 평가자 간 신뢰도를 계산했다.

In the retention session, we video-recorded all participants’ performances (process) and photographed all final suturing products (outcome) on the first and every third subsequent trial (Figure 1). We asked the same raters (blinded to participant group assignment) to separately score these videos and photographs for all participants in both groups. Thus, the raters provided both process and outcome scores for the four retention trials completed by all participants, and we used those scores to compare groups directly in our analyses. For all data, we calculated interrater reliability using the intraclass correlation coefficient (ICC).




Data analysis


Suturing skill retention


one-way repeated measures analysis of variance (ANOVA)


Suturing skill acquisition


To compare learning retention across groups, we analyzed the raters’ average process and average outcome scores using a three-way mixed effects ANOVA with raters’ measure (process vs. outcome) and trial (1, 4, 7, 10) as within-subjects factors, and participants’ assigned goal orientation (process vs. outcome) as a between-subjects factor.



Participants’ self-monitoring calibration coefficients


우리는 두 세션에서 참가자들의 자기 점수를 평가자의 점수와 연관시킬 수 있다는 것을 깨달았다.

we realized we could correlate participants’ self-scores in the two sessions with the raters’ scores.


이 점수를 사용하여 각 참가자에 대해 "자체 모니터링 교정 계수"를 3개 계산했다. 이러한 보정 계수는 참가자가 지정된 목표에 따라 자신의 성과를 얼마나 효과적으로 자체 모니터링하는지를 간접적으로 측정할 것을 제안한다. 교정계수가 낮으면 참가자가 할당된 목표를 효과적으로 자가 모니터링하고 있지 않다는 것을 의미할 수 있다(우리가 평가자의 점수를 "표준"으로 취급한다고 가정함).

Using these scores, we calculated three “self-monitoring calibration coefficients” for each participant. We propose that these calibration coefficients provide an indirect measure of how effectively participants self-monitored their performance according to their assigned goals. A low calibration coefficient might imply that participants were not self-monitoring their assigned goals effectively (assuming we treat the raters’ scores as “the” standard).


이 방법은 네 가지 자가 모니터링 보정 계수를 생성했다. 

This method produced four self-monitoring calibration coefficients: 


(a) training단계: 다섯 번의 시험 동안 프로세스 지향 참여자의 점수와 평가자의 프로세스 점수 

(b) training단계: 다섯 번의 시험 동안 결과 지향 참가자의 점수와 평가자의 결과 점수

(c) retention단계: 모든 참가자의 비구조화 자가 모니터링 점수와 4번의 시행에 걸친 평가자의 프로세스 점수

(d) retention단계: 모든 참가자의 비구조화 자가 모니터링 점수와 4번의 시행에 걸친 평가자의 결과 점수.

(a) training: process-oriented participants’ scores correlated with raters’ process scores across five trials, 

(b) training: outcome-oriented participants’ scores correlated with raters’ outcome scores across five trials, 

(c) retention: all participants’ unstructured self-monitoring scores with raters’ process scores across four trials, and 

(d) retention: all participants’ unstructured selfmonitoring scores with raters’ outcome scores across four trials.


Results


Suturing skill acquisition


Suturing skill retention


Suturing retention scores are presented in Figure 2


프로세스 그룹의 프로세스 점수 향상됨

Hence, the three-way interaction appears to have been driven by the process group experiencing improved process scores across the 10-trial session, whereas the outcome group’s process scores did not change (Figure 2).




Participants’ self-monitoring calibration coefficients



Table 2 includes the results of participants’ self-monitoring calibration coefficients for the training and retention sessions.



Self-monitoring calibration during the training session


Self-monitoring calibration during the retention session



고찰

Discussion


프로세스 목표 그룹은 결과 목표 그룹에 비해 프로세스 점수가 높았지만, 이 차이는 10번째 및 마지막 평가에만 유의했다.

At retention the process goal group had higher process scores compared to the outcome goal group, but the effect was significant only on the 10th and last trial.


우리의 추가 분석은 왜 두 그룹의 성과가 크게 다르지 않았는지에 대한 우리의 추측을 알려줄 수 있다.

Our additional analyses can inform our speculations about why the two groups’ performance did not substantially differ.


따라서, 더 그럴듯한 가능성은 우리의 개입이 훈련 중 단순히 [결과 목표 그룹]의 참가자들에게 효과적으로 목표지향을 정하지orient 못했다는 것일 수 있다. 즉, 프로세스 지향 그룹에 대한 우수한 보존 성과가 없는 것은, 결과 지향적이어야 했던 참여자들이 [훈련 중 우리의 명시적인 지시에도 불구하고] 프로세스 지향적인 태도를 취함으로써, 프로세스 지향적인 그룹과 본질적으로 동일하게 행동했기 때문일 수 있다.

Thus, a more plausible possibility may be that our intervention simply did not effectively orient participants in the outcome goal group during training. That is, the absence of superior retention performance for the process-oriented group might have been because the outcome-oriented participants adopted a process orientation despite our explicit instructions during training, and thus behaved essentially the same as the process-oriented group.


우리의 부정적인 발견에 대한 보다 정교한 탐색에서 비롯되는 이러한 해석은 초보자들에게 결과 목표를 설정하도록 지시하는 것이 그들이 그렇게 하도록 이끌 것이라고 가정해서는 안 된다는 것을 암시한다. 이것은 결국 교육자와 연구원 모두에게 시사하는 바가 있다. 첫째, 실험을 수행하는 연구자의 경우, 우리의 연구결과는 각 참가자가 "강요된" 학습 전략을 채택하는 범위를 결정하기 위한 manipulation을 명확히 점검할 필요성을 시사한다.

This interpretation, which resulted from our more elaborated exploration of our negative findings, suggests that we should not assume that simply instructing novices to set outcome goals will lead them to do so. This, in turn, has implications for both educators and researchers. First, for researchers conducting experiments, our findings suggest a need for explicit manipulation checks to determine the extent to which each participant adopts an “imposed” learning strategy.


행동 척도를 manipulation check으로 사용하는 것은 현재의 모범 사례와 일치한다. 18 우리는 교육자와 연구자들이 그들의 교육적 개입을 실행하고 연구할 때 고려할 것을 권고한다.

Our use of a behavioral measure as a manipulation check aligns with current best practices,18 which we recommend educators and researchers consider when implementing and studying their educational interventions.


교육자의 경우, 이러한 데이터는 Trainee를 감독하지 않을 경우, 교육자가 생각하는 것보다 부과된(강요된) 학습 방향을 채택할 가능성이 낮을 수 있음을 시사하는 우리 팀의 다른 연구 결과를 확인시켜 준다. 그러므로 학습자를 감독되지 않는 상황에서, 교육자들은 연습생들이 자기 모니터링을 위해 사용하는 단서가 무엇인지를 파악하고, 그들의 개인적인 목표 방향을 파악하는 것이 좋을 것이다. 그런 다음 그들은 단순히 (실습자가 의식적이든 무의식적이든) 연습생들이 무의식적으로 선택하는 전략이 이론적으로 타당한 학습 전략과 맞지 않다고 무조건 강요하기보다는, 그러한 연습자 요인trainee factor가 초기에 해소되도록 교육을 구성할 수 있다.

For educators, these data confirm other findings from our team19 suggesting that unsupervised trainees may be less likely to adopt imposed learning orientations than educators would assume. Thus, in unsupervised learning contexts, educators will likely benefit from becoming aware of the cues trainees use to self-monitor20,21 and of their personal goal orientations. They could then subsequently organize their teaching to account for their initial understanding of those trainee factors, rather than simply imposing a theoretically sound learning strategy that is misaligned with trainees’ natural strategies (which trainees may ignore, whether consciously or unconsciously).


요약하자면, 우리의 연구결과는 우리의 원래 가설에 대한 근거는 미약하게만 제공한다. 그러나 우리의 연구에서 더 중요한 결론은 우리의 2차 분석에서 얻어졌다. 즉, 우리의 개입의도와 참여자들의 명백한 선호 사이에 불일치가 존재할 수 있음을 강조한다. 학습 목표 프로그램을 개발하는 교육자들은, 그러한 인터벤션이 [어떤 방식으로 trainee의 학습을 촉진할 것인가에 대한 전략(예: 자기모니터링)]뿐만 아니라, [연습생들이 실제로 스킬을 어떻게 개발할 것인지(예: 봉합)]를 함께 고려해야함을 의미한다.

In summary, our findings provide limited evidence for our original hypothesis. However, the more important conclusion from our study arises from our secondary analysis, which highlights the possible inconsistencies between our interventions and our participants’ apparent preferences. Our data imply that educators developing learning goals programs, a common practice in recent studies,4,5,11,12 must consider how their interventions impact (or fail to impact) how trainees develop the target skill (e.g., suturing), as well as the underlying learning strategy they assume will facilitate learning (e.g., self-monitoring achievements of particular goals).22


다행히도, 우리는 참가자들이 어떻게 학습 목표를 스스로 모니터했는지에 대한 데이터를 이용할 수 있었으며, 이것은 자기조절학습의 핵심 과정으로 간주된다. 실제로, 연구는 연습생들이 어떤 주제에 더 집중해야 하는지, 얼마나 더 연구해야 하는지, 8 그리고 그들이 정확하게 대답할 가능성이 높은 문제에 대해 결정을 내리는 자체 모니터링을 하는 것을 보여주었다.24 그러나, trainee의 자기 모니터링은 종종 부적절한 방식suboptimally이뤄진다. 예를 들어, 미래의 학습 전략에 도움이 되는 방식으로 자발적으로 자가 테스트를 하지 않으며, 운동 기술 학습을 판단함에 있어서 부적절한 단서에만 주의를 기울인다

Fortunately, we exploited our data on how participants self-monitored their learning goals, which is considered a core process of self-regulated learning. Indeed, research has shown that trainees self-monitor to make decisions about which topics to focus further study on,23 how long to study,8 and which questions they have a high likelihood of answering correctly.24 Yet, trainees often self-monitor suboptimally, for example, not spontaneously self-testing in ways that inform future learning strategies,25 or attending to inappropriate cues to judge motor skill learning.20


1. Kulasegaram K, Mylopoulos M, Tonin P, et al. The alignment imperative in curriculum renewal. Med Teach. 2018;40(5):443–448. doi:10.1080/0142159X. 2018.1435858. XXX


10. Cheung JJH, Kulasegaram KM, Woods NN, Moulton C, Ringsted CV, Brydges R. Knowing How and Knowing Why: testing the effect of instruction designed for cognitive integration on procedural skills transfer. Adv in Health Sci Educ. 2018;23(1):61–74. doi:10.1007/s10459-017-9774-1.


23. Agrawal S, Norman GR, Eva KW. Influences on medical students’ self-regulated learning after test completion. Med Educ. 2012;46(3):326–335. doi:10.1111/ j.1365-2923.2011.04150.x.


24. Eva KW, Regehr G. Exploring the divergence between self-assessment and self-monitoring. Adv in Health Sci Educ. 2011;16(3):311–329. doi:10.1007/s10459-010-9263-2.











 2019 Apr 16:1-8. doi: 10.1080/10401334.2019.1600520. [Epub ahead of print]

Assigning Medical Students Learning Goals: Do They Do It, and What Happens When They Don't?

Author information

1
a Wilson Centre , University Health Network ; Faculty of Medicine , University of Toronto , Toronto , Ontario , Canada.
2
b Centre for Health Education Scholarship and Department of Surgery , University of British Columbia , Vancouver , British Columbia , Canada.
3
c North York General Hospital , Toronto , Ontario , Canada.
4
d Department of Medicine , University of Toronto and Allan Waters Family Simulation Centre, St. Michael's Hospital , Toronto , Ontario , Canada.

Abstract

THEORY:

Medical curricula now include more time for trainees to manage their studying independently, yet evidence suggests that time is not well spent without guidance. Social-cognitivist models of self-regulated learning suggest value when guiding learners to set goals related to their performance processes (actions producing outcomes) versus their performance outcomes (products of performance).

HYPOTHESES:

We expected participants oriented to set process goals would demonstrate better suturing skill retention compared with participants oriented to set outcome goals.

METHOD:

We randomly assigned 41 medical students to two groups: outcome oriented or process oriented. They self-scored their performance using a visual analog scale on every third trial during 25 training trials, and during 10 retention trials 2 weeks later. Two raters assessed participants' suturing performances (process) and final products (outcome). After finding weak support for our hypothesis, we calculated a "self-monitoring calibration coefficient" as the Pearson's correlation between the raters' average score and each participant's self-scores. We used a mixed-effects analysis of variance to compare participants' performance scores as well as t tests and an analysis of variance to compare their self-monitoring calibration coefficients.

RESULTS:

Analysis of skill retention data revealed a significant Group × Trial interaction, suggesting a benefit for the process group only for the 10th retention trial (p = .03). During training, the process group had significantly better (p = .02) self-monitoring calibration (r = .71 ± .29) than the outcome group (r = .38 ± .55). In retention, participants in both groups were significantly better calibrated (p = .04) with rater's scores of performance processes (r = .39 ± .60) versus performance outcomes (r = .11 ± .63).

CONCLUSIONS:

Our findings provide limited evidence for our original hypothesis. Perhaps more important, however, our self-monitoring calibration data highlighted inconsistencies between our interventions and our participants' apparent preferences. Not all participants adopted their assigned goal setting orientation, showing that researchers and educators must consider the extent to which trainees adopt imposed instructions in any educational intervention.

KEYWORDS:

goal setting; medical education; self-regulated learning; simulation-based training; skills transfer

PMID:
 
30990131
 
DOI:
 
10.1080/10401334.2019.1600520


의학교육에서 모니터링과 학습의 자기조절: 예상단서의 필요성(Med Educ, 2017)

Monitoring and regulation of learning in medical education: the need for predictive cues

Anique B H de Bruin,1 John Dunlosky2 & Rodrigo B Cavalcanti3




도입

INTRODUCTION


의사 결정과 행동을 모니터링 하는 것은 의료전문가의 일상 업무의 중심 부분이다. 자기 모니터링은 또한 많은 양의 정보를 배우고 적응적으로 사용할 수 있어야 하는 의학교육에서, 의대생들의 교육 성과에 기여한다.

Monitoring decisions and behaviour is a central part of medical professionals’ daily practice. Self-monitoring also contributes to performance in medical education, where medical students must learn and be able to adaptively use massive amounts of information.


표 1은 개요를 제공한다.

Table 1 provides an overview



모니터링 판단의 정확성은 의료 교육 및 의료 실무에서 모두 기본이다. 부정확한 판단은 성과를 저해하는 것으로 알려져 있다.1

The accuracy of monitoring judgements is fundamental to both medical education and medical practice. Inaccurate judgements are known to undermine achievement.1


데이비스 외 연구진 6은 외관 관측치와 의사 자신의 성과 평가를 비교한 20개의 경험적 연구에 대한 검토하였는데, 13개 연구에서는 외부 관측치와 자기 평가사이에 거의, 전혀, 또는 반대의 관계있었다.

Davis et al.6 provide a review of 20 empirical studies comparing physicians’ self-assessments of performance with external observations and identify 13 in which there was little, no or an inverse relation between these variables.


우리는 의사로서 모니터링 판단의 정확성을 향상시키는 것은, 이상적으로는 의대생 때부터 학습에 대한 보다 정확한 모니터링을 개발할 수 있도록 도와줌으로서 훈련이 시작되어야 한다고 주장한다. 모니터링 판단은 본질적으로 추론적인inferential 것으로 알려져 있으며, 모니터링은 직무의 난이도나 주제에 대한 관심 같은 단서에 기초한다.7 따라서 모니터링 판단을 개선하려면 학생들이 학습을 판단할 때 사용하는 단서의 질을 향상시켜야 한다.

We argue that improving the accuracy of monitoring judgements by medical professionals should start at the beginning of training, ideally by helping medical students develop more accurate monitoring of their learning. Monitoring judgements are known to be inferential in nature and are based on cues such as perceived difficulty of the task or interest in the topic.7 Improving monitoring judgements therefore entails improving the quality of the cues that students use when making judgements of learning.


모니터링과 통제: 메타인지적 프레임워크

MONITORING AND CONTROL: A METACOGNITIVE FRAMEWORK


우리가 다루려는 모니터링은 자신의 지식을 평가하는 것과 관련이 있으며, 의과 학생의 경우, 그러한 모니터링은 

  • 주제를 얼마나 잘 이해하고 있는지(예: 심혈관 계통의 생리학), 

  • 얼마나 정확하게 임상 사례를 진단할 수 있는지 또는 

  • 얼마나 잘 시술할 수 있는지에 대한 개인의 신뢰도 판단을 수반할 수 있다(예: 요추 펑크).

Monitoring here pertains to assessing one’s knowledge, and for medical students, such monitoring may involve judging one’s confidence in 

  • how well one understands a topic (e.g. physiology of the cardiovascular system), 

  • how well one can accurately diagnose a clinical case or 

  • how well one can perform a procedure (e.g. a lumbar puncture).


모니터링과 통제는 상호작용한다. 모니터링은 학생들에게 학습과 성과를 제어하는 방법(그리고 어떻게)을 알려주고, 학습 목표를 향한 추가적인 발전이 있으면, 이것을 다시 모니터링을 업데이트하는 데 사용할 수 있다. 따라서, 교과서의 어떤 챕터(목표 수준)을 공부하는 동안, 학생은 챕터(메타 수준)의 개념에 대한 자신의 이해에 대해 자신이 없을 수 있으며, 따라서 이해를 증진시키기 위해 특정 부분을 공부하는데 더 많은 시간을 사용하기로 결정한다(제어). 이러한 모니터링-제어 피드백 시스템은 모든 일반적 메타인지 프레임워크에서 명백하다.

Monitoring and control have reciprocal influences: monitoring informs a student about whether (and how) to control their learning and performance, and further progress toward a learning goal can be used to update monitoring. Thus, while studying a textbook chapter (the object level, Fig. 1), a student may not be confident about her understanding of concepts in the chapter (the meta-level), and hence decide to use more time studying specific text segments (control) in the hope of boosting her understanding. Such a monitoring-control feedback system is evident in all general frameworks of metacognition



모니터링 판단의 품질은 보통 '모니터링 정확도'라고 하며, 모니터링 판단과 실제 학습 또는 수행 사이의 관계를 설정하여 결정한다. 모니터링 정확도에는 절대 정확도와 상대정확도의 두 가지 유형이 있다.

The quality of monitoring judgements is usually termed ‘monitoring accuracy’ and is determined by establishing the relation between monitoring judgements and actual learning or performance. two kinds of monitoring accuracy: absolute accuracy and relative accuracy


절대정확도(Absolute recuracy)는 모니터링의 규모가 실제 성과와 얼마나 다른가를 말한다. 예를 들어, 학생이 해부학에 관한 다가오는 시험에서 80%를 획득할 것으로 예상한다면, 시험에서 80%를 획득한다면, 학생은 완벽한 절대 정확성을 가진 것으로 간주될 것이다. 시험 성적이 80% 미만이면 학생은 과신하는 것으로 간주되고, 성적이 80%를 넘으면 과신하는 것으로 간주된다. 학습에 대한 지나친 자신감은 학생들이 공부를 일찍 중단하고 후속 시험에서 나쁜 성적을 거두도록 이끌 수 있다.1 그리고 과신하는 의사결정자들은 나쁜 결정을 다시 방문하고 수정할 기회를 스스로 빼앗을 것이다.

Absolute accuracy refers to the degree to which the magnitude of one’s monitoring differs from actual performance. For example, if a student expects to obtain 80% in an upcoming examination about anatomy, the student would be viewed as having perfect absolute accuracy if he or she scored 80% in the examination. If the examination performance was below 80%, the student would be considered overconfident, and if performance was above 80%, the student would be considered underconfident. Overconfidence in learning can lead students to prematurely stop studying and perform poorly on subsequent tests,1 and overconfident decision makers will rob themselves of the opportunity to revisit and correct poor decisions.


상대정확도는 학생들이 일부 자료와 다른 자료의 학습 수준의 차이를 구별할 수 있는 정도를 말한다. 위의 해부학적 예에서 학생은 이 학습이 한 예로서 발의 뼈보다 무릎 인대에 더 좋다고 판단할 수 있다. 이러한 판단의 차이가 시험에서의 실제 성과와 일치할 경우 상대적 정확도가 높다고 할 수 있다. 상대적 정확도는 일반적으로 모니터링 판단과 실제 성능 사이의 상관 관계를 통해 결정된다. 상대적 정확도가 뛰어나면 효과적인 조절로 이어질 수 있다. 예를 들어, 상대적 정확도가 높은 학생은 공부를 계속할 수 있는 내용이 무엇일지에 대해 더 나은 결정을 내리므로 상대적 정확도가 낮은 학생보다 더 나은 성과를 낼 수 있다.n.11

Relative accuracy refers to the degree to which students can discriminate between the differential learning for some materials versus others. In the anatomy example above, the student may judge this learning to be better for the ligaments of the knee than for the bones of the foot, as one example. If this differentiation matches actual performance on the examination, relative accuracy is high. Relative accuracy is usually determined through a correlation between monitoring judgements and actual performance. Excellent relative accuracy can also lead to effective regulation; for instance, when preparing for an examination, students with higher relative accuracy make better decisions about which materials to continue studying and hence perform better than students with poor relative accuracy, who may direct their study efforts in a less efficient fashion.11


중요한 것은, 두 종류의 정확성이 반드시 관련있는 것은 아니다라는 점이다: 학생은 완벽한 상대적 정확성을 보일 수 있고 동시에 지나치게 자신에 대해 과대평가할 수 있다.

Importantly, the two kinds of accuracy are not necessarily related: a student can show perfect relative accuracy and at the same time be overconfident.


모니터링 정확도: 단서 진단력과 단서 활용성

MONITORING ACCURACY: CUE DIAGNOSTICITY AND CUE UTILISATION


학생들은 어떻게 그들의 학습과 성과를 모니터하는가?

How do students monitor their learning and performance?


우리는 직접 접근이라고 불리는 하나의 가능한 메커니즘을 배제하는 것으로 시작한다.

We begin by ruling out one possible mechanism, called direct access,


코리앗에 의해 증명된 바와 같이, 사람들은 그들의 인지 상태의 퀄리티에 직접적으로 접근access하지 못한다. 기억의 강도를 판단하든 결정의 정확성을 판단하든 간에, 사람들은 자신의 인지 상태의 품질을 직접적으로 평가할 수 없다.

As demonstrated by Koriat,8,12 people do not have direct access to the quality of their cognitive states. Whether judging the strength of a memory or the accuracy of a decision, people are just not capable of directly assessing the quality of their cognitive states.


인지 자기 모니터링에 대해서 우리는 큐 활용 프레임워크에 기초하여 이해한다.8 이 프레임워크에 따르면, 모니터링 판단은 다양한 단서에 기초한다.

Our understanding of cognitive self-monitoring is to a great extent based on the cue-utilisation framework.8 According to this framework, monitoring judgements are based on a variety of cues,


여러 단서들이 학생들이 자신의 학습이나 성과를 판단할 때 떠오르는데, 학생들은 이 단서들을 사용하여 그들이 잘 배우는지, 잘 하고 있는지를 추정한다. 

  • 하나의 단서는 진단이 생각나는 속도일 수 있으며, 더 빠른 결정은 정확할 가능성이 더 높다. 

  • 또 다른 단서는 특정 질병의 유병률일 수 있으며, 덜 흔한 질병에 대한 자신감이 낮게 판단될 수 있다.

  • 또한 학생들이 특정 조건에 익숙하다는 것(이전의 사례나 강의 시간에 근거함)도 그들이 올바른 진단을 받았는지에 대한 그들의 판단에 영향을 미칠 수 있다.

These cues come to mind when students judge their learning or performance, and students use these cues to estimate whether they are learning and performing well. 

  • one cue may be the speed with which the diagnosis comes to mind, with faster decisions being associated with a higher likelihood of being correct. 

  • Yet another cue may be the prevalence of a particular disease, with less common diseases potentially leading to lower judged likelihood. 

  • Similarly, students’ familiarity with a particular condition (based on previous cases or teaching sessions) may also influence their judgement of whether they have the correct diagnosis.


그런 다음, 평가 모니터링의 정확성은 이용 가능한 단서가 학생들의 실제 학습 또는 실제 수행의 예측력 또는 '진단력' 정도에 따라 달라지며, '단서 진단력'이라는 개념으로 불린다. 학습이나 성과를 측정하는 데 사용되는 단서가 정확할수록 그에 따른 판단이 더 정확해진다. 예를 들어, 학생이 "익숙함"을 단서로 사용할 때, 판단의 정확성은 그러한 "익숙함"을 가지고 스스로의 정확한 진단능력을 어느 정도까지 예측할 수 있느냐에 따라 달라진다.

The accuracy of monitoring judgements then depends on the extent to which the available cues are predictive or ‘diagnostic’ of students’ actual learning or actual performance, a concept termed ‘cue diagnosticity’.13 The more accurate the cues used to gauge learning or performance, the more accurate the ensuing judgement. When a student uses familiarity with the condition as a cue, judgement accuracy depends on the extent to which familiarity is predictive of the student’s ability to formulate the correct diagnosis.


우리는 이 논문에서 토론하는 동안 '예측적 단서'라는 용어를 선호해왔다.

we have favoured the term ‘predictive cue’ throughout our discussions in this paper.


단서 활용성. 일반적으로 여러 단서가 사용 가능하며, 그 중 일부는 다른 단서보다 예측력이 좋다. 학생들이 예측적 단서를 선택하고 비예측적 단서를 무시해야만 정확한 모니터링 판단에 도달할 것이다. 위의 예에서, 친숙함은 말하자면 질병의 만연보다 더 예측적 단서일 수 있다. 만약 그렇다면, 학생이 자신의 판단을 친숙함에 기초하는 것이 더 나을 것이다.

cue-utilisation. Typically, several cues are available, some of which are more predictive than others. Only when students select predictive cues and disregard non-predictive cues will they arrive at an accurate monitoring judgement. In the example above, familiarity may be a more predictive cue than, say, prevalence of disease. If that is the case, it would be preferable for the student to base her judgement on familiarity.


그림 2. 큐 진단력은 단서와 실제 학습 또는 수행 사이의 관계에 따라 달라지며, 따라서 학생이나 연습생에게 학습 수준이나 수행 정도를 알려준다.

Fig. 2. Cue diagnosticity depends on the relation between cues and actual learning or performance, and as such informs students or trainees about their level of learning or performance.




리스닝 및 성능의 모니터링 및 조정을 촉진하기 위한 기본권 사용 촉진

IMPROVING USE OF PREDICTIVE CUES TO IMPROVE MONITORING AND REGULATION OF LEARNING AND PERFORMANCE


비예측적 단서에 의존하는 것은 잘못된 판단을 초래하여 부정확한 모니터링을 초래한다. 한 가지 보편적이지만 종종 비예측적인 단서는 사람들이 정보를 처리하는 속도('유창성'이라고도 함)이다. 이 속도에는 새로운 정보를 배우는 속도나 시험에서 답을 생성하는 속도가 포함된다.

Reliance on non-predictive cues leads to incorrect judgements, resulting in inaccurate monitoring. One pervasive, but often non-predictive, cue is the speed with which people process information (also termed ‘fluency’), whether it involves the speed of learning new information or the speed of generating answers on a test.


즉, 자신의 배움을 정확하게 판단하는 것은 본질적으로 어렵다. 학습 결과에 대한 직접적인 접근 없이, 사람들은 종종 부정확한 비예측적 단서에 의존한다.

This example highlights inherent difficulties of accurately judging one’s learning. Without direct access to learning outcomes, one resorts to using available cues to infer it, often inaccurately.



자가생성된 예측적 단서

Self-generating predictive cues


모니터링을 개선시키려면 예측 단서의 가용성을 높여야 하며, 이에 더하여 학습 및 성과를 모니터링할 때 이러한 단서에 더 의존하게 만드는 것을 목표로 해야 한다.

Interventions to improve monitoring should target improving availability of predictive cues and reliance on these cues for monitoring learning and performance.


가장 많이 조사된 예측적 단서 사용의 촉진방법 중 하나는 [학생들이 학습 과제를 시뮬레이션하는 작업에 참여]하도록 하는 것이다. 이렇게 하면 mental 시뮬레이션은 그 학생의 지식이나 수행 정도를 알려주는 시험으로 작용한다. 시뮬레이션은 학생이 가지고 있는 지식이나 기술을 활성화해야 하지만 기준 과제와 동일할 필요는 없다.

Possibly the most investigated predictive cue prompt is to have students engage in a task that simulates their learning task. Mental simulation then acts as a try-out test that informs the student of his or her level of knowledge or performance. Simulations should activate the knowledge or skills the student possesses but need not be identical to the criterion task.


한 가지 자주 인용되는 예는 학생들이 텍스트를 공부한 후에 키워드를 생성하도록 하는 것이다. 11,15 이 키워드 연구에서 학생들은 텍스트 집합을 읽는다(일반적으로 약 1000단어). 독서를 마친 학생들은 각 글의 본질을 포착한 5개의 키워드를 작성하라는 지시를 받았다. 키워드를 생성하면 상대적 모니터링 정확도가 향상되었으며, 학생들의 모니터링 판단과 본문 시험의 성적 사이의 상관관계는 0.71(키워드를 생성하지 않은 0.25에 불과함)이었다.

One often-cited example is having students generate keywords after studying a text.11,15 In these keyword studies, students read a set of texts (usually around 1000 words long). After reading, students were instructed to formulate five keywords that captured the essence of each text. Generating keywords improved relative monitoring accuracy; the correlation between students’ monitoring judgements and their performance on a test of the texts was 0.71 (compared to only 0.25 without generating keywords).


추측건대, 키워드 생성은 '문자의 situated model'이라고 불리는 것에 대한 학생들의 표현을 이끌어낸다. 16 이것은 텍스트의 요약문을 쓸 때 일어나는 일과 유사하다..11 상황 모델situated model은 [학생의 기존 지식과 통합된, 텍스트에 대한 학생들의 지식]을 보여주며, 여기에는 핵심 개념과 그들 사이의 관계가 포함된다.

Presumably, keyword generation elicits students’ representation of what is called the ‘situation model of the text’,16 similar to what happens when writing a summary of a text.11 The situation model represents the student’s knowledge of the text, including key concepts and their inter-relations, integrated with the student’s prior knowledge.16


키워드를 생성하는 것은 각 텍스트에 대한 상황 모델의 시뮬레이션으로 생각되며, 학생들이 잘 배운 텍스트와 덜 배운 텍스트를 구별할 수 있도록 도와준다. 텍스트의 요약을 만드는 것과 비슷하게, 숙어를 공부할 때 문장을 만드는 것, 인과관계를 연구할 때 도표를 완성하는 것 등도 유사한 결과를 보여주었다.

Generating keywords is thought to act as a simulation of the situation model for each text, and helps students differentiate between well-learned versus less well-learned texts. Similar results have been found when generating summaries of texts,17 generating sentences when studying idioms18 and completing diagrams when studying causal relations.19


키워드 효과에 대한 연구는 효과적인 예측 신호 프롬프트의 두 가지 중요한 특징, 즉 판단 지연자가 생성을 확인했다. 키워드 생성은 키워드가 학습 후 일정 시간 지연된 상태에서 생성될 경우에만 판단 정확도를 향상시킨다. 이 때 지연delay은 몇 분 이상 또는 정보가 단기 기억장치에서 없어지는 데 걸리는 시간 만큼만 길면 된다.

Research on the keyword effect has identified two crucial characteristics of effective predictive cue prompts: delaying judgements and self-generation. Keyword generation only improves judgement accuracy if keywords are generated at a delay after study. The delay need not be longer than several minutes, or about as long as it takes for information to decay from short-term memory.


이러한 지연의 필요성은 모니터링-이중-메모리 가설을 통해 설명된다20: 텍스트 연구 후 즉시 키워드를 생성하는 것은 단기 메모리에서 정보를 사용한다.

The necessity of this delay is explained by means of the monitoring-dual-memories hypothesis20: generating keywords immediately after studying a text uses information from shortterm memory.


지연된 상태에서는, 키워드 생성을 장기 기억에서 검색해야 하며, 이것은 실제 시험에서 사용 가능해야 하는 메모리와 더 유사하다.

Delayed keyword generation requires retrieval from longterm memory, which more closely resembles memory available at the time of the test.


선언적 지식에 기초한 학습 과제에서 지연의 필요성이 거듭 확립되어 왔지만, 이것이 절차적 기술이나 추리적 기술에도 적용되는지는 명확하지 않다.

The necessity of a delay has been repeatedly established in learning tasks based on declarative knowledge, but it is not clear whether this also applies to procedural or reasoning skills.


예측적 단서 촉진의 또 다른 중요한 점은 자가생성의 필요성이다. Tiede 외 연구진 21은 스스로 키워드를 만든 학생들과 다른 학생들에 의해 생성된 키워드를 읽은 학생들을 비교했고, 첫 번째 그룹에서만 판단 정확도에 긍정적인 영향을 발견했다.

Another central aspect of predictive cue prompts is the need for self-generation. Thiede et al.21 compared students who self-generated keywords with students who read keywords generated by others, and found positive effects on judgement accuracy only in the first group.



자가 생성된 단서의 스캐폴딩

Scaffolding self-generative cue prompts


단서를 자가생성하는 활동에서 예측적 단서를 얻었더라도, 어떤 경우에는 개별 학생이 해석할 수 없는 상황이 발생할 수 있다. 던로스키, 하트비히, 로슨, 립코22의 연구에서 학생들은 과학 교과서를 읽도록 요청받았는데, 각각 4개의 핵심 용어와 정확히 배워야 할 용어의 정의를 포함하고 있었다.22

Circumstances can arise in which self-generative cue prompts lead to predictive cues that are not interpretable by individual students. In work by Dunlosky, Hartwig, Rawson and Lipko22 students were asked to read science texts, each containing four key terms and their definitions that needed to be correctly learned.22


놀랍게도, 학생들이 그들의 성적을 판단하기 전에 주요 용어에 대한 정의를 내리게 하는 것은 여전히 낮은 절대 감시 정확도로 이어졌다 – 그들의 판단은 실질적으로 과신했다. 이는 학생들이 자신이 검색한 정의의 질을 스스로 평가하지 못하고 대신 예측성이 떨어지는 단서, 즉 '접근가능성'에 의존하기 때문일 가능성이 있었다. 즉, 학생들은 그 정의의 질에 상관없이 어떤 정의에 접근할 수 있을 때 그들의 학습에 자신 있었다.

Puzzlingly, having students generate definitions of key terms prior to judging their performance still led to poor absolute monitoring accuracy – their judgements were substantially overconfident. This was likely to be because of students’ inability to self-assess the quality of the definitions they had retrieved, instead relying on a less predictive cue, namely ‘accessibility’. That is, students were confident in their learning when they were able to access any definition, regardless of the quality of that definition.


예를 들어, 핵심용어 실험에서, 모니터링 정확도를 향상시키기 위한 첫 번째 시도로 학생들에게 자체 생성된 정의를 판단할 때 실제 정의를 함께 제공하였다. 그렇게 하는 것은 그들의 과신을 감소시켰지만, 그들은 여전히 완전히 틀린 정의를 정확히 떠올렸다고 종종 말했다. 그러나, 이러한 support가 각각의 정의를 작은 아이디어로 분리한 아이디어 단위idea units를 포함했을 때, 자기과신은 거의 사라졌다. 학생들은 자신이 쓴 정의에 제공된 아이디어 유닛이 존재하는지 평가하도록 요청받았고, 그렇게 함으로써 자기과신을 극적으로 줄일 수 있었다.

For instance, in the key term study, a first attempt to improve monitoring accuracy involved supplying students with the actual definition at the time of judging their self-generated definitions. Doing so did reduce their overconfidence, but they still often said that they had correctly recalled a definition that was entirely incorrect. Overconfidence was nearly eradicated, however, when the support included the presentation of idea units in which each definition was separated into its smaller ideas. Students were asked to evaluate whether each idea unit was present in their self-generated definition, and doing so dramatically reduced overconfidence.



자가생성적 단서가 실패하는 경우: 예측 단서 사용에 대한 명시적 교육

When self-generative cue prompts fail: explicit teaching of predictive cue use



특정 학습 상황에서 판단 과제에 대한 효과적인 자기 생성 신호 프롬프트를 설계하는 것은 불가능할 수 있다. 두 가지 경우가 있는데, 첫째, 학습 과제가 생성하는 예측 단서가 직관에 반하는 것처럼 느껴질 때, 둘째, 시험 응시 상황에서 그러하다.

For certain learning situations, it may be impossible to design an effective self-generative cue prompt for a judgement task. First, when the predictive cues a learning task generates are experienced as counterintuitive, and second, in test-taking situations.


예를 들어, 첫 번째는 학습 시간 간격spacing 학습 또는 학습 중 자가 테스트와 같은 학습 전략과 같은 경우가 그러하다. 이러한 학습 전략이 만들어내는 어려움의 느낌은 비록 그 전략이 학습을 향상시키더라도 학생들이 그들의 학습을 낮게 판단하도록 이끌 수 있다. 따라서 학습 촉진에 효과가 있다는 강력한 증거에도 불구하고 시험testing과 간격sparing을 사용하였다고 보고하는 학생은 거의 없다.23

The first happens, for example, learning strategies such as spacing learning sessions or self-testing during learning. The feeling of difficulty these learning strategies generates can lead students to judge their learning as low even though the strategies improve learning. Therefore, few students report using testing and spacing, despite robust evidence indicating their effectiveness in promoting learning.23


이러한 조작의 소위 '바람직한 어려움' – 도입을 학생들은 거의 인정하지 않는다.23 26 그러한 경우, 학생들은 이러한 전략의 긍정적인 효과와 이와 같은 예측 단서의 반직관적인 성격에 대해 직접 배울 필요가 있다.

The so-called ‘desirable difficulties’ these manipulations – introduce are hardly ever recognised by students.23 26 In such cases, students need to be directly taught about the positive effect of these strategies and the counterintuitive nature of the predictive cues they generate.


둘째, 학습 중 모니터링에 초점을 맞춘 효과적인 개입에 대해 검토한 문헌이 있다. 그러나, 학생들은 자신의 퍼포먼스를 정확하게 모니터할 수 있어야 한다(예: 임상 결정을 내리거나 시험을 볼 때). 테스트 응시 상황을 생각해보자. 학생들은 어떻게 그들이 그들의 고른 답안이 옳은지를 어떻게 모니터할 수 있으며, 혹은 정확한 기준이 없을 때 어떤 반응을 받아들일지adapt response 모니터할 수 있는가? 그러한 경우, 학생들은 자신의 시험 수행 행동을 분석함으로써 예측 단서를 추론할 수도 있다(예: 응답 생성에 소요된 시간 또는 노력 분석). 

Second, the literature reviewed above on effective interventions focused on monitoring during learning. However, students must be able to accurately monitor performance too (e.g. when making clinical decisions or taking a test). Consider a test-taking situation: How do students monitor whether they are correct in their test responses or when they should adapt some of the responses in the absence of a cor-rect standard? In such cases, students can also deduce predictive cues from analysing their own test-taking behavior (e.g. analysing how much time or effort it took to generate a response). 


앞의 사례에서, [아이디어 유닛]을 포함한 지원은 [아이디어 유닛]이 산출물을 평가하는 데 도움을 주었고, 이로 인해 제공되는 스스로 작성한 답안을 평가하는 예측 단서가 개선되었다. 중요한 것은, 학생들에게 제공되는 피드백이나 지원이 [학생들이 작성한 답안의 퀄리티와 관련하여 학생들이 스스로 평가할 수 있는 방식으로 제시되어야 한다]는 것이다.

The support including idea units aided them in evaluating their output, which led to improved availability and use of the predictive cues the self-generation task provided. What appears crucial is that the feedback or support relates to the quality of generated content and that it is presented in a way that enables students to self-evaluate.


Eva와 Regehr28,29는 학생들이 답을 고르는 데 시간이 오래걸리는 것을 부족한 지식의 신호로 본다는 것을 보여준다. McConnell 외 연구진 외 연구진들은 이 접근방법을 캐나다 자격심사 파트 1의 고위험의학협의회로 확장하고 

(i) 질문에 대한 응답에 필요한 시간, 

(ii) 추가 검토가 필요하다고 확인된 질문의 수(예: 'flag'해둔 질문), 

(iii) 최초 선택한 답안의 변경 가능성 등을 분석하였다. 

이 세가지 지표는 모두 응답의 정확성과 관련이 있었고 정확한 자기 모니터링의 증거를 제시했다. 정답을 골랐을 때에 비해, 학생들은 틀린 문항에서 더 오랜 시간이 걸렸고, 이 항목들에 플래그를 붙일 가능성이 높았으며, 초기 답을 바꿀 가능성이 더 높았다.

Eva and Regehr28,29 shows that students interpreted their longer decision times as a sign of less knowledge. Research by McConnell et al.30 extended this approach to the high-stakes Medical Council of Canada Qualifying Examination Part I and analysed (i) the time needed to respond to questions, (ii) the number of questions students identified as needing further consideration (i.e. questions that were ‘flagged’) and (iii) the likelihood of changing their initial response. All three of these indices were related to correctness of responses and indicated proof of accurate self-monitoring: compared with correct answers, students took longer to provide incorrect answers, were more likely to flag these and were more likely to change their initial answer.


학생들에게 의사결정 시간과 모니터링 판단에 정보를 제공하는 데 사용하는 방법과 같은 행동 단서의 예측 가치에 대해 분명하게 가르치는 것은 시험 응시 중 모니터링과 조절regulation를 개선하기 위한 가능한 효과적인 전략이다.

Teaching students explicitly about the predictive value of behavioural cues such as decision times and how to use them to inform monitoring judgements is a possibly fruitful strategy to improve monitoring and regulation during test taking.



의학교육에 단서 진단력과 단서 활용성의 적용

APPLICATION OF CUE DIAGNOSTICITY AND CUE UTILISATION IN MEDICAL EDUCATION


개념지식 습득

Gaining conceptual knowledge


위에서 설명한 증거를 바탕으로 우리는 (학습 후 약간의 지연을 둔)자가-생성 단서 프롬프트가 학생들이 개념적 지식(예: 의학 교과서 장 또는 과학 기사)을 배울 때 예측 단서를 활성화하는 데 도움이 될 것으로 예측한다. 학생들이 키워드를 생성하거나, 요약문을 작성하거나, 일부 학습 내용에 대한 구조화된 다이어그램을 완성하는 등의 프롬프트가 이 범주에 포함됨19–21

Based on the evidence outlined above, we predict that self-generative cue prompts (possibly at a delay after learning) will help students activate predictive cues when learning conceptual knowledge (e.g. from medical textbook chapters or scientific articles). Prompts such as having students generate keywords, write a summary or complete a structured diagram about some studied information fall into this category19–21


학생들이 먼저 예측 단서를 생성하고 인식하여 보다 통제된 환경(예: 텍스트 연구에 초점을 맞춘 강의실 환경)에서 사용하도록 교육하는 것은 (강의 중이나 시험을 볼 때와 같이) 교실 밖에서 자기 주도 학습 중에 예측 단서 사용을 개선할 수 있는 길을 닦아줄 것이다. 이러한 연구는 각 설정에서 예측(비예측적) 단서의 특성에 대한 통찰력을 제공할 수 있도록 설계되어야 한다.

Training students to first generate and then recognise and use predictive cues in a more controlled setting (such as a classroom environment focusing on text study) could pave the way for improving predictive cue use during self-directed learning outside of the classroom, during a lecture or when taking a test. These studies should be designed in such a way as to provide insight into the characteristics of predictive (versus non-predictive) cues in each of these settings.


신호 전달 개입cue-prompt intervention의 사용이 증가함에 따라 [(일반적) 성찰 교육]보다는 [특정 직무에 초점을 둔 교육]으로 촛점이 이동할 수 있다는 점에 유의하십시오. 일반적으로 [학습 과제, 기술, 교육 과정 또는 인턴십(예: 포트폴리오를 통한) 전반에 걸친 성찰]에 중점을 두는 현재의 상황과 비교한다면, 이 새로운 물결은 단일 학습 과제의 모니터링 및 조절이라는 미세 영역으로 줌-인할 것이다.

Note that increased use of cue-prompt interventions may promote a shift of instruction on reflection towards a focus on specific tasks. Compared with the current situation where the emphasis typically lies on reflection across learning tasks, skills, courses or internships (e.g. through a portfolio)31, this new wave will zoom in on the micro-level of monitoring and regulation of a single learning task.



임상추론

Clinical reasoning


학생들이 개념적 지식을 처리하는 것에 대한 감시적 판단과는 달리, 학생들이 임상 추론을 모니터링할 때 사용하는 단서에 대해서는 거의 알려져 있지 않다. 임상 추론 중 큐 사용에 대해 알려진 것은 의학 전문가들의 연구에 기초한다. 예를 들어, 전문가들은 임상 실습 중 [처리 속도가 느려지는 것]을 처리 난이도가 높아진 것에 대한 신호로 해석하고 그들의 행동을 조정하기 위한 신호로 알려져 있다(예: 동료로부터 도움을 구함). 이러한 속도 저하는 전문가가 '자동성의 가장자리edge'에 도달한 것으로 해석된다. 그러나, 속도 저하 신호는 전문가의 자동성에 따라 달라지며 초보자에게는 효용이 제한되어 있다.

Contrary to students’ monitoring judgements of processing conceptual knowledge, very little is known about the cues students use when monitoring clinical reasoning. What is known about cue use during clinical reasoning is based on research by medical experts. For example, experts are known to interpret their own slowing down during clinical practice33 as a cue for processing difficulty and as a sign to adjust their behaviour (e.g. seek help from a colleague). This slowing down is interpreted as the expert reaching the ‘edges of their automaticity’. However, the slowing down cue depends on expert automaticity and is of limited utility for novices.


예를 들어, 고충실도 시뮬레이터를 사용한 심장 진단에 대한 연구는 trainee들이 짧은 임상 줄기로부터 제공된 정보에 과도하게 의존한다는 것을 밝혀냈다.

For instance, studies on cardiac diagnosis using a high-fidelity simulator have identified that trainees rely excessively on the information provided from a short clinical stem.


즉, trainee는 (임상 줄기가 아니라) 신체 검사에서 얻은 단서에 의존할 수 없었고, 진단 인상을 형성하는 데 있어서 (임상 기록의 예측 단서보다) 덜 가치 있는 단서들을 과대평가했다는 것을 시사한다. 보고된 신뢰도의 범위가 매우 넓다는 것은 또한 trainee들이 심장 진단에서 정확성에 대한 판단을 형성할 때 비예측적 단서에 집중하고 있음을 보여준다.

These experiments suggest that trainees were unable to rely on cues from their physical examination and instead overvalued less predictive cues from clinical history in forming their diagnostic impressions. The wide range of reported confidence, with both under- and overconfidence, also indicates these trainees are attending to non-predictive cues when forming judgements of their accuracy in cardiac diagnosis.


임상적 추론에서 최소 기준에 맞춘 성과의 판단은 특히 중요하다. 학생들은 환자를 안전하게 치료할 수 있는지, 그리고 그렇게 할 수 있는 지식과 기술을 가질 수 있는지를 스스로 모니터링 하는 방법을 배워야 한다. 이는 예측 단서 프롬프트 개발에 포함되어야 한다(예: 언제 도움을 요청해야 하는지 알고, 지식과 기술이 실패했을 때 인지하도록 학생들에게 요구하는 것). 효과적인 큐 프롬프트가 정의되면, 그러한 지침은 자습 학습을 촉진하는 자습자 독립적인 자료를 통해서도 구현될 수 있다.39

In clinical reasoning, judgement of performance relative to a minimum standard is of particular importance. Students should learn to monitor whether they can safely treat a patient and have the knowledge and skills to do so. This should be incorporated in development of predictive cue prompts (e.g. by requiring students to reflect on issues such as knowing when to ask for assistance and recognising when their knowledge and skills fail). Once effective cue prompts are defined such instruction could also be implemented through tutor-independent materials promoting self-regulated learning.39


결론

CONCLUSION


의대생과 연습생의 학습 및 성과에 대한 정확한 판단은 예측 단서의 사용 가능성과 실제 사용에 달려 있다. 인지 심리학 연구는 학습과 성과를 판단하기 전에 스스로 예측 단서를 생성하면 학습과 성과의 모니터링과 조절를 개선할 수 있다고 제안한다. 그러나 이러한 연구의 대부분은 실험실 같은 학습 환경에 기초하였다.

Medical students’ and trainees’ accurate judgements of learning and performance critically depend on the availability and use of predictive cues. Cognitive psychology research suggests that self-generating predictive cues prior to judging learning and performance can improve monitoring and regulation of learning and performance. However, the majority of these studies were based in laboratory-like learning environments.


30 McConnell MM, Regehr G, Wood TJ, Eva KW. Self-monitoring and its relationship to medical knowledge. Adv Health Sci Educ 2012;17 (3):311–23. XXX








 2017 Jun;51(6):575-584. doi: 10.1111/medu.13267. Epub 2017 Mar 23.

Monitoring and regulation of learning in medical education: the need for predictive cues.

Author information

1
Maastricht University, Maastricht, The Netherlands.
2
Kent State University, Kent, Ohio, USA.
3
University of Toronto, Toronto, Ontario, Canada.

Abstract

CONTEXT:

Being able to accurately monitor learning activities is a key element in self-regulated learning in all settings, including medicalschools. Yet students' ability to monitor their progress is often limited, leading to inefficient use of study time. Interventions that improve the accuracy of students' monitoring can optimise self-regulated learning, leading to higher achievement. This paper reviews findings from cognitive psychology and explores potential applications in medical education, as well as areas for future research.

COGNITIVE PSYCHOLOGY:

Effective monitoring depends on students' ability to generate information ('cues') that accurately reflects their knowledge and skills. The ability of these 'cues' to predict achievement is referred to as 'cue diagnosticity'. Interventions that improve the ability of students to elicit predictive cues typically fall into two categories: (i) self-generation of cues and (ii) generation of cues that is delayed after self-study. Providing feedback and support is useful when cues are predictive but may be too complex to be readily used.

APPLICATION TO MEDICAL EDUCATION:

Limited evidence exists about interventions to improve the accuracy of self-monitoring among medical students or trainees. Developing interventions that foster use of predictive cues can enhance the accuracy of self-monitoring, thereby improving self-study and clinical reasoning. First, insight should be gained into the characteristics of predictive cues used by medical students and trainees. Next, predictive cue prompts should be designed and tested to improve monitoring and regulation of learning. Finally, the use of predictive cues should be explored in relation to teaching and learning clinical reasoning.

CONCLUSIONS:

Improving self-regulated learning is important to help medical students and trainees efficiently acquire knowledge and skills necessary for clinical practice. Interventions that help students generate and use predictive cues hold the promise of improved self-regulated learning and achievement. This framework is applicable to learning in several areas, including the development of clinical reasoning.


자기조절이론: 의학교육에 적용 AMEE Guide No. 58 (Med Teach, 2011)

Self-regulation theory: Applications to medical education: AMEE Guide No. 58

JOHN SANDARS1 & TIMOTHY J. CLEARY2

1University of Leeds, UK, 2University of Wisconsin-Milwaukee, USA




도입

Introduction


자기조절이란 무엇인가?

What is self-regulation?


자율규제는 '개인적인 목표 달성을 위하여, 계획되고 주기적으로 적응하는, 스스로 만든 생각, 감정, 행동'으로 정의되어 왔다(Zimmerman 2000, 페이지 14).

Self-regulation has been defined as, ‘self-generated thoughts, feelings, and actions that are planned and cyclically adapted to the attainment of personal goals’ (Zimmerman 2000, p. 14).


경영능력, 자기 관리, 자기 주도, 자기 감시 및 자기 통제와 같은 다양한 '조절 관련' 용어가 문헌에서 사용되어 왔다.

a variety of ‘regulation-related’ terms have been used in the literature, such as executive functioning, self-management, self-directedness, self-monitoring and self-control.


현실에서 자기조절이론 

Self-regulation theory in practice


개인이 자신의 행동(행동), 인지(생각) 및/또는 환경(서라운드)을 통제하는 일련의 뚜렷한 프로세스를 설명하는 경험적으로 지원되는 여러 자기조절모델이 있다(Puustinen & Pulkkkinen 2001).

There are several empirically supported self-regulation models which delineate a set of distinct processes through which individuals exert control of their behaviour (actions), cognition (thoughts) and/or environment (surroundings) (Puustinen & Pulkkinen 2001).


1960년대와 1970년대에 시작된 반두라의 일과 이론을 역사적으로 바탕으로 한 자기조절의 사회인식모델에서는 개인은 자신의 삶의 적극적 참여자로서, 개인적 목적을 달성하기 위하여 [생각, 행동, 환경요인을 조절함으로써] 중요한 사건에 대한 통제권을 갖는다고 본다.

Social-cognitive models of self-regulation, which are historically based on the work and theories of Bandura beginning in the 1960s and 1970s, suggest that individuals are active participants in their lives who seek control over important events through the regulation of their thoughts, actions and environmental factors to achieve personal goals (Bandura 1986).


여러 요인 중 언제든지 특정 요인이 우세할 수 있다. 예를 들어, 지나치게 시끄러운 환경이나 책의 내용에 대한 관심이 부족하면 책이 잘 안 읽힌다. 반두라는 인간은 단순히 학습에 소극적인 참여자일 뿐 아니라, 자신의 행동과 학습 환경이나 맥락에 대한 통제력을 적극적으로 발휘하려고 한다고 주장할 것이다. 책을 읽는 예에서, 이렇게 책을 잘 읽기 어려운 환경에서, 학생들은 보다 조용한 학습 환경을 마련하거나, 책을 읽는 것의 중요성이나 가치에 관한 동기부여적인 자기 대화에 참여하거나, 본문을 읽는 목표를 달성하기 위해 적극적으로 학습 맥락을 구성할 수 있다. 

At any given time, one factor may predominate. For example, reading a book may be inhibited by an excessively noisy environment or due to a person’s lack of interest in the content of the book. Bandura would argue that humans are not merely passive participants in learning, but that they proactively seek to exert control over their behaviour and learning environment or context. In the illustrative example of reading a book, frustrated students can actively structure their learning context to attain their goal of reading the text, such as arranging a more quiet study environment or engaging in motivational self-talk regarding the importance or value of reading the book. 


개인의 목표를 추구하기 위해 이러한 적극적인 조정을 하는 과정은 자기조절의 핵심이며, 이 과정은 자기효능과 같은 개인의 자기신념과 판단에 의해 크게 조정된다. 한 사람이 자신의 역량에 대해 가지고 있는 인식은 [피로, 지루함 또는 스트레스 등을 당면한 상황에서, 노력을 지시direct하고 지속sustain하는 능력에 대한 강력한 결정 요인]이다.

This active process of making adjustments in the pursuit of personal goals is at the heart of self-regulation and is largely mediated by an individual’s self-beliefs and judgements, such as self-efficacy. Perceptions of personal competency are powerful determinants of one’s ability to direct and sustain efforts in the face of fatigue, boredom or stress.


본 가이드에서는, 다양한 이론에 걸쳐 공유되는 자기 규제 학습자의 세 가지 중요한 특성에 대해 중점적으로 설명하기로 한다. 

(1) 목표 지향적 행동, 

(2) 목표를 달성하기 위한 구체적인 전략의 사용 

(3) 학습을 최적화하기 위한 행동이나 전략에 대한 적응과 수정.

In this Guide, we will focus on three important characteristics of self-regulated learners that are shared across the various theories: 

(1) goal-directed behaviour, 

(2) use of specific strategies to attain goals, and 

(3) the adaptation and modification to one’s behaviours or strategies to optimise learning.




주기적 조절

Cyclical regulation.


'순환 고리'는 개인이 직무별 및 인지적 전략을 능동적으로 사용하는 반복적인 과정에 관여하고 목표 달성에 있어 이러한 전략의 효과에 대한 정보를 지속적으로 수집하는 것을 의미한다. 그림 1을 참조하십시오.

‘cyclical loop’ means that individuals will engage in an iterative process during which they proactively use task-specific and metacognitive strategies, and continuously gather information about the effectiveness of these strategies in achieving their goals. See Figure 1.



(a) 수행 전 단계

(a) Before (or forethought) phase


정교한 자기 규제 학습자들은 과제나 활동의 성격을 이해하려고 노력한 다음 그 학습 과제를 잘 수행할 목표와 구체적인 계획을 설정함으로써 능동적으로 '준비'할 것이다. 짐머만(2000년)은 이러한 준비단계는 자기규제 학습자의 능동적인 본질을 강조하고 있으며, 그러한 준비 생각과 행동은 학습이 일어난 후 적응적 자기평가와 성찰을 촉진한다고 주장한다. 

Sophisticated self-regulated learners will proactively ‘prepare’ by seeking to understand the nature of an assignment or activity and then setting goals and specific plans to perform well on that learning task. Zimmerman (2000) argues that this preparatory phase underscores the proactive essence of self-regulated learners and that such preparatory thoughts and actions facilitate adaptive self-evaluation and reflection after learning has occurred. 


또한 자기 효능감, 목표 지향성, 과제 관심 또는 가치와 같은 자기 동기 부여 신념은 학습자가 자율 규제 과정에 참여하기 위해 필요한 노력을 기울이는 자극이나 동기를 제공한다는 점에 유의해야 한다. 

It is also important to note that self-motivation beliefs, such as self-efficacy, goal orientation, and task interest or value, provide the impetus or motivation for a learner to put forth the necessary effort to engage in the self-regulation process. 



(b) 수행 중 단계

(b) During (or performance) phase


또한 자기조절적 학습자는 주의 집중, 이완, 긍정적인 자기 대화 및 절차 단계의 정신적 리허설 같은 특정한 전략을 사용함으로써 학습 중 행동과 생각을 통제하려고 시도할 것이다(Wolters 2003).

Self-regulated learners will also attempt to control their behaviours and thoughts during learning by employing specific tactics, such as attention focusing, relaxation, positive self-talk and mental rehearsal of the steps of a procedure (Wolters 2003).


자기조절적 학습자는 매우 전략적이기 때문에 미리 생각한 목표를 달성하기 위해 감정, 인지, 행동을 관리하는 것을 적극적으로 추구할 것이다. 많은 이론가들이 학생들의 학습과 수행에 인지 제어와 자기 모니터링의 역할을 강조한다는 점에 주목해야 한다(Winne & Hadwin 1998; Zimmerman 2000). 즉, 얼마나 학습이 성공적이었는가를 능숙하게 관찰하고 알아채고, 그에 따라 여기에 기여한 조건이나 요인을 밝히는 것은 조절 프로세스의 핵심이다.

Regulated individuals are highly strategic in nature and thus will actively seek to manage emotions, cognition and behaviour in order to attain their forethought goals. It is important to note that many theorists emphasise the role of metacognitive control and self-monitoring as students learn or perform (Winne & Hadwin 1998; Zimmerman 2000). That is, the extent to which students can skilfully observe, or notice, when learning is successful or not and then to identify the contributing conditions or factors influencing that learning is a key regulation process.


(c) 수행 후 단계

(c) After (or self-reflection) phase


학생들이 학습하기 위해 사용하는 구체적인 전략과, 이러한 전략의 성공과 관련된 정보에 대한 지식이 수행 후 단계의 기초를 확립한다(Zimmerman 2000). 개인이 목표를 달성했는지 여부를 스스로 평가하고, 성공 또는 투쟁의 원인이 되는 1차적 요인을 식별하는 것을 추구한다는 점에서 이것은 자기조절의 마지막 단계인 자기성찰 단계에 들어간다.

Students’ knowledge of the specific tactics they use to learn as well as information related to the success of these strategies sets the foundation for the after phase of self-regulation (Zimmerman 2000). It is during this final self-reflection phase of self-regulation in that individuals self-evaluate whether they have attained their goals and seek to identify the primary factors causing them to succeed or struggle.


자기조절 이론가들은 학생들이 학업성취도 문제로 고군분투할 때 귀인이라고 불리는 이 인지적 자기판단이 특히 중요하다고 주장할 것이다. 원인에 대한 귀인은 학생들의 후속 행동과 학습 지속 동기를 잘 예측한다(Weiner 1986).자율규제의 주기적인 관점을 지지하는 이론가들은 또한, 학생들이 성찰에 참여한 후에, 미래 학습을 위한 목표나 전략을 수정하거나 수정하여 규제 피드백 루프의 다음 반복을 시작하도록 결정할 것을 제안한다. 

Self-regulation theorists would argue that this latter type of cognitive self-judgement, called attributions, is of particular importance when students struggle with academic performance. Causal attributions are highly predictive of students’ subsequent behaviours and motivation to sustain learning (Weiner 1986).Theorists who support a cyclical viewpoint of self-regulation would also suggest that after students engage in reflection,they will make decisions about modifying or adapting their goals or strategies for future learning, thereby initiating the next iteration of the regulatory feedback loop. 


자신의 수행전략에 귀인하는 것은 이상적인 방식인데, 왜냐하면 전략을 사용하는 방식을 본질적으로 바꿀 수 있기 때문에 새로운 학습 활동에 참여하기 전에 수정하거나 조정할 수 있기 때문이다. 학생들이 자신이 어려워하는 이유를 능력 부족과 같은 고정된 개인적인 요소들 또는 운이나 선생님의 기술과 같은 외부적이고 통제할 수 없는 요소들 탓으로 돌릴 때, 이러한 학생들에게서는 동기부여가 저하되고 참여가 낮아진다.

Strategic attributions are ideal because strategy use is inherently changeable and thus can be modified or adjusted prior to engaging in a new learning activity. when students blame their struggles to fixed personal factors, such as poor ability, or to external and uncontrollable factors, such as luck or the skill of the teacher, poor motivation and disengagement become most pronounced in these individuals.



목적-지향적 행동

Goal-directed behaviour.


주기적 규제의 첫 단계는 수행 전 생각을 하는 것이다.

The initial phase of cyclical regulation involves engagement in forethought,


이 단계 내의 핵심 하위 프로세스 중 하나는 목표 설정이며, 목표라는 것은 [자신이 개인적으로 확립한 학습이나 수행의 기준 또는 특정 결과]라고 정의할 수 있다(Locke & Latham 1990). 목표는 동기부여 기능을 하며 학습 과정이나 결과의 특정 측면에 대한 학생들의 주의를 유도할 수 있기 때문에 자기조절모델에서 중요하다.

One of the key subprocesses within this phase is goal-setting, which has been defined as the standards or specific outcomes of learning or performance that are personally established by an individual (Locke & Latham 1990). Goals are important in self-regulation models because they serve a motivation function and can direct students’ attention on specific aspects of the learning process or outcomes.


프로세스 목표와 결과 목표. 

    • 결과 목표는 시험 성적과 같은 학습의 최종 제품을 강조하는 경향이 있으며, 

    • 과정 목표는 학습을 위해 사용하는 단계, 절차 또는 전략을 포함한다(Zimmerman & Kitsantas 1996). 

    • 결과 목표가 긍정적인 동기부여와 규제적 효과를 발휘할 수 있지만, 

    • 과정 목표는 학생들이 처음 과제나 기술을 수행하는 방법을 배우거나 과제를 마스터하기 위해 고군분투하는 상황에서 특히 유용하다.

process and outcome goals. Outcome goals tend to emphasise the final products of learning, such as a test grades, where process goals involve the steps, procedures or strategies that one employs to learn (Zimmerman & Kitsantas 1996). Although outcome goals can exert positive motivational and regulatory effects, process goals are particularly beneficial in situations when students are first learning how to perform a task or skill or when they struggle to master the task.


연구자들은 과제에서 높은 수준의 숙련도나 전문지식을 획득한 학생들을 살펴보면, 이들은 결과 목표보다 프로세스 목표를 설정하는 경우가 더 많다는 것을 발견했다. 또한, 의학 교육 환경에서 채용된 정성적 연구에서 클리어리와 샌더스(2011년)는 정맥 작업을 능숙하게 해낸 의대생들은 프로세스 또는 기술 목표를 일관되게 나타낸 반면, 이 절차에 어려움을 겪은 학생(혈액을 성공적으로 뽑기 위한 세 번의 시도가 필요함)들은 결과 목표를 강조하는 경향을 보였다고 보고했다.

Researchers have found that students who have attained a high level of proficiency or expertise on a task report setting process goals more frequently than outcome goals. Furthermore, in a qualitative study employed in a medical education context, Cleary and Sandars (2011) showed that medical students who demonstrated proficiency on a venepuncture task consistently displayed process or technique goals, whereas those who struggled with this procedure (need to have three attempts to successfully draw blood) tended to emphasise outcome goals.


요컨대, 목표는 동기부여의 역할을 하고, 배우는 동안 목표의 내용에 대한 학생들의 주의를 지시하며, 개인이 학교에서 자신의 성공을 스스로 평가하는 기준으로 작용하기 때문에 중요하다.

In short, goals are critical because they serve a motivational role, direct students’ attention on the content of the goal during learning, and act as the standards against which individuals self-evaluate their success in school.


전략적 인식 및 행동

Strategic awareness and behaviours.


프로세스 목표를 능동적으로 수립하고 전략 계획을 수립하는 학생은 과제 수행 중에 이러한 전략을 사용할 가능성이 더 높다. 단, 전략의 종류나 종류는 제각기 뚜렷한 목적과 목표를 가지고 있다는 점에 유의해야 한다.

Students who proactively establish process goals and who develop strategic plans are more likely to use such strategies during task performance. However, it is important to note that there are different classes or types of strategies, with each having distinct purposes and goals.


두 가지 전략: 동기부여전략, 정보/학습의 최대화 전략(Zimmerman 2000; Wolters 2003).

managing motivation versus maximise acquisition of information or learning(Zimmerman 2000; Wolters 2003).


    • 자기 보강, 자기 계발, 환경 구조와 같은 자기 통제 전략은 학생들의 주의를 관심의 과업으로 유도하고 노력과 끈기를 유지하도록 고안된 것이다. 

    • 이와는 달리, 개념 맵 사용, 학습의 핵심 용어 식별 및 수업 노트와 교과서 정보의 비교와 같은 학습 전략은 학습과 성과를 용이하게 한다.

In short, self-control strategies, such as self-reinforcement, self-instruction and environmental structuring, are designed to direct students’ attention to the task of interest and to sustain effort and persistence. In contrast, learning strategies, such as using concepts maps, identifying key terms to study and comparing class notes to textbook information, facilitate learning and performance


학생들이 전략적인 사고방식과 이용자가 되도록 훈련하는 것은 학생들의 학업내용이나 연령에 관계없이 대부분의 학생에 대한 자기조절 개입 프로그램의 중심 요소라는 점에 유의해야 한다.

It is important to note that training students to become strategic thinkers and users is a central component of most academic self-regulation intervention programmes, regardless of academic content or age of the students.


적응과 유연성

Adaptation and flexibility.


학생들이 학교에서 struggle할 때는 목표나 전략 계획을 어느 정도까지 조정하는지가 가장 중요하다.

The extent to which students adapt their goals or strategic plans is of greatest importance when students struggle in school.


주기적 순환의 모든 단계와 유사하게, 자기반성 또는 '후' 단계는 

    • 자기평가(목표나 표준과 자신의 성과를 비교), 

    • 귀인(성과에 대한 이유 인식), 

    • 적응적 추론(학습 개선에 필요한 변경이나 조정에 관한 결론)과 같은 몇 가지 하위 프로세스를 포함한다(Zimmerman 200).0). 

이 모든 하위 과정이 중요하지만 인과적 귀인에 초점을 맞출 것이다.

Similar to all phases of the cyclical loop, the self-reflection or ‘after’ phase involves several sub-processes, such 

    • self-evaluation (comparing performance to goals or standards), 

    • attributions (perceived reasons for performance) and 

    • adaptive inferences (conclusions regarding modifications or adjustments required to improve learning) (Zimmerman 2000). 

Although all these sub-processes are important, we will focus on causal attributions


학생들이 하는 귀인의 종류는 실패 후의 인지적, 영향적, 행동적 반응에 영향을 미칠 것이며, 따라서 미래의 학습 노력을 상당히 예측한다.

the types of attributions students make will impact their cognitive, affective and behavioural reactions following failure and thus are quite predictive of future learning efforts.


Weiner에 따르면, 기여는 세 가지 차원에 따라 분류될 수 있다:

    • 로쿠스(내부 또는 외부), 

    • 안정성(원인이 시간이 지남에 따라 얼마나 안정적이었는가), 그리고 

    • 관리성(통제할 수 있는 정도)

According to Weiner,attributions can be classified into of one of three dimensions: 

    • locus (cause is either internal or external), 

    • stability (how stable the cause is over time), and 

    • controllability (extent to which the can be controlled). 


연구자들은 노력과 전략 사용과 같이 내부적이고 불안정하며 통제할 수 있는 것에 귀인하는 사람들은 그들의 지속성과 전략의 사용에 있어 높은 성취도와 적응력이 있다는 것을 보여주었다(Cleary & Zimmerman 2001; Cleary et al. 2006).

Researchers have shown that those who make internal, unstable and controllable attributions, such as effort and strategy use, tend to be high achieving and adaptive in their persistence and use of strategies (Cleary & Zimmerman 2001; Cleary et al. 2006)


반두라에 따르면, 실패에도 불구하고 개인의 효능을 유지하는 것은 학생들의 노력과 끈기를 유지하는 데 있어 가장 중요한 요소 중 하나라고 한다. 또한, 실패에 따른 전략적 귀인을 하는 것은 궁극적으로 성공적인 직무 수행과 관련된 핵심 전략, 프로세스 또는 기술 요인에 대해 학습자가 주의를 기울이게 유도할 것이다(Cleary et al. 2008).

According to Bandura, sustaining a sense of personal efficacy in the face of failure is one the most important factors in sustaining students’ effort and persistence. In addition making strategic attributions following failure will direct students’ attention on the key strategies, processes or tech-niques that are ultimately linked to successful task performance (Cleary et al. 2008).


연구에 따르면 학생들이 전략적 귀인을 하도록 훈렴함으로써 성적을 향상시킬 수 있다고 한다.

Research has found that training students to make strategic attributions can improve their performance.


즉, 자유투를 놓쳤을 때, 이것을 부적절한 전략으로 귀인하는 학생들은 개선을 위해 슈팅 기법을 수정하거나 조정할 필요가 있다는 결론을 내릴 가능성이 높았다. 자유투를 놓친 뒤 전략적인 귀속을 한 학생들은 이런 훈련을 받지 않은 학생들보다 연습 시간에 자유투 수행능력을 빨리 조절하는 데 더 뛰어났다는 점도 눈여겨 볼 필요가 있다.

That is, students who attributed their missed free-throws to poor strategy use were more likely to conclude that they needed to modify or adjust their shooting technique in order to improve. It should be noted that students who made strategic attributions following missed free-throws, showed better skill at quickly adjusting their shooting performance during the practice session than those who did not receive such training.


결론적으로, 학습에서 자기조절 이론은 개인의 학습이나 수행과제에 접근하는 방법에 영향을 주기 위해 유동적인 심리적 과정이 어떻게 상호작용하는지를 이해할 수 있는 템플릿을 제공한다.

In conclusion, academic self-regulation theories provide a template from which one can understand how malleable psychological processes interact to influence how individuals approach a learning or performance task.



의료교육에 대한 자율적 규제이론의 적용

The application of self-regulation theory to medical education


의료 교육에서 가르치고 배우는 많은 현재 접근방식은 문제 기반 학습의 목표 설정과 같은 자율 규제 이론의 일부 측면을 적용한다(Lycke et al. 2006). 그러나, 우리의 의견으로는, 의학 교육의 실천에는 여전히 자율규제의 포괄적인 이론적 모델에서 더 많은 도움을 받을 수 있는 가능성을 가지고 있다.

Many current approaches to teaching and learning in medical education apply some aspects of self-regulation theory, such as goal setting in problem-based learning (Lycke et al. 2006). However, in our opinion, the use of a comprehensive theoretical model of self-regulation has the potential to further inform the practice of medical education


학업 성취도 향상과 임상 성과 향상

academic improving achievement and improving clinical performance.


학업 성취도 개선

Improving academic achievement


이전의 연구는 자기조절이 학업적 성취도에 따른 대학생들의 상위와 하위 사이의 구별되는 특징이라는 것을 보여주었다.

Previous research has shown that self-regulation is a distinguishing characteristic between high and low academically achieving college students.


예를 들어, Zimmerman과 Kitsantas(1999)는 프로세스에서 결과물로 이전한 학생들이 결과만을 사용한 프로세스 목표를 사용하는 학생들을 능가한다는 것을 발견했다. 변화된 목표 그룹의 사람들은 그들의 글쓰기 수정 기술에서 우월했다.

For example, Zimmerman and Kitsantas (1999) found that students who shifted their forethought goals from processes to outcome outperformed those who used process goals, who in turn, surpassed those who only used outcome goals. Individuals in the shifting goal group were superior in their writing revision skill,


목표 설정은 학습자의 생각, 감정 및 행동에 영향을 미치기 때문에 학습의 자율적 규제의 중요한 측면이다. 학생들이 과정 목표와 결과 목표를 구별할 수 있는 것은 중요하다. 

    • 결과 목표는 각 장을 이해하는 것과 같은 활동의 최종 산물을 의미하지만, 

    • 프로세스 목표는 최종 결과 목표에 도달하는 방법을 의미한다. 

Goal setting is an important aspect of the self-regulation of learning since goals influence the learner’s thinking, emotions and actions. It is important that students can make a distinction between process goals and outcome goals. Outcome goals refer to the final product of the activity, such as understanding each chapter, but process goals refer to howthe final outcome goal will be reached. 



"학습한 내용의 요점을 요약한다"와 같은 프로세스 목표는 목표가 달성되고 있는지, 그리고 자기 적응적인 변화가 필요한지에 대한 신속한 자가 평가를 가능하게 하기 때문에 새로운 주제를 배우는 초기 단계에서 특히 중요하다.

Process goals, such as summarising the main points in the chapter, are especially important during the early stages of learning a new topic since they allow rapid self-evaluation of whether the goal is being attained and whether any self-adaptive changes need to be made.


성공적인 목표 달성은 적절한 전략을 사용해야 한다. 효과적인 학습자는 '시도해봤고, 신뢰할 수 있는', 자신이 좋아하는 작은 전략 레퍼토리를 가지고 있지만, 성취도가 낮은 학습자는 제한된 범위만의 전략을 사용하거나, 비효율적인 전략을 반복적으로 사용한다(Pressley & Ghatala 1990). 교과서와 강의 노트를 반복해서 읽어도 과목을 이해할 수 없다고 말하는 의대생들의 말을 듣는 것은 이상한 일이 아니다.

Successful goal attainment requires the use of appropriate strategies. Effective learners have a small repertoire of favourite strategies that are ‘tried and trusted’ but underachieving learners either have a limited range of effective strategies or repeatedly use ineffective strategies (Pressley & Ghatala 1990). It is not unusual to hear many underachieving medical students state that they cannot understand the subject despite repeatedly reading their text book or lecture notes.


독서를 하는 동안 자기조절 과정을 살펴본 연구는 높은 이해력을 가진 학생들은 지속적으로 자기-모니터링을 했으며, 자기-평가를 하였고, 이를 바탕으로 (기존에 사용하던 전략이 그들이 읽고 있던 텍스트를 이해하는 데 효과적이었는지에 따라) 전략의 선택에 관해 적응적인 변화를 만든다는 것을 밝혀냈다(Paris & Paris 2001). 예를 들어 일반적으로 사용되는 접근법은 예측, 질문, 명확화 및 요약의 네 가지 주요 전략에 집중한다.

Research that has looked at self-regulation processes during reading has identified that high-achieving readers constantly self-monitored, self-evaluated and made adaptive changes regarding their choice of strategies to ensure that these strategies were being effective for understanding the text that they were reading (Paris & Paris 2001). For example, one commonly used approach concentrates on four main strategies: predicting, questioning, clarifying and summarising.


선택된 전략이 가장 적절하고 효과적인지 여부를 구현하고 평가하는 것은 학습자가 스스로 수행하는 능동적인 과정이다. 목표 달성을 위한 진전뿐만 아니라 자신이 어떤 일에 어떻게 접근하는지에 대해 더 큰 자각을 가진 학습자는 도전에 직면했을 때 자신의 전략에 적응적인 변화나 조정을 할 가능성이 더 높다.

Implementing and evaluating whether a chosen strategy is the most appropriate and effective is an active process for the learner. Learners who have greater self-awareness of how they are approaching a task, as well as their progress towards their intended goal, are more likely to make adaptive changes or adjustments to their strategies when confronted with challenges.


학생들이 능동적이고 전략적인 학습자가 될 수 있는 정도는 내부 및 외부 피드백의 질과 관련이 있다(Butler & Winne 1995).

The extent to which students can become active, strategic learners is related to the quality of both internal and external feedback (Butler & Winne 1995).


학업 성취도의 또 다른 중요한 측면은 학습자의 동기부여다. 동기 부여는 학생들의 행동에 활력을 불어넣고 지도한다. 그것은 그들의 자기신념과 그 일에 대한 믿음의 영향을 받는다. 목표 설정과 귀인도 동기부여적 행동에 영향을 미치지만, 사회 인지 이론가들은 또한 기대와 가치와 같은 자기-동기적 믿음에도 일차적인 중요성을 둔다(위그필드 & 에클스 2000; Zimmerman 2000).

Another important aspect of academic performance is the motivation of the learner. Motivation energises and directs students’ behaviour. It is affected by their self-beliefs and also their beliefs about the task. Although goal-setting and attributions impact on motivated behaviours, social-cognitive theorists also place primary importance on self-motivation beliefs, such as expectancy and value (Wigfield & Eccles 2000; Zimmerman 2000). 


기대 판단특정 결과를 초래할 수 있는 특정 행동을 수행하는 기술에 대한 개인의 인식이다. 어떤 의미에서 이러한 유형의 판단은 개인이 자신이 얼마나 능력이 있다고 믿는지와 자신과 주어진 상황을 통제할 수 있는지의 여부를 포함한다. 가장 잘 조사된 기대 구조 중 하나는 자기효능 신념인데, 이는 특정 상황에서 특정 행동을 수행할 수 있는 자신의 능력에 대한 매우 구체적인 판단이다. 이러한 믿음은 매우 맥락에 의존적이기 때문에, 따라서 다른 상황에 따라 달라질 수 있고, 종종 실제로도 그러하다.

Expectancy judgements involve a person’s perceptions about the skill in performing specific actions that can lead to particular outcomes. In a sense, these types of judgements involve how capable an individual believes that he or she is and whether he or she has control over themselves and a given situation. One of the most well-researched expectancy constructs is self-efficacy beliefs, which are highly specific judgements about one’s capabilities to perform specific acts in a particular situation. These beliefs are highly contextualised and thus can, and often do, vary across different situations.


특정 과목에 대한 학습의 가치에 대한 학습자의 신념도 동기부여 수준을 이해하는 데 중요하다. 특정 과목 영역에 관심이 있거나 이 내용 영역이 매우 중요하거나 가치가 있다고 인식하는 학생들은 종종 학습에 더 많은 노력과 참여를 보일 것이다. 학습자의 동기와 귀인에 대한 신념을 직접 질문으로 식별한 다음, 이러한 믿음이 학업 성취에 어떠한 영향을 주었으며, 이러한 믿음을 변화시키기 위한 긍정적인 접근방식은 무엇인지를 성찰하여 수정할 수 있다.

Learners’ beliefs about the value of studying for a particular subject are also important for understanding their level of motivation. Students who are interested in a particular subject area and/or perceive this content area to be of high importance or value will often display more effort and engagement in learning. The motivational and attribution beliefs of underachieving learners can be identified by direct questioning and then modified by reflecting on how these beliefs can influence academic achievement and consideration of positive approaches to change these beliefs.


임상 퍼포먼스 개선

Improving clinical performance


임상 수행의 중요한 측면은 필수적인 기본 임상 기술의 효과적인 사용이다.

An important aspect of clinical performance is the effective use of essential basic clinical skills,


기존 연구에 따르면, 자기조절은 정신운동 숙련도에 따른 여러 개인을 구분짓는 특징이라는 것을 보여주었다. 예를 들어, 클리어리와 짐머맨(2001)은 농구 프리 스로우의 전문가로 분류된 성능(예상 단계) 이전에 학생들이 더 구체적인 목표를 세우고 기술 중심의 전략을 사용했다는 것을 보여주었다.

Previous research has shown that self-regulation is a distinguishing characteristic between individuals who have high and low complex psycho-motor skilled performance. For example, Cleary and Zimmerman (2001) showed that prior to performance (forethought phase) students classified as experts in basketball free-throws made more specific goals and used more technique-focused strategies.


저자들은 또한 전략의 선택과 목표 설정이 상호 연관되어 있으며, 성과 개선을 위한 후속 노력 중 전략의 사전 고려된 선택forethought selection과 귀인에 대한 자가 판단attribution self-judgement이라는 여러 자율 규제 프로세스 간의 순환적 관계를 강조한다.

The authors also highlight the cyclical relationship among several self-regulation processes, with goal setting being correlated with choice of strategy and attribution self-judgements being predictive of forethought selection of strategy during subsequent efforts to improve performance.


클리어리와 샌더스(2011)에 따르면, 과제를 성공적으로 수행한 참여자들은 세 가지 주기적 단계 전체에 걸쳐 전략적 사고를 보인 반면, 성공하지 못한 참여자들은 결과나 비과정non-processes에 집중하는 경향이 있었다. 구체적으로, 첫 번째 시도에서 성공한 참가자는 

    • 프로세스 목표와 계획을 수립하였고,

    • 작업(성능 단계) 중에 사용되는 프로세스 및 해당 정맥 기법을 모니터링하였고,

    • 프로세스 또는 기술 관련 준거를 사용하여 성과에 대한 성공 또는 만족도를 평가했다.

Cleary and Sandars (2011) Participants who were successful at this task exhibited strategic thinking throughout each of the three cyclical phases, whereas those who were not successful tended to focus on outcomes or non-processes. Specifically, participants who did the venepuncture successfully on their first attempt, 

    • reported setting process goals and plans, 

    • monitored the process and their venepuncture techniques used during the task (performance phase) and 

    • evaluated their level of success or satisfaction with their performance using process or technique related criteria.


연구는 참가자들에게 사이클 모델, 특히 목표 설정(예측 단계)과 자기 기록(수행 단계)에서 특정 프로세스에 참여하도록 지시하는 데 초점을 맞추었다.

Research has focused on instructing participants to engage in specific processes in the cyclical model, in particular, goal setting (forethought phase) and self-recording (performance phase).


전반적으로, 골 세팅과 자기 기록이 학생들의 71%를 차지했다. 이는 이러한 과정이 기술 습득을 증가시키는데 매우 영향력이 있음을 시사한다.

Overall, goal setting and self-recording accounted for 71% of the students dart-throwing proficiency. This suggests that these processes are very influential in increasing skill acquisition.


자기평가적 기록을 남기는 학생은 (이런 유형의 기록을 하지 않는 학생보다) 다트던지기를 잘 하지 못한 것에 대해 strategic attribution을 더 많이 했다. 자율 규제와 동기부여의 관점에서 전략적인 귀속을 하는 것은 전략적인 사용이 수정되고 적응될 수 있기 때문에 매우 유익하며, 따라서 학생들에게 주체로서의 신념과 통제력을 길러준다.

Individuals who engaged in self-evaluative recording made more strategic attributions following poor dart-throwing attempts than those who did not engage in this type of recording. From a self-regulation and motivation perspective, making strategic attributions is highly beneficial because strategy use can be modified and adapted, thus cultivating beliefs of agency and control in students.


연구는 또한 각 단계에서 훈련하는 개인들이 농구 자유 스킬에 미치는 부가적 영향을 조사했다(Cleary et al. 2006). 세 단계 모두, 또는 두 단계에 대해서(예측 및 성과) 훈련을 받은 학생들은 한 단계만 훈련받았거나 자기조절 훈련을 받지 않은 개인보다 더 정확한 프리트로우 슈팅을 보여주고, 보다 전략적인 인과적 귀속을 하고, 적응적 추론을 더 많이 보고했다.

Research has also investigated the additive effects of training individuals in each phase of the cyclical process on their basketball free-throw skill (Cleary et al. 2006). Individuals who received training in all three or two phases (forethought and performance), displayed more accurate freethrow shooting, made more strategic causal attributions and reported more technique specific adaptive inferences than those who only received one phase of training or no regulation training.


자기조절학습 미세분석이라는 진단 기법을 사용할 수 있다. 미시 분석의 일차적인 목표는 사람이 어떤 실제 업무를 수행하고 있을 때 특정한 자기조절 관련 질문을 하는 것이다. OSCE는 학생들이 임상 과제를 완료하면서 구체적인 행동이나 기술을 보여줄 것으로 예상되기 때문에 미시적 분석을 채택하는 데 이상적인 방법이다.

The tutor decides to employ a diagnostic technique called Self-Regulated Learning Microanalysis . The primary objective of micro-analysis is to ask specific regulatory questions as a person is engaging in some authentic task. The OSCE is an ideal method to employ microanalysis because students are expected to demonstrate specific behaviours or skills as they complete the clinical tasks.




(a) 주요 자기조절 프로세스의 문제 식별 

(a) Identification problems with key self-regulation processes


OSCE 수행 전의 질문:

Questions before taking the OSCE:


  • 이 환자에게 적절한 심장 검사를 할 수 있다고 얼마나 확신하십니까? (자기효능신념 평가)

  • 심장 검사를 시작하기 전에 염두에 두고 있는 목표가 있는가? 만약 그렇다면, 그들은 무엇인가? (프로세스 또는 결과 목표 선택 평가)

  • 심장검사에 성공하기 위해서는 무엇을 해야 하는가? (특정 전략 및 기법의 선정 평가)

  • . How sure are you that you can perform an adequate cardiac examination on this patient? (to assess self-efficacy beliefs)

  • . Do you have a goal(s) in mind before you begin the cardiac examination? If so, what is(are) (it)they? (to assess process or outcome goal selection)

  • . What do you need to do to successfully perform the cardiac examination? (to assess the selection of specific strategies and technique)


OSCE 수행 중 질문:

Questions during the performance of the OSCE:

  • 당신은 지금까지 흠잡을 데 없는 과정을 수행했다고 생각하는가, 아니면 실수를 한 적이 있는가? (수행에 대한 자체 모니터링 평가)

  • Do you think you have performed a flawless process thus far or have you made any mistakes? (to assess self-monitoring of performance)


OSCE 수행 후 질문:

Questions after the OSCE performance:


폴이 심장 소리를 해석하지 못하면 가정교사는 그를 멈추게 하고 다음과 같이 묻는다.

. If Paul fails to interpret the heart sounds, the tutor stops him and asks:


(a) 심장 소리를 해석할 수 없었던 이유는 무엇이라고 생각하십니까? (실패에 대한 귀인 평가)

(b) 다음 번 심장 소리를 해석하기 위해 무엇을 해야 하는가? (성공적 성과에 필요한 자기 적응적 변화 평가)

(a) Why do you think that you could not interpret the heart sounds? (to assess the attributions for unsuccessful performance)

(b) What do you need to do to successfully on your next attempt to interpret the heart sounds? (to assess the selfadaptive changes required for successful performance)


레지던트가 심장소리를 성공적으로 해석한다면, 가정교사는 폴을 멈추게 하고 다음과 같이 물어볼 수 있다.

. If the resident successfully interprets the heart sounds, the tutor can stop Paul and ask:


(a) 심장 소리를 성공적으로 해석하셨습니다. 왜 첫 번째 시도에서 성공했다고 생각하십니까? (성공에 대한 귀인  평가)

(a) You successfully interpreted the heart sounds. Why do you think that you were successful on your first attempt? (to assess the attributions for successful performance)


(b) 임상 성과를 개선하기 위한 주요 자체 규제 프로세스의 문제 해결

(b) Remediation of problems with key self-regulation processes to improve clinical performance




일반적 교육 접근

General instructional approaches


다양한 교육 접근방식이 보고된 바 있음

A variety of instructional approaches have been described


이러한 모든 접근법의 핵심 특징은 학습자에게 단순한 전략의 범위 이상의 것을 제공한다는 것이다. 그들은 학습자가 특정 전략을 언제 사용해야 하는지, 그리고 그것이 왜 사용되어야 하는지를 알고, 그것이 효과적인지 확인하고, 전략의 사용에 대한 자기적응적인 변화를 만들 수 있는 전략의 사용을 스스로 모니터할 수 있는 기회를 제공하지만, 또한 가장 적절한 전략을 사용하여 과제를 달성할 수 있다는 강한 신념을 개발할 수 있는 기회를 제공한다.

The key feature of all these approaches is that they offer the learner more than a range of simple strategies. They provide an opportunity for the learner to know when to use a particular strategy and why it should be used, to self-monitor the use of the strategy to check whether it is effective and to make selfadaptive changes to both their use of strategy but also develop a strong belief that they can achieve a task using the most appropriate strategy.



튜터의 역할

The role of the tutor.


자기조절은 개인 학습자의 생각, 감정, 행동에 초점을 맞추는 과정이다. 그러나 이 과정은 다른 사람들, 특히 숙련된 튜터가 제공하는 행동과 피드백에 의해 크게 영향을 받는다. 평생 학습자를 위한 자기조절교육을 위한 전체적인 목표는 내부 동기 부여와 전략의 사용에 대한 개인 통제의 권한을 부여하고 개발하기 위한 것이다(Bandura 1989). 교육활동은 학습자가 

  • 자신의 생각과 감정이 자신의 성과에 어떤 영향을 미치는지 더 의식하고 인지할 수 있도록 해야 하며, 

  • 긍정적인 동기 부여적 믿음과 적응적 귀인을 개발하고, 

  • 성공을 달성하기 위한 다양한 전략을 적응하는 기술을 개발할 수 있도록 해야 한다.

Self-regulation is a process that focuses on the thoughts, emotions and actions of an individual learner. However, this process is significantly influenced by the actions and feedback provided by others, especially a skilled tutor. The overall aim for the training of self-regulation for lifelong learners is to empower and develop their personal control, often called agency, of their internal motivation and use of strategies (Bandura 1989). Educational activities should enable learners 

  • to become more conscious and aware of how their thoughts and emotions influence their performance, 

  • to develop positive motivational beliefs and adaptive attributions and 

  • to develop their skills to adapt a variety of strategies to achieve success.


튜터의 전반적인 역할을 더 자세히 고려하는 것이 유용하다. 파리 및 파리(2001)에는 다음이 포함된다.

It is useful to consider the overall role of the tutor in greater detail. Paris and Paris (2001) include:


.학습자가 튜터와 같은 숙련된 전문가의 성과를 관찰할 수 있는 기회 제공. 이는 특히 핵심적 자기조절 프로세스의 사용을 함께 구두로 설명하며 제공하는 경우 강력하다. 

. Providing opportunities for the learner to observe theperformance of a skilled individual, such as a tutor. This isespecially powerful if verbal explanations of the use of thekey self-regulation processes are given by the performer. 


. 복잡한 기사를 읽거나 진단 결정을 내리는 등 주요 자기조절 프로세스가 필요한 상황에서 학습자를 참여시키고, 전략적, 적응적 방식으로 자기조절 프로세스를 사용하도록 학습자를 지도한다.

. Engaging the learner in situations in which key self-regulation processes are required, such as reading a complex article or making a diagnostic decision, and coaching the learner to use the self-regulation processes in a strategic and adaptive way.


. 학습자가 새로운 과제를 처음 배우는 동안 또는 학업 또는 임상적으로 문제를 해결할 때 자기조절 프로세스의 사용에 대해 더 잘 인식하도록 유도하여, 학습자가 더 자기 성찰적이고 자기 적응적이 될 수 있도록 한다. 예를 들어, 학습자가 과제를 실패하는 경우, 자신의 투쟁을 불충분한 노력 수준이나 전략의 비효율적인 사용과 연관시켜야 한다.

. Encouraging learners to become more aware of their use of self-regulation processes during initial learning of a new task or when trouble-shooting underachievement, either academic or clinical, so that the leaner can become more self-reflective and self-adaptive. For example, if a learner fails a task, he or she should relate one’s struggles to insufficient levels of effort or ineffective use of strategy.



배우는 방법 배우기 과정

Learning to learn courses.


'배움하기 위한 학습' 코스의 가치는 대학생들과의 여러 연구 연구에서 입증되었다(호퍼&유 2003).

The value of ‘learning to learn’ courses has been shown in several research studies with college students (Hofer & Yu 2003)


Motivated Strategies for Learning Questionnaire (MSLQ; see Figure 2).


Figure 2. Main components of the MSLQ.


MSLQ는 대학생들을 위한 81개의 항목 자체 보고 질문이다.

• 동기 부여 척도(31개 항목) - 고유의 목표 지향성, 외적인 목표 지향성, 과제 가치, l 소득 신념의 통제, 학습 및 성과에 대한 자기효능, 시험 불안

• 학습 척도(31개 항목) – 다양한 전략(리허설, 정교한 설명, 조직, 비판적 사고) 및 자율 규제 프로세스 사용

• 리소스 관리 척도(19개 항목) – 시간 및 학습 환경, 노력 규제, 동료 학습, 검색 지원


The MSLQ is an 81 item self-report questionnaire for college students:

• Motivation scale (31 items) - intrinsic goal orientation, extrinsic goal orientation, task value, control of l earning beliefs, self-efficacy for learning and performance, test anxiety

• Learning scale (31 items) – use of different strategies (rehearsal, elaboration, organisation, critical thinking) and self-regulation processes

• Resource management scale (19 items) – time and study environment, effort regulation, peer learning, help seeking


Copies of the MSLQ can be obtained from Combined Program in Education and Psychology (CPEP) cpep@umich.edu



자기조절 프로세스에 초점을 맞춘 피드백

Feedback focused on self-regulation processes


연구는 일관되게 의대생과 의사를 포함한 많은 개인이 자신의 지식, 기술 및 성과에 대한 자신의 판단에서 부정확하다는 것을 보여주었다(Davis et al. 2006; Hacker et al. 2008). 대부분의 학생들은 그들의 기술을 과대평가하는 경향이 있는데, 불행하게도 이것은 과제를 달성하기 위한 전략의 선택과 사용에 부정적인 영향을 미칠 수 있다. 가장 많이 고군분투하는 학습자들은 종종 인식된 능력과 실제 성취도 사이에 가장 큰 차이를 가진다. 게다가, 이런 유형의 학생들은 종종 나쁜 성적을 올바르게 자가 평가했을 때조차 시정 조치를 취하지 않는다. 효과적인 적응에 참여하기 위해서, 이러한 유형의 학습자들은 유익한 내부 피드백을 발생시키거나 강사나 교사들에 의해 외부 피드백을 받을 수 있어야 한다. 요컨대, 피드백은 학습자가 주요 자기조절 프로세스 사용에 적응적인 변화를 줄 수 있는 기회를 제공하기 때문에 학습 자기조절의 필수적인 요소다(Butler & Winne 1995).

Research has consistently shown that many individuals, including medical students and doctors, are inaccurate in their own judgements about their knowledge, skills and performance (Davis et al. 2006; Hacker et al. 2008). Most students tend to overestimate their skills, which unfortunately can have a negative effect on their selection of and use of strategies to achieve a task. Learners who struggle the most are often those have the greatest discrepancy between perceived competence and their actual performance. In addition, these types of students often do not take corrective measures when they correctly self-assess poor performance. To engage in effective adaptation, these types of learners either need to be able to generate informative internal feedback or to be given external feedback by tutors or teachers. In short, feedback is an essential and integral component of the self-regulation of learning since it provides an opportunity for the learner to make adaptive changes to their use of key self-regulation processes (Butler & Winne 1995).


내부 피드백, 즉 개인이 생성하는 정보는 일반적으로 훈련을 통해 개발할 수 있는 자체 모니터링 프로세스를 통해 발생한다(Hartman 2001). 흥미로운 접근법은 학습자가 자신의 성과를 스스로 모니터링하고 학습 전략과 기법에 대한 적응적 변화를 기록할 수 있도록 하는 구조화된 워크북의 자가 주도적인 사용이다(Nietfeld et al. 2006). 

Internal feedback, or information that is produced by the individual, typically occurs through a self-monitoring process that can be developed through training (Hartman 2001). An interesting approach is the self-directed use of structured workbooks that allow learners to self-monitor their performance and also to record their adaptive changes to study strategies and techniques (Nietfeld et al. 2006). 


외부 피드백, 학생의 기술이나 직무수행에 대해 다른 사람이 언급하는 것. 인식과 실제 수행의 차이를 부각시키는 강력한 리얼리티 체크가 될 수 있다.  효과적으로 제공되는 경우 외부 피드백은 과제의 필수 요건이나 오류를 수정하거나 수정하는 데 필요한 행동 또는 프로세스에 대한 학습자의 주의를 지시하기 때문에 자기조절의 매우 중요한 요소가 될 수 있다.

External feedback, such as comments made by others about the skills or task performance of a student, can be a powerful reality check that highlights the discrepancy between perceived and actual performance.  When provided effectively, external feedback can be a very important component of self-regulation because it directs a learner’s attention on essential requirements of a task or the behaviours or processes needed to adapt or correct mistakes.




미래 발전과 적용

Future developments and applications


기존 교육과정에 통합 

Integration into existing curricula


의학 교육의 많은 학부생과 대학원생들은 자연스럽게 적응적인 자기조절 과정을 보여준다. 그러나 이러한 프로세스에서 하나 이상이 미개발될 가능성이 있다.

Many undergraduate and postgraduate learners in medical education naturally exhibit adaptive self-regulation processes. However, it is likely that one or more of these processes may be under-developed


문제 기반 학습은 새로운 정보를 찾기 위한 방아쇠로 문제 상황을 사용하는 학생들의 학습 과정을 발전시키려는 시도로 널리 소개되었다. 문제 기반 학습과 자율 규제의 개념 사이에는 중첩이 있으며, 두 개념 모두 학습 과정에 대한 학생 통제와 목표 설정과 성과 반영을 요구하는 학습 접근법의 사용에 중점을 두고 있다(Loyens 등 2008).

Problem-based learning has been widely introduced in an attempt to develop the learning processes of students using problematic situations as a trigger to seek new information. There is overlap between the concepts of problem-based learning and self-regulation, with both having an emphasis on student control over the learning process and the use of a learning approach that requires the setting of goals and reflecting on performance (Loyens et al. 2008).


그러나 문제 기반 학습의 전달은 자율 규제 프로세스의 개발에 큰 초점을 두지 않는다(Moust et al. 2005). 특히 튜터가 학생들의 성취도가 낮다는 것을 안다면 자기조절의 주요 측면은 PBL 커리큘럼에 구체적으로 도입될 수 있다. 이러한 개입의 예로는 프로세스 목표 설정, 이러한 목표를 달성하기 위한 전략 선택, 자가 모니터링 및 적절한 전략이나 기법의 선택과 관련된 적응형 변경을 포함한다. 

However, the delivery of problem-based learning does not have a strong focus on the development of self-regulation processes (Moust et al. 2005). Key aspects of self-regulation can be specifically introduced in problem-based curricula, especially if the tutor is aware that students are underachieving. Examples of these interventions include those related to 

    • setting process goals, 

    • selecting a strategy to achieve these goals, 

    • self-monitoring and 

    • making adaptive changes that are related to self-beliefs or selection of appropriate strategies or techniques. 

중요한 측면은 학생들이 문제 기반 학습의 단계에 초점을 맞추는 대신에 다양한 주요 자기조절 과정을 어떻게 사용하고 있는지에 초점을 맞추는 것이다.

An important aspect is that the tutors focus on how the students are using the various key self-regulation processes instead of a focus on the steps in problem-based learning.


튜터는 또한 전략 사용과 자기조절 프로세스에 초점을 맞춘 학습자에게 전략 및 프로세스 피드백을 제공할 수 있다. 학습자의 주기적 자율규제 프로세스 사용에 대한 피드백(그림 3)은 think-aloud 또는 자기조절 미세분석과 같은 맥락별 평가 기법에서 생성될 수 있다. 학생들은 또한 별도의 '학습하기 위한 학습' 과정을 시행하거나, 학습자들이 텍스트를 이해하는 구조화된 접근법을 사용하여 서로를 멘토링하는 상호 교습과 같은 동료 멘토링 접근법을 사용함으로써 도움을 받을 수 있다.

Tutors could also provide strategic and process feedback to learners with a focus on strategy use and self-regulation processes. Feedback about a learner’s use of cyclical self-regulation processes (Figure 3) can be generated from context-specific assessment techniques, such as think-aloud or self-regulation microanalysis. Students could also be helped by implementing separate ‘learn to learn’ courses or using a peer mentoring approach, such as reciprocal teaching, in which learners mentor each other using a structured approach to understanding text.


Figure 3. Questions about the key self-regulation processes


예상 단계

• 과제의 특성은 무엇인가?

• 내 목표는 무엇인가?

• 어떤 종류의 정보와 전략이 필요한가?

• 얼마나 많은 시간과 리소스가 필요한가?

• 나의 동기는 무엇인가?

• 환경을 수정해야 하는가?

Forethought Phase

• What is the nature of the task?

• What is my goal?

• What kind of information and strategies do I need?

• How much time and resources will I need?

• What is my motivation?

• Do I need to modify the environment?


성능 단계

• 내가 하고 있는 일을 확실히 이해하고 있는가?

• 이 작업이 이치에 맞는가?

• 목표에 도달하고 있는가?

• 무언가에 변화를 줘야 하는가?

• 내 생각/감정을 수정해야 하는가?

• 환경을 수정해야 하는가?

Performance Phase

• Do I have a clear understanding of what I am doing?

• Does the task make sense?

• Am I reaching my goals?

• Do I need to make changes?

• Do I need to modify my thoughts /emotions?

• Do I need to modify the environment?


자기반사단계

• 내가 목표에 도달했는가?

• 무엇이 효과가 있었는가?

• 무엇이 작동하지 않았는가?

• 다음 번에는 다른 방식으로 작업을 수행하시겠습니까?

• 나의 동기 부여에 미치는 영향은?

Self-reflection Phase

• Have I reached my goal?

• What worked?

• What didn’t work?

• Would I do things differently next time?

• What is the impact on my motivation?



이러닝 개발

Development of e-learning


더 간단한 접근법이 효과적일 수 있다. 예를 들어 온라인 학습(Azebedo & Cromley 2004)에 참여하기 전에 자율 규제 프로세스를 사용하는 방법에 대한 짧은 교육 모듈을 사용하는 것. 모듈에 참여하는 동안 온라인 학습자의 자기조절 기술을 개발하기 위해 훈련된 촉진자를 사용하는 것이 학습에 영향을 미치는 것으로 나타났다(Azebedo et al. 2008).

simpler approaches can be effective. For example, a short training module on how to use self-regulation processes prior to engaging in online learning (Azevedo & Cromley 2004) or the use of a trained facilitator to develop self-regulation skills of online learners whilst participating in a module has been shown to impact learning (Azevedo et al. 2008).


저성취자 발견과 재교육

Identification and remediation of underachievement


모든 의학 교육자들에게 점점 더 많은 관심은 그들의 잠재력에 도달하지 못하고 있는 소수의, 그러나 중요한 학습자들이다(Hauer 등). 2009).

An increasing concern to all medical educators is the small, yet significant, number of learners who are underachieving reaching and not their potential (Hauer et al. 2009).


이러한 '스트루글러'들은 이질적인 집단이며 종종 학문적 성과와 임상적 업적 모두에 대한 문제 외에도 심리학적 문제와 사회적 문제가 복잡하게 뒤섞여 있다.

These ‘strugglers’ are a heterogeneous group and often have a complex mix of psychological and social problems in addition to problems with both academic and clinical achievements.


자율 규제 이론의 흥미로운 잠재적 적용은 임상 성과 문제의 식별 및 교정조치에 대한 체계적인 접근에 대한 자체 규제 학습 및 미시적 평가 훈련(SRL-MAT)의 사용이다(Durning et al. 2011).

An exciting potential application of selfregulation theory is the use of Self-Regulated Learningand Microanalytic Assessment Training (SRL-MAT) for the systematic approach to the identification and remediation of clinical performance problems (Durning et al. 2011).


학부형, 대학원형 의학 교육에서도 '전문성'에 대한 우려가 높아지고 있다.

There is also increasing concern about ‘professionalism’ in both undergraduate and postgraduate medical education.



Sam을 도울 방법은?

How can Sam be helped to improve his professional behaviour by the actions of his tutor?


튜터의 주요 교육 및 교정 조치는 인식된 성과와 실제 성과의 차이를 강조하는 것이다. 이는 튜터나 시뮬레이션된 환자로부터 외부 피드백을 제공함으로써 달성할 수 있지만, 보다 강력한 접근방식은 샘이 일련의 실제 또는 시뮬레이션된 상담 동안 빈번한 간격으로 환자의 비언어적 행동을 관찰하고 기록하도록 함으로써 자가 평가를 증가시키는 것이다. 그 후, 튜터는 샘을 리뷰했다. 

The main educational and remedial action of the tutor is to highlight the discrepancy between the perceived and actual performance. This can be achieved by providing external feedback from either the tutor or the simulated patient but a more powerful approach is to increase self-evaluation by ensuring that Sam observes and records the non-verbal behaviour of the patient at frequent intervals during a series of further real or simulated consultations. Subsequently, Samis reviewed by the tutor. 


그 튜터는  샘이 상담에 대한 자기 만족에 대한 점수가 떨어지고, 또한 그가 감정적인 고통을 알아차려야 할 필요성에 대해 점점 더 많이 인식하게 되었다고 지적한다. 튜터는 자기 인식의 중요성에 대해 논하고, 샘에 의해 변경된 매개변수와 특정 전략이나 기법의 사용 사이의 연결을 만든다. 이것은 샘에게 중요한 학습 경험이다. 왜냐하면 그는 이제 그의 전문적인 행동이 개인적인 통제 하에 있는 자율 규제 과정에 의존하고 있다는 것을 깨닫기 때문이다.

The tutor notes that Sam’s score for his self-satisfaction of a consultation falls and that he has also become increasingly aware of his need to notice emotional distress. The tutor discusses the importance of self-awareness and makes the link between these changed parameters and the use of specific strategies or techniques by Sam. This is an important learning experience for Sam since he now realises that his professional behaviour is dependent on self-regulation processes that are under his personal control.









 2011;33(11):875-86. doi: 10.3109/0142159X.2011.595434.

Self-regulation theoryapplications to medical educationAMEE Guide No. 58.

Author information

1
Leeds Institute of Medical Education, School of Medicine, University of Leeds, UK. j.e.sandars@leeds.ac.uk

Abstract

Self-regulation theory, as applied to medical education, describes the cyclical control of academic and clinical performance through several key processes that include goal-directed behaviour, use of specific strategies to attain goals, and the adaptation and modification to behaviours or strategies to optimise learning and performance. Extensive research across a variety of non-medical disciplines has highlighted differences in key self-regulation processes between high- and low-achieving learners and performers. Structured identification of key self-regulation processes can be used to develop specific remediation approaches that can improve performance in academic and complex psycho-motor skills. General teaching approaches that are guided by a self-regulation perspective can also enhance academic performance. Self-regulation theory offers an exciting potential for improving academic and clinical performance in medical education.

PMID:
 
22022899
 
DOI:
 
10.3109/0142159X.2011.595434
[Indexed for MEDLINE]


자기조절을 위한 단서: 미래에 대한 예측을 하기는 어렵다(Med Educ, 2017)

Cues for self-regulation: it’s difficult to make predictions, especially about the future

Jonathan S Ilgen1 & Ryan Brydges2



'자기 모니터링',  자신의 지식이나 기술이 특정 상황에서 성공하기에 적절한지에 대한 순간순간의 판단을 하는 것을 포함한다.

process called ‘self-monitoring’,1 involves making moment-by-moment judgements of whether one’s knowledge or skills are adequate to be successful in a particular situation.


'큐 활용 프레임워크'를 사용하여 단서와 자체 모니터링 판단 간의 복잡한 관계를 이해하십시오.

use a ‘cue utilisation framework’ to understand the complicated relationship between cues and self-monitoring judgements.



De Bruin 등. 단서는 최종 학습 또는 수행을 잘 예측할수도, 전혀 그렇지 못할 수도 있다. 2 따라서 예측력이 없는 단서를 사용하는 학습자는 잘못된 자기 모니터링 판단을 형성할 가능성이 있다.

De Bruin et al. define cues as being either ‘predictive’ or ‘non-predictive’ of eventual learning or performance,2 reasoning that learners using non-predictive cues are likely to form incorrect self-monitoring judgements.


큐 활용 프레임워크에 따르면, 학습자는 학습 중에 두 가지 인지 껑충 뛰기를 경험하는 것으로 생각되는데, 

  • 첫째, 학습자는 자기 모니터링 판단을 위하여 의식적이거나 무의식적으로 다양한 단서들을 처리하고, 

  • 둘째, 이러한 판단들이 학습 대상과 방법에 대한 결정에 영향을 미치도록 한다.

According to the cue utilisation framework,3 learners are thought to experience two cognitive leaps during learning: 

  • firstly, they process various cues either consciously or unconsciously in ways that shape their self-monitoring judgements, and, 

  • secondly, they allow these judgements to influence their decisions about what and how to study.


이 프레임워크에 대한 기념비적 논문은 세 가지 유형의 잠재적 단서를 설명한다. 

  • (i) 본질적 단서: 학습자료가 얼마나 쉽거나 어려울 수 있는지에 대한 학습자의 인식에서 비롯함

  • (ii) 외재적 단서: 학습 조건(예: 허용되는 연습 양)에서 비롯함

  • (iii) 기억 단서: 학습자가 실제 자료를 학습하면서 얻은 경험에서 비롯함

The seminal paper on this framework describes three types of potential cues: 

  • (i) intrinsic cues resulting from learners’ perceptions of how easy or difficult the study materials might be; 

  • (ii) extrinsic cues resulting from the conditions of learning (e.g. the amount of practice permitted), and 

  • (iii) mnemonic cues resulting from the experiences learners have while studying the actual materials.3


이러한 다양한 유형의 큐는 다양한 조합으로 다양한 자체 모니터링 판단을 이끌 것으로 생각된다. 

These different types of cue are thought to lead, in varying combinations, to different self-monitoring judgements: 


  • (i) 학습자의 선행 이론에서 비롯되는 이론 기반 판단: 학습자료에 대한 자신의 능력에 대해(예: 수학 문제를 보고서 판단의 단서를 얻는다: '나는 수학을 잘하지 못한다') 또는 학습 조건에 대해(예: 시험 전 공부할 시간이 적을 경우: '나는 벼락치기를 하면 잘 배운다')

  • (ii) 학습자가 자료를 연구하려고 시도한 후에만 생성되는 경험 기반 판단: '알고 있다는 느낌'(또는 그 결여)을 가지고 자신의 판단을 결정한다. 예를 들어 학습자는 자신이 자료를 배우고 있다고 느낌의 편의성ease이나 이전에 자료를 retrieve해본 편의성 같은 단서에 근거하여 경험에 기초한 판단을 형성할 수 있다.

  • (i) theory-based judgements that result from learners’ a priori theories about their capability with the material (e.g. seeing a maths problem may cue the judgement: ‘I’m no good at maths’) or about the learning conditions (e.g. a short period of practice before a test may cue the judgement: ‘I learn well when I cram’), and 

  • (ii) experience-based judgements that are generated only after learners have attempted to study the material and have developed a ‘sense of knowing’ (or lack thereof) that informs their judgements. A learner might form an experience-based judgement, for example, based on cues such as the ease with which she feels she is learning the material, or the ease with which she has retrieved the material previously.


단서가 생성되는 방식과 자체 모니터링 판단의 정확성을 예측하는 방법은 사람마다 다양할 수 있다.

There is potential for variability in how cues are generated and how they predict the accuracy of self-monitoring judgements


전임상 의학교육에서, 초보자란 비교적 고른 경기장에서 출발하며, 배울 내용은 비교적 예측가능하고, 학습 기대치는 비교적 일관된다. 이 설정에서 학습 과제에 대한 단서를 전향적으로 식별할 수 있으며, 그 결과로 얻은 판단을 '예측적 또는 비예측적'이라고 간주할 수 있다는 개념은 상당히 유용해 보인다.

In pre-clinical medical instruction, novices start on a relatively even playing field, the content to learn is relatively predictable, and learning expectations are relatively consistent. In this setting, the notion that cues can be identified prospectively for a learning task and that the resultant judgements can be deemed ‘predictive or ‘non-predictive’ seems quite useful.


단서는 드 브루인 외,2에 의해 발생된 단서와 유사할 수 있다.

The cues are likely to be similar to those evoked by de Bruin et al.,2


[의과대학 교육과정이 특히 less supervised되는 방향으로 전환됨을 고려한다면] 따라서 큐 활용 프레임워크는 의대생들이 기초 개념에 대한 학습을 가장 효과적으로 자율적으로 조절할 수 있는 방법에 대해서 가장 유용한 구조와 지침을 제공할 수 있다.4,5

A cue utilisation framework may thus provide useful structure and guidance for how medical students can most effectively self-regulate their learning of foundational concepts, particularly given the shift towards curricular approaches that are less supervised.4,5


우리는 AUTHENTIC 임상 환경에서 가르치는 것이 지저분해질 가능성이 있다고 믿는다.

We believe, to teaching in authentic clinical settings is likely to get messy.


이러한 상황별 및 경험적 영향의 매트릭스를 통해 학습자를 식별하고 지도하고자 하는 강사는 자신이 사용하는 단서로 추측할 것이며, INSTRUCTOR가 사용하는 단서는 연습생이 사용하는 단서와 다를 가능성이 있다.2 이 모델을 채택하려는 훈련생들은, [각각의 독특한 환자 만남에서] [서로 다른 단서의 상대적 중요성을 잘 구분하여] [학습자가 경험을 쌓는 과정에서 각 단서의 가치가 어떻게 변하는지 감시하는 것]이 성가신 일이라고 생각할 수 있다.

Instructors who seek to identify and guide learners through this matrix of context-specific and experiential influences will be guessing at the cues they themselves are using, and will be likely to use cues that differ from those of their trainees.2 Trainees who seek to employ this model may find it vexing to triage the relative importance of different cues in each unique patient encounter, and to keep tabs on how the value of each cue changes as they gain experience.


어떤 단서가 예측력이 좋은지가 더 이상 해결되지 않을 경우, 학습자가 실시간으로 '잘 했는지got it right'에 대한 신뢰할 수 있는 평가가 필요하지만, 이는 두 명의 전문가 사이에서 동의를 기대하기 어려운 환경에서는 실현 가능하지 않다.

Further untangling which cues are predictive or non-predictive would require reliable assessment of whether learners ‘got it right’ in real time, which is unlikely to be feasible in settings in which even two experts may not agree,


드 브루인 등이 설명한 것과 같이, 전통적인 교육환경에서 나타나는 단서는 그 영향이 학습자를 '정답'으로 이끌 때 '예측적'으로 간주된다.2 그러나 어떤 것이 정답인지가 덜 명확한 상황에서는, 교육자가 추론에 대한 동일한(유일한) 접근법을 강조할 경우, 우리는 의도하지 않게 학습 과정에서 부적응maladaptive 행동을 강화할 수 있다.

Cues in more traditional instructional settings such as those described by de Bruin et al. are deemed ‘predictive’ when their influences lead learners towards ‘the right answer’.2 Yet if educators emphasise the same approach to reasoning in settings in which answers are less clear, we may unintentionally reinforce maladaptive behaviours in our learners.


예를 들어 학습자가 임상 신드롬에 대한 진단 "레이블링"이 정확성에 해당한다고 인식하는 경우, 학습자를 진단-중심 판단으로 이끄는 단서를 강화할 것이다. 

For example, if learners perceive that ‘accuracy’ amounts to ‘labelling’ clinical syndromes with a diagnosis ,6 we will reinforce cues that lead them towards a diagnosis-centric judgement 


이렇듯 임상 추론에서 '정답-중심' 개념화를 추진한다는 단서를 강화하면, 우리가 추구하려는 다른 가치들, 예를 들어 비용-의식적, 환자-중심적 의사결정에 역행하는 판단을 촉진할 수 있다. 

 Reinforcing cues that drive such an ‘answer-centric’ conceptualisation of clinical reasoning may promote judgements that run counter to other values we espouse, such as cost-conscious,8 patient-centred9 decision making. 


만약 의학교육에서 일상의 의료행위(어떻게, 언제 도움을 청할 것인가를 포함해서)에서 해결해야 할 문제를 정의한다고 하면, 자연주의 연구는 초심자와 전문가들이 그들이 접하는 단서들을 어떻게 해석하고 관리하는 것처럼 보이는지를 탐구하기 위해 구조화된 관찰 또는 think-aloud 프로토콜을 사용할 수 있다. 

Naturalistic studies might use structured observations or think-aloud protocols to explore how novices and experts seem to interpret and manage the cues they encounter when defining the problem(s) they are trying to solve in daily practice, including how and when they seek help.10


개인들이 안전하고, 협력적이며, 환자 중심적인 판단을 할 수 있도록 하는 것을 목표로 한다면, 우리는 이러한 모호한 의사결정 환경에서 '결과'보다는 다음에 초점을 맞춰야 한다고 생각한다.

  • 어떻게 학습자가 자기 판단의 '결과'를 스스로 감시하는지 (즉, '내가 그 치료를 했는데, 그 다음에무엇을 눈여겨봐야 하는가?')

  • 어떻게 학습자가 자신의 행동과 판단의 결과를 사용해서 문제에 대해 생각하는 방식을 다듬는지 (즉, '내가 그 약을 먹었을 때 내 환자가 더 아팠다. 그것이 그의 병에 대해 내게 말해주는 것은 무엇인가?')

in aiming to ensure that individuals make safe, collaborative, patient-centred judgements, 

we suggest that ‘outcomes’ in these ambiguous decision-making settings might instead focus on 

  • how they self-monitor the ‘results’ of their judgements
    (i.e. ‘Now that I’ve given that treatment, what am I looking for?’), and 

  • how they use the results from their actions and judgements to refine how they think about the problem
    (i.e. ‘My patient got sicker when I gave him that medication; what does that tell me about his illness?’).




2 de Bruin ABH, Dunlosky J, Cavalcanti RB. Monitoring and regulation of learning in medical education: the need for predictive cues. Med Educ 2017;51 (6):575–84.





 2017 Jun;51(6):566-568. doi: 10.1111/medu.13332.

Cues for self-regulationit's difficult to make predictions, especially about the future.

Author information

1
Seattle, Washington, USA.
2
Toronto, Ontario, Canada.
PMID:
 
28488299
 
DOI:
 
10.1111/medu.13332


개념지도와 목표설정을 활용하여 PBL에서 SRL 개발하기 (Med Teach, 2016)

Using concept maps and goal-setting to support the development of self-regulated learning in a problem-based learning curriculum 

LISA THOMAS1, SUE BENNETT1 & LORI LOCKYER2

1University of Wollongong, Australia 2Macquarie University and Science of Learning Research Centre, Australia






도입

Introduction


문제 기반 학습(PBL)은 학습에 대한 독립적인 접근을 장려하는 하나의 전략이다. 그것은 학교 졸업생들이 그들의 실습에서 스스로 조절하는 학습자가 되어야 하는 필요성에 대응하여 의학적으로 개발되었다(Barrows 1986).

Problem-based learning (PBL) is one strategy that encourages an independent approach to learning. It was developed medical in response to the need for school graduates to ongoing be self-regulated learners in their practice (Barrows 1986).


PBL의 선구자인, 하워드 배로우스는 PBL의 기원이 교육 심리학이나 인지 과학에 대한 이해라기보다는 실용적인 목적이었다고 인정했다.

By his own admission, the pioneer of PBL, Howard Barrows described its origins as being pragmatic rather than born from an understanding of educational psychology or cognitive science (Barrows 2000).


PBL(영어 & Kitsantas 2013)에서는 SRL(Self-regulated Learning) 기술이 성공을 위해 중요하다. SRL기술을 개발하고 적용하는 학생들이 PBL(Blumberg 2000; Hmelo & Lin 2000)에 더 효과적으로 참여한다는 연구 결과가 나왔다.

Skills in self-regulated learning (SRL) are important for success in PBL (English & Kitsantas 2013). Studies have shown that students who develop and apply skills in SRL more effectively engage in PBL (Blumberg 2000; Hmelo & Lin 2000).


자기조절학습은 정규 교육을 넘어 스스로의 학습을 시작하고 지시하는 능력을 포함하며, 자신의 학습 과정에 대한 통제를 요구한다.

Self-regulated learning involves the ability to initiate and direct learning beyond formal education, requiring control over one’s own learning processes.


대학원 수준에서도 많은 학습자들은 자신의 SRL 프로세스를 서포트하는 훈련으로부터 이익을 얻을 수 있다(Sandars & Clearary 2011).

Many learners, even at the postgraduate level can benefit from specific training to support their SRL processes (Sandars & Cleary 2011).


PBL과 처음 접촉할 때 학습자가 유의해야 할 새로운 정보가 상당히 많이 있다. 종종 PBL 커리큘럼은 SRL의 개발에 명시적으로 초점을 맞추지 않는다(Moust et al. 2005). 학생들은 SRL에 필요한 기술을 이해함에 있어, 전통적인 접근 방식에서 PBL로 전환하는 과정에서 고군분투할 수 있다. PBL 의학 커리큘럼으로 전환하는 동안 학생들의 경험에 대한 사례 연구에서 수집된 증거는 모든 학생들이 자동적으로 PBL에 필요한 SRL 기술을 습득하지 못할 수 있으며, 습득하는 경우에도 불필요하게 많은 스트레스를 받고 있음을 시사한다(Evensen et al. 2001; Loyd-Jones & Hak 2004).

There is a significant amount of new information for a learner to attend to when engaging with PBL for the first time. Often, PBL curricula do not explicitly focus on the development of SRL (Moust et al. 2005). Students can struggle in the transition from more traditional approaches to PBL as they attempt to understand the skills required. Evidence gathered from case studies of student experiences during the transition to a PBL medical curriculum suggests that not all students automatically acquire the necessary SRL skills for PBL, or do so through a great deal of unnecessary stress (Evensen et al. 2001; Lloyd-Jones & Hak 2004).


방법

Methods


구체적 연구질문

The specific questions guiding the study were:


(1) 학생들은 PBL 커리큘럼에 통합된 SRL 활동에 어떻게 참여하고 있는가?

(2) PBL 커리큘럼에 통합된 SRL 활동에 참여하는 학생에 의해 달성되는 결과는 무엇인가?


(1) How do students engage in SRL activities that are integrated into a PBL curriculum?

(2) What outcomes are achieved by students who participate in SRL activities that are integrated into a PBL curriculum?


학습스킬 프로그램 설계

Design of the learning skills programme


그림 1은 아래에 상세히 기술된 프로그램의 단계를 보여준다.

Figure 1 illustrates the steps in the programme, which is then described in detail below.


학습 능력 프로그램은 PBL 커리큘럼 활동에 포함되고 2주일에 걸쳐 반복되는 4개의 학습 기술 활동 세션으로 구성되었다.

The learning skills programme consisted of four learning skills activity sessions, embedded into PBL curriculum activities and repeated over two fortnightly cycles.


학습스킬활동 1

Learning skills activity 1


입문 워크숍이 열렸다. 여기에는 학생들에게 PBL에 대한 오리엔테이션을 제공하는 강의, 의과대학의 커리큘럼 설계의 근거, 그리고 이러한 맥락에서 효과적인 학습 기술의 중요성이 포함되었다. 2학년 학생들이 초대되어 첫 해에 직면했던 학습 과제와 어떻게 극복했는지에 대해 이야기했다. 그 후 학습 능력 프로그램은 학생들에게 학습에 대한 선택적optional 지원으로 제공되었다.

An introductory workshop was held. This included a lecture in which students were provided with an orientation to PBL, the rationale for the curriculum design in the medical school and the importance of effective learning skills in this context. Second-year students were invited to talk about the learning challenges they faced in first year and how they overcame them. The learning skills programme was then presented to students as an optional support for their learning.


학습스킬활동 2, 3, 4

Learning skills activities 2, 3 and 4


활동 2와 3은 '학습 및 모니터링 계획'의 SRL 단계에 맞춘다. 이를 위해 학생들은 개념 지도를 만들고 학습 목표를 설정하기 위해 지원되었다. 개념 맵은 개념들 사이의 의미 있는 관계를 증명하기 위해 연결 선과 함께 주요 개념의 그래픽 배치를 통해 지식을 표현하기 위해 일반적으로 사용된다(Novakai & Gowin 1984). 이 이론은 의미 있는 학습을 촉진하기 위한 강력한 도구로부터 도출된 정보-조직 전략을 할 수 있다(Van Zele 등). 2004). 지도를 구성하는 동안, 학습자들은 지식에 관여하고 중심적인 생각들 사이의 의미와 관계를 확인하면서 이해의 표현representation을 만든다(Heinz-Fry & Novak 1990). 학생들이 미래 학습을 위해 반복적으로 목표를 정할 때 현재 지식을 식별하는 데 이 프로그램의 개념 지도를 사용했다. 본 연구의 학생 생성 개념 지도의 예는 온라인 보충 자료에서 확인할 수 있다.

Activities 2 and 3 aligned to the SRL phases of ‘‘Planning for learning and Monitoring learning’’. For these, students were supported to create concept maps and set learning goals. Concept maps are commonly used to represent knowledge through a graphical arrangement of key concepts with connecting lines to demonstrate meaningful relationships between concepts (Novak & Gowin 1984). This theory can information–organisation strategy derived from be a powerful tool to promote meaningful learning (Van Zele et al. 2004). While constructing a map, learners engage with knowledge and create a representation of their understanding as they identify the meanings and relationships between central ideas (Heinz-Fry & Novak 1990). were used help Concept maps in this programme to students identify their current knowledge as they iteratively set goals for future learning. An example of a student-generated concept map from this study can be found in the Supplementary material online.


학생들은 또한 학습 능력 프로그램에서 SMART(특정, 측정 가능, 달성 가능, 관련, 시기적절하게) 목표를 개발할 수 있도록 지원받았다. SMART 지침은 보건과학, 경영관리 및 심리학을 포함한 많은 분야에서의 목표 설정에 효과적임이 입증되었다(Barclay 2002; Monhan et al. 2005; Shahin & Mahbod 2007). SMART 목표는 학생들이 그들의 학습을 계획하고 관찰하는 것을 돕기 위해 이 프로그램에서 사용되었다. 본 연구의 SMART 목표의 예는 온라인 보충 자료에서 확인할 수 있다.

Students were also supported to develop SMART (specific, measureable, attainable, relevant, timely) goals in the learning skills programme. The SMART guidelines have been shown to be effective for goal-setting in many discipline areas, including health sciences, business management and psychology (Barclay 2002; Monaghan et al. 2005; Shahin & Mahbod 2007). SMART goals were used in this programme to help students to plan for and monitor their learning. An example of a student-generated SMART goal from this study can be found in the Supplementary materials online.


활동 4는 '학습에 대한 반성'의 SRL 단계에 맞춘다. 참가자들은 그들의 접근방법의 효과와 지난 2주 동안 얻은 지식과 같은 학습 측면에 대해 반성하도록 요청 받았다.

Activity 4 aligned to the SRL phase of ‘‘Reflecting on learning’’. Participants were prompted to reflect on aspects of their learning such as the efficacy of their approaches and the knowledge gained over the previous two weeks.




연구 설계
Research design


자료 수집으로는 MSLQ, 개별 인터뷰, 작업 샘플이 포함되었다.

The range of sources included the for Motivated Strategies Learning Questionnaire (MSLQ) (Pintrich et al. 1991), individual interviews and work samples.


자료 수집

Data collection


    • 참가자들은 또한 프로그램 종료 시 60분 동안 개인별로 반구조화 인터뷰에 초대되었다. 그 인터뷰는 참가자들의 학습 기술 프로그램에 대한 참여와 인지된 결과를 탐구했다. 

    • 추가 데이터는 참가자의 개념 지도와 학습 기술 프로그램의 산물로 작성되고 resource book에 기록된 목표로부터 나왔다. 문서를 유일한 데이터 출처로 사용하게 되면, 제한된 이해만 제공할 수 있지만, 다른 데이터와 함께 분석할 경우, 경험 및 프로세스를 이해하는 데 귀중한 추가사항을 증명할 수 있다(Flick 2006년 클릭).

    • Participants were also invited to a 60-min individual, semistructured interview at the end of the programme. The interview explored participants’ engagement with, and perceived outcomes of the learning skills programme. 

    • Further data came from the participants’ concept maps and goals created as products of the learning skills programme and recorded in their resource books. Used as the only source of data, documents may offer only a limited understanding, but when analysed along with other data, they can prove a valuable addition to understanding experiences and processes (Flick 2006).


자료 분석

Data analysis


MSLQ 사전 테스트 및 사후 테스트 결과는 자체 보고된 인지 및 인지 전략의 변화를 확인하는 것과 비교되었다. 인터뷰의 질적 분석과 자원 서적의 전체 내용 분석도 실시되었다. 각 정성적 소스에 대해 코딩 프레임워크가 개발되었고 코드의 패턴이 분석되어 더 넓은 테마가 드러났다. 개념 맵은 시도, 기본, 중간 또는 고급 중 하나로 코드화되었다. 목표 설정 작업 샘플은 시도, 콘텐츠 포커스, 학습 전략 포커스 또는 콘텐츠 및 학습 전략 포커스로 코드화되었다.

The MSLQ pre-test and post-test results were compared to ascertain changes in self-reported cognitive and metacognitive strategy. Qualitative analysis of the interviews and the full contents of the resource books was also conducted. For each qualitative source a coding framework was developed and patterns in codes were analysed to reveal broader themes. Concept maps were coded as either: no attempt, basic, intermediate or advanced. Goal setting work samples were coded into: no attempt, content focus, learning strategy focus or content and learning strategy focus.



결과

Results


7가지 사례연구의 세부사항을 모두 제시하는 것은 이 글의 범위를 벗어난다. 결과의 간결한 개요를 보고하기 위해, 보충표 1(온라인)은 7가지 사례 모두에서 얻은 결과를 요약한다. 이 기사에서는 여러 데이터 소스가 어떻게 연구 결과를 알리기 위해 사용되었는지를 보여 주는 한 가지 사례를 자세히 제시한다.

It is beyond the scope of this article to present the details of all seven case studies. For the purpose of reporting a succinct overview of the results, Supplementary Table 1 (online) summarises the findings from all seven cases. Within this article, one case is presented in detail to illustrate how the various data sources were used to inform the findings.


보충표 1은 학습 기술 프로그램에 참여하는 활동과 결과에 대한 참여를 요약한다.

Supplementary Table 1 summarises the engagement with activities and outcomes of participation in the learning skills programme.


Case study – Participant 7


고찰

Discussion


PBL 커리큘럼에서 공부하는 것은 학생들이 효과적인 자기조절적 학습자가 되도록 요구한다(Blumberg 2000; Hmelo & Lin 2000; English & Kitsantas 2013). 자기조절적 학습자들은 학습을 선동instigating하고 유지하는 과정을 통제하는 사람들이다(Zimmerman 1989). 전통적으로 PBL은 SRL의 개발을 명시적으로 지원하도록 설계되지 않았다(Moust et al. 2005). 그러나, SRL 지원을 커리큘럼에 통합함으로써 PBL을 향상시킬 수 있다는 믿음이 있다(Sandars & Clearary 2011).

Studying in a PBL curriculum requires students to become effective self-regulated learners (Blumberg 2000; Hmelo & Lin 2000; English & Kitsantas 2013). Such learners are those who are in control of the processes of instigating and maintaining learning (Zimmerman 1989). Traditionally, PBL has not been designed to explicitly support the development of SRL (Moust et al. 2005). However, there is belief that PBL can be enhanced by integrating SRL support into the curriculum (Sandars & Cleary 2011).


학습자가 생성한 개념 매핑은 본 연구에서 지식 습득을 위한 인지 전략으로 도입되었다. 데이터 분석을 통해 학습자가 개인적 선호도에 전략을 적용함에 따라 개념 매핑이 SRL 기술의 개발을 지원한다는 것을 알 수 있었. 학습자가 생성한 개념 매핑 활동은 학습 계획, 모니터링 및 수정 과정에 대한 활동에 포함되었기 때문에 SRL 프로세스에 대한 메타인지적 지원metacognitive support을 제공했다. 결과적으로, 학습자들은 그들의 학습 요구에 가장 잘 맞는 전략을 채택하게 되었고, 나아진 메타인지적 기능을 보여주었다. 이것은 PBL 커리큘럼에서 개념 매핑에 적극적으로 참여함으로써 더 높은 메타인지 기능 개발을 지원할 수 있음을 시사한다.

Learner-generated concept mapping was introduced as a cognitive strategy for knowledge acquisition in this study. Analysis of the data showed that concept mapping supported the development of SRL skills as learners adapted the strategy to their personal preferences. The learner-generated concept mapping activities provided a metacognitive support for SRL processes, as they were embedded in the activities for the processes of planning, monitoring and modifying learning. In turn, learners demonstrated greater metacognitive functioning as they adapted the strategy to best suit their learning needs. This suggests that active engagement with concept mapping, in a PBL curriculum, supports the development of higher metacognitive functioning.


효과적인 SRL 기술의 향상은 그러한 SRL기술의 향상을 명시적으로 지원하는 것을 목표로 하는 프로그램에 참여한 결과라는 생각을 뒷받침한다. 사례 연구에서 학습자의 MSLQ 점수는 사전 시험과 사후 시험 사이의 세부, 조직, 비판적 사고 및 인지적 자기 규제에 대한 점수의 증가를 보여주었다. MSLQ 설계자가 제안한 바와 같이, 그러한 결과는 다른 인지 및 인지 전략을 사용하는 학생들의 변화의 증거다(Pintrich et al. 1991).

The findings of the study reported in this article support the idea that an increase in effective SRL skills is an outcome of engagement with a programme that aims to explicitly support such skills. The MSLQ scores of the learners in the case studies showed increases in the scores for elaboration, organisation, critical thinking and metacognitive self-regulation between the preand post-test. As suggested by the designers of the MSLQ, such results are evidence of changes to students’ uses of different cognitive and metacognitive strategies (Pintrich et al. 1991).



결론

Conclusion


이 연구의 결과는 SRL 전략에 대한 통합, 명시적 및 상황별 지원이 PBL 컨텍스트로 전환될 때 학생 학습을 개선할 수 있다는 것을 보여준다. 그러한 지원에 참여하는 학습자를 위한 결과에는 인지적 및 인지적 기능의 증가와 학습에 대한 접근법에 대한 신뢰도가 증가가 포함된다. 본 연구의 의미는 새로운 학습 맥락을 위한 효과적인 학습 전략을 이해하고 구현할 수 있도록 학습자를 지원하는 활동을 통합하는 PBL로의 전환 전략의 필요성을 지적한다.

The findings of this study show that integrated, explicit and contextualised support for SRL strategies may improve student learning on transition to the PBL context. Outcomes for learners who engage with such support include increases in cognitive and metacognitive functioning and increases in confidence with their approaches to learning. The implications of this research point to the need for a strategy for transitioning to PBL that incorporates activities to support learners to understand and implement effective learning strategies for the new learning context.





 2016 Sep;38(9):930-5. doi: 10.3109/0142159X.2015.1132408. Epub 2016 Jan 28.

Using concept maps and goal-setting to support the development of self-regulated learning in a problem-based learning curriculum.

Author information

1
a University of Wollongong , Australia.
2
b Macquarie University and Science of Learning Research Centre , Australia.

Abstract

Problem-based learning (PBL) in medical education focuses on preparing independent learners for continuing, self-directed, professional development beyond the classroom. Skills in self-regulated learning (SRL) are important for success in PBL and ongoing professional practice. However, the development of SRL skills is often left to chance. This study presents the investigated outcomes for students when support for the development of SRL was embedded in a PBL medical curriculum. This investigation involved design, delivery and testing of SRL support, embedded into the first phase of a four-year, graduate-entry MBBS degree. The intervention included concept mapping and goal-setting activities through iterative processes of planning, monitoring and reflecting on learning. A mixed-methods approach was used to collect data from seven students to develop case studies of engagement with, and outcomes from, the SRL support. The findings indicate that students who actively engaged with support for SRL demonstrated increases in cognitive and metacognitive functioning. Students also reported a greater sense of confidence in and control over their approaches to learning in PBL. This study advances understanding about how the development of SRL can be integrated into PBL.

PMID:
 
26822396
 
DOI:
 
10.3109/0142159X.2015.1132408


임상추론과제 중 SRL의 미세분석평가: 최근의 발전, 다음 단계(Acad Med, 2016)

Microanalytic Assessment of Self-Regulated Learning During Clinical Reasoning Tasks: Recent Developments and Next Steps

Timothy J. Cleary, PhD, Steven J. Durning, MD, PhD, and Anthony R. Artino Jr, PhD




자체 규제 학습-마이크로 분석적 평가 및 훈련(SRL-MAT)은 평가와 개입 및 교정조치의 연계성을 높이기 위해 개발된 평가-개입 프레임워크이다.2 

Self-Regulated Learning–Microanalytic Assessment and Training (SRL-MAT) is an assessment-to-intervention framework that was developed to enhance the ability of medical educators to link assessment to intervention and remediation.2 


SRL- MAT는 진단학적으로 풍부한 프로세스 지향 데이터 수집으로서, trainee가 임상 활동을 수행할 때 다음의 정보를 수집한다.

  • 전략적 프로세스(예: 임상 작업 절차에 집중) 

  • 조절 프로세스(예: 작업 방법 계획) 

  • 동기부여 프로세스(예: 직무 수행에 대한 자신감 증가).

SRL- MAT underscores the value of gathering diagnostically rich, process-oriented data about trainees’ 
  • strategic processes (e.g., focusing on clinical task procedures), 

  • regulatory processes (e.g., planning how to do a task), and 

  • motivational processes (e.g., increasing confidence for performing a task) as they perform clinical activities.


SRL과 의료교육과의 관련성 개요

Overview of SRL and Its Relevance to Medical Education


SRL은 개인이 목표 지향적 활동을 할 때 행동, 인지, 영향 및/또는 환경에 대한 통제력을 발휘하는 다차원적 과정이다.5

SRL is a multidimensional process through which individuals exert control over their behaviors, cognitions, affect, and/or the environment as they engage in goal-directed activities.5


예를 들어, 의학 교육 이외의 연구에서는, 학생들이 매우 전략적인 방식으로 학습 활동에 접근하도록 학습활동을 하도록 교육받거나(즉, 프로세스 목표 설정), 과제 완료 시 퍼포먼스나 행동을 추적keep track하도록 교육받을 경우, 더 높은 수준의 성취도를 보일 것이라고 말한다. 또한 이들은 학습에 더 많은 자신감과 관심을 보일 것이다. 반대로 성과 결과에 초점을 맞추거나 학습 전략의 사용을 모니터링하지 않는 사람들은 덜 그러하다.

For example, in research outside medical education, there is evidence showing that students who are taught to approach learning activities in a highly strategic way (i.e., to set process goals) and to keep track of their performance or behaviors during task completion typically will display higher levels of achievement and will exhibit more confidence and interest in learning than those who focus on performance outcomes or who do not monitor their use of learning strategies.8


의료 교육 연구자들은 SRL 원칙 3,9,10에 대한 관심을 보여 왔으며, 일부는 SRL을 "의학교육과 의료행위를 정의하는 요소"라고 묘사했다.9(p78)

Medical education researchers have been showing increased interest in SRL principles,3,9,10 with some describing SRL as “a defining element of medical education and practice.”9(p78)


요컨대, 여러 분야에 걸친 근거에 따르면 학습을 더 자기 주도적이고 전략적으로 하도록 교육받은 학생들이 종종 가장 잘 수행한다는 것을 보여준다.

In short, converging evidence across different fields of study has shown that students who are taught to become more self-directed and strategic in their approaches to learning will often perform optimally.


그림 1에서 SRL은 세 가지 뚜렷하지만 관련된 단계, 즉 선행(전), 성과(중략), 자기 성찰(후)로 특징지어지는 주기적 피드백 루프로 가장 잘 간주된다.5

in Figure 1, SRL is best thought of as a cyclical feedback loop characterized by three distinct but related phases: forethought (before), performance (during), and self-reflection (after).5



SRL 마이크로 분석 방법론 개요

Overview of SRL Microanalytic Methodology


지금까지 많은 연구들이 임상 추론 과제에 참여하면서 의료 훈련생들의 사전 생각 및 성과 단계 프로세스를 평가하기 위해 SRL 미세 분석을 사용하는 데 초점을 맞추었다(표 1 참조).

Much of our research to date has focused on using SRL microanalysis to assess medical trainees’ forethought and performance phase processes as they engage in clinical reasoning tasks (see Table 1 )


SRL 미세분석은 특히 세 단계의 주기적 피드백 모델에 포함된 복수의 조절프로세스를 평가하도록 설계되었다. 미세분석은 구조화된 면접을 사용하며, "Trainee가 authentic한 활동을 하는 과정에서 이뤄지는 다양한 단계를 대상으로 맥락-특이적 질문을 하는 전략적, 조화적 계획"이다.

SRL microanalysis is specifically designed to assess multiple regulatory processes embedded within the three-phase cyclical feedback model . Microanalysis uses a structured interview approach that involves a “strategic, coordinated plan of administering context-specific questions targeting multiple cyclical phase processes as trainees engage in authentic activities.”12(p4)



두 가지 핵심 특징

two key characteristics


  • 첫째, 마이크로 분석 질문은 Phase-특이적 SRL 프로세스의 이론적 정의에 기초하며, 대부분의 질문은 자유 응답 또는 개방형 형식을 사용한다. 미시적 질문은 과제를 하는 중 특정 순간에 개인이 표시하는 의식적 SRL 프로세스를 포착하도록 설계된다(표 1 참조). 

  • 둘째, 각 단계별 질문(예고, 수행, 자기 성찰)은 대상 업무(즉, 전, 중, 후)의 시간적 치수와 직접 일치한다.

  • First, the development of microanalytic questions is based on theoretical definitions of the phase-specific SRL processes, with most questions using a free-response or open- ended format. Microanalytic questions are designed to capture the conscious SRL processes exhibited by individuals in a particular moment during task completion (see Table 1). 

  • Second, questions specific to each phase (i.e., forethought, performance, self-reflection) are directly aligned with the temporal dimensions of the target task (i.e., before, during, and after).






SRL 미세분석을 임상추론과제에 적용하기

Using SRL Microanalysis During Clinical Reasoning Tasks


SRL- MAT 프레임워크의 궁극적인 목표는 의료 교육자와 트레이너에게 의료 훈련이나 실천에 어려움을 겪고 있는 개인에게 피드백과 교정조치의 제공을 안내하는 데 사용할 수 있는 데이터를 제공하는 것이지만, 우리의 초기 연구는 특별히 평가 요소인 SRL 미세 분석에 초점을 맞추고 있다.

Although the ultimate goal of the SRL- MAT framework is to provide medical educators and trainers with data that can be used to guide the provision of feedback and remediation to individuals struggling in medical training or practice, our initial research has focused specifically on the assessment component, SRL microanalysis.


중요한 발견은 많은 학생들이 임상 과제를 완료하기 위한 일반적이거나 비전략적인 계획을 전달했지만, 임상 추론의 [핵심 과정(예: 증상 식별, 우선 순위 지정 및 통합, 진단 비교 및 대조)에 초점을 맞춘 전략적 계획]을 보여준 학생들은 더 높은 점수를 받는 경향이 있다는 것이다. 임상 추론 과정 및 장기 결과에 대한 높은 점수(예: 미국 의료면허 심사 단계 1 및 국립 의료위원회 내과 과목 시험)에서.3

An important finding was that although many students conveyed general or nonstrategic plans for completing the clinical task, students who exhibited strategic plans that focused on the key processes of clinical reasoning (e.g., identifying, prioritizing, and integrating symptoms; comparing and contrasting diagnoses) tended to exhibit higher grades in a clinical reasoning course and higher scores in longer-term outcomes, such as the U.S. Medical Licensing Examination Step 1 and the National Board of Medical Examiners internal medicine subject exam.3


이 장기 프로젝트가 진행 중이지만, 우리의 초기 분석은 학생들의 자기 성과 평가의 정확성이 (일반적으로 전문가들이 하는 방식과 비교했을 때 얼마나 잘했는지를) clinical encounter의 어떤 측면에 대해 평가하느냐에 따라 다르다는 것을 보여주었다.13 구체적으로, 학생들은 자신을 과대평가할 가능성이 높았고, 자기평가 중에서도 신체진찰보다는 병력청취에 대한 자기평가가 덜 정확했다.

Although this long-term project is ongoing, our initial analyses have revealed that the accuracy of students’ self-evaluations of performance—that is, how well they think they did compared with how experts would typically do— varied across the different aspects of the clinical encounter.13 Specifically, students were more likely to overestimate and to be generally less accurate in their self- evaluations of performance while taking a patient history than while completing a physical exam.


특히, 환자 병력청취 기술을 과대평가하는 학생이 자신의 신체진찰 능력도 과대평가할 가능성이 높지만, 특정 subtask에서의 자기평가의 전반적 부정확성(과대평가든 과소평가든)이 다른 subtask에서의 부정확성을 예측하지는 않았다.

Notably, we also found that students who overestimated their patient history skills were also likely to overestimate their physical exam skills, but that the overall level of inaccuracy (whether overestimated or underestimated) on one subtask did not predict the level of inaccuracy on the other subtask.


마지막으로, 우리는 두 개의 subtask에서, 그들의 성과를 과대평가한 학생들은 자신을 과소평가한 학생보다 [적절한 질문을 하는 능력]과 [필요한 신체 검사를 하는 능력]에서 효율성이 낮았고, 과제수행on-task에 시간을 덜 쏟았음을 확인했다.

Finally, we found that students who overestimated their performance on the two subtasks were less efficient in asking appropriate questions and conducting the required physical exam and spent less time on-task than students who underestimated their performance.


이러한 결과는 예비적이기는 하지만 임상 작업 중 자신의 성과를 정확하게 판단하지 않는 임상의전 의대생들은 자기 평가에 더 정확한 학생들보다 학습과 관련된 참여 행동을 보일 가능성이 적다는 것을 시사한다.

Although preliminary, these results suggest that preclinical medical students who do not accurately judge their performance during clinical tasks are less likely to display engagement behaviors related to learning than students who are more accurate in their self-evaluations.


함의, 미래 방향

Implications and Future Directions


함의

Implications


우리는 SRL 마이크로 분석 프로토콜이 다양한 학생 결과와 연계된 상황별 프로세스 지향 정보를 생성한다는 것을 발견했다. 구체적으로, 연습생들이 임상 과제에 접근하는 전략적 사고의 질은 그들의 성취도 및 수행능력 성과에 대한 중요한 예측 변수다.

We have found that SRL microanalytic protocols generate context-specific, process-oriented information that is linked to various student outcomes. Specifically, the quality of the strategic thinking with which trainees approach clinical tasks is an important predictor of their achievement and performance outcomes.


둘째, i-human 환자 시스템에 포함된 교정 조치

Second, the calibration measures embedded within the i-Human Patients system


우리는 가상 환자의 환자 기록과 신체검사 하위 작업에서 학생들의 자기 성과 평가(즉, 종종 그들의 기술을 과대평가하는 경우)에 어느 정도 안정성이 있다는 것을 발견했지만, 학생들은 자신의 병력청취 기술을 판단할 때 전반적으로 더 큰 부정확성을 보였다.13 따라서 calibration 데이터를 활용하여 의학교육자가 복잡한 임상 과제의 서로 다른 부분에 걸쳐 [학생의 능력에 대한 인식의 부정확성]을 확인할 수 있도록 도와줄 수 있다.

we found that there was some stability in students’ self-evaluations of performance—that is, they often overestimated their skills—across the patient history and physical exam subtasks of the virtual patient encounters, but students showed an overall greater level of inaccuracy when judging their patient history skills.13 Thus, calibration data can help medical educators identify inaccuracies in students’ perceptions of capability across different parts of complex clinical tasks.


이 정보는 두 가지 도움이 된다. 

    • 첫째, 우선 감독자가 자신의 기술 수준이나 직무 요구의 특성을 가장 잘 모르는 학생(즉, 직무 전반에 걸쳐 잘못된 교정을 보인 학생)을 식별할 수 있게 해준다. 

    • 둘째로, 이 정보는 왜 불치가 나타났는지, 그리고 그들이 무엇을 의미할 수 있는지에 대한 성찰적 대화에 학생들을 참여시키기 위한 맥락을 제공할 것이다. 감독관은 "당신은 병력청취를 잘 했다고 했지만 사실은 그렇지 않았다. 실적과 실적 예측이 엇갈린 이유는 무엇이라고 보십니까?"와 같이 물어볼 수 있다. 

This information would 

    • first enable a supervisor to identify students who are most unaware of their skill levels or the nature of the task demands (i.e., those students who displayed poor calibration across tasks). 

    • Second, this information would provide a context for engaging students in reflective conversations about why the discrepancies emerged and what they might mean. A supervisor could ask, “You indicated that you did well on the patient history but in fact you did not. Why do you think there was a discrepancy between your performance and how you predicted that you would perform?”


마지막으로, 의료 교육자가 SRL 마이크로 분석 또는 다른 SRL 평가 도구를 진단 및 피드백 메커니즘으로 사용하려면, SRL 이론과 전형적으로 포함되는 특정 프로세스에 대한 기초 지식을 개발해야 한다(예: 목표 설정, 전략적 계획, 자기 효용성, 원인 속성).

Finally, for medical educators to use SRL microanalysis or another SRL assessment tool as a diagnostic and feedback mechanism, they must develop a foundational knowledge of SRL theory and the specific processes that are typically included (e.g., goal setting, strategic planning, self-efficacy, causal attributions).


미래 방향

Future directions


SRL 미세분석은 형태 형성 및 진단 평가 도구로서의 잠재적 효용성을 가지고 있지만, 이렇게 사용되려면 해야 할 일이 많다. SRL 미세 분석을 임상 과제에 적용함에 있어 진전이 있었으나, 전체 조절 범위 또는 주기를 알아보기 위해서는 더 많은 노력이 필요하다, 

    • 접근하는 방식(예측 단계), 

    • 전략적으로 관여하는 방식(성과 단계), 

    • 평가하는 방식(자기반영 단계)

임상 추론 이외의 과제에 대해 적용하기 위해서도 노력이 필요하다.

Although SRL microanalysis has potential utility as a formative and diagnostic assessment tool, there is much more work to be done regarding its use in this manner. Progress has been made in applying SRL microanalysis to clinical tasks,3,4,12 but greater efforts should be made to examine the full range or cycle of regulation—that is, how individuals approach (forethought phase), strategically engage in (performance phase), and evaluate (self-reflection phase) their clinical task performance—and to apply this assessment methodology to tasks other than clinical reasoning.


또한, 개인의 의료 훈련 또는 실습 중 어느 지점에서라도 underperformance이 발생할 수 있으므로, 선임 의료 훈련생과 함께 SRL 미세분석 방법론의 사용을 탐구하는 것이 적절할 것이다.

Further, because underperformance can occur at any point during an individual’s medical training or practice, it would be relevant to explore the use of SRL microanalytic methodology with senior medical trainees and perhaps even practicing physicians.





 2016 Nov;91(11):1516-1521.

Microanalytic Assessment of Self-Regulated Learning During Clinical Reasoning TasksRecentDevelopments and Next Steps.

Author information

1
T.J. Cleary is associate professor, Graduate School of Applied and Professional Psychology, Rutgers, the State University of New Jersey, Piscataway, New Jersey. S.J. Durning is professor, Department of Medicine and Pathology, Uniformed Services University of the Health Sciences, Bethesda, Maryland. A.R. Artino Jr is professor, Department of Medicine, Uniformed Services University of the Health Sciences, Bethesda, Maryland.

Abstract

Helping medical educators obtain and use assessment data to assist medical students, residents, and physicians in reducing diagnostic errors and other forms of ineffective clinical practice is of critical importance. Self-Regulated Learning-Microanalytic Assessment and Training is an assessment-to-intervention framework designed to address this need by generating data about trainees' strategic processes (e.g., focusing on clinical task procedures), regulatory processes (e.g., planning how to do a task), and motivational processes (e.g., increasing confidence for performing a task) as they perform clinical activities. In this article, the authors review several studies that have used an innovative assessment approach, called self-regulated learning (SRL) microanalysis, to generate data about how trainees regulate their thinking and actions during clinical reasoning tasks. Across the studies, initial findings revealed that medical students often do not exhibit strategic thinking and action during clinical reasoning practice tasks even though some regulatory processes (e.g., planning) are predictive of important medical education outcomes. Further, trainees' motivation beliefs, strategic thinking, and self-evaluative judgments tend to shift rapidly during clinical skills practice and may also vary across different parts of a patient encounter. Collectively, these findings underscore the value of dynamically assessing trainees' SRL as they complete clinical tasks. The findings also set the stage for exploring how medical educators can best use SRL microanalytic assessment data to guide remedial practices and the provision of feedback to trainees. Implications and future research directions for connecting assessments to intervention in medical education are discussed.

PMID:
 
27191840
 
DOI:
 
10.1097/ACM.0000000000001228


자기조절학습 SRL : 신념, 테크닉, 환상 (Annu Rev Psychol, 2013)

Self-Regulated Learning: Beliefs, Techniques, and Illusions

Robert A. Bjork,1 John Dunlosky,2 and Nate Kornell3

1Department of Psychology, University of California, Los Angeles, California 90095, 2Department of Psychology, Kent State University, Kent, Ohio 44242, 3Department of Psychology, Williams College, Williamstown, Massachusetts 01267; 

email: rabjork@psych.ucla.edu, jdunlosk@kent.edu, nkornell@gmail.com




도입

INTRODUCTION


이 검토에서 우리는 다음에 대한 최근의 연구를 요약한다. 

  • 사람들이 학습 활동에 대해 무엇을 이해하고 이해하지 못하는지, 

  • 그리고 이해, 보존 및 전송을 촉진하는 프로세스

In this review we summarize recent research on what people do and do not understand about the learning activities and processes that promote comprehension, retention, and transfer.


사람들은 우리의 직관과 실천이 "매일의 삶과 학습에서 벌어지는 실수와 오류"로부터 향상되리라 예상할 수도 있지만, 실제로는 그렇지 않은 것으로 보인다.

One might expect that our intuitions and practices would be informed by what Bjork (2011) has called the “trials and errors of everyday living and learning,” but that appears not to be the case.


어떤 사회적 태도와 가정은 또한 우리가 [최대한 효과적인 학습자가 되는 방법]을 배우지 않는 데에도 역할을 하는 것처럼 보인다. 그러한 가정 중 하나는 아이들과 성인들이 그들의 학습 활동을 관리하는 방법을 배울 필요가 없다는 것 같다. 예를 들어 코넬 & 비요크(2007)와 하트비히 & 던로스키(2012년)의 대학생들을 대상으로 한 설문조사에서 약 65%에서 80%의 학생들이 "누군가가 알려준 학습법대로 공부하느냐"는 질문에 대해 "아니오"라고 대답했다(반대로 20~35%가 "그렇다"라고 대답하는 것도 중요하다.)

Certain societal attitudes and assumptions also seem to play a role in our not learning how to become maximally effective learners. One such assumption seems to be that children and adults do not need to be taught how to manage their learning activities. In surveys of college students by Kornell & Bjork (2007) and Hartwig & Dunlosky (2012), for example, about 65% to 80% of students answered “no” to the question “Do you study the way you do because somebody taught you to study that way?” (Whether the 20%to 35%who said “yes” had been taught in a way that is consistent with research findings is, of course, another important question.)


학습 방법에 대한 지침의 부재는 정말로 사람들이 스스로 점차적으로 학습 능력을 습득할 것이라는 가정을 반영하는 것 같다.

It seems likely that the absence of instruction on how to learn does indeed reflect an assumption that people will gradually acquire learning skills on their own


예를 들어 사람마다 자신의 학습 스타일을 가지고 있다는 개념은 모든 개인에게 적용되는 학습 방법에 대한 교육을 제안하는 것이 불가능하다는 생각을 암묵적/명시적으로 하게 만든다. (학습 스타일 개념과 증거에 대한 검토는 Pashler et al.을 참조)

The notion that individuals have their own styles of learning, for example, may lead, implicitly or explicitly, to the idea that it is not possible to come up with training on how to learn that is applicable to all individuals (for a review of the learning-styles concept and evidence, see Pashler et al. 2009).



학습자로서 정교해지는 법

BECOMING SOPHISTICATED AS A LEARNER


우리의 관점에서는, 진짜 효과적인 학습을 하려면 다음이 필요하다

  • (a) 인간의 학습과 기억을 특징짓는 기능 아키텍처의 주요 측면을 이해하는 것 

  • (b) 습득해야 할 정보 및 절차의 저장 및 후속 검색을 강화하는 이해 활동 및 기법 

  • (c) 이러한 모니터링에 대응하여 학습 상태를 모니터링하고 학습 활동을 제어하는 방법을 알고 있어야 한다. 

  • (d ) 후기의 회상 및 전이를 지원할 학습이 달성되었는지 여부에 대한 판단을 저해할 수 있는 특정 편견을 이해하는 것.

In our view, as we sketch below, becoming truly effective as a learner entails 

  • (a) understanding key aspects of the functional architecture that characterizes human learning and memory, 

  • (b) knowing activities and techniques that enhance the storage and subsequent retrieval of to-be-learned information and procedures, 

  • (c) knowing how to monitor the state of one’s learning and to control one’s learning activities in response to such monitoring, and 

  • (d ) understanding certain biases that can impair judgments of whether learning has been achieved that will support later recall and transfer.


1. 인간 기억의 관련 특성 이해

Understanding Relevant Peculiarities of Human Memory


학습자로서 최대의 효과를 얻기 위해서는 부분적으로 비요크 & 비요크(1992)가 인간의 학습과 기억력을 특징짓는 저장과 인출 과정의 "중요한 특성"이라고 규정한 것을 이해해야 한다.

To become maximally effective as a learner requires, in part, understanding what Bjork & Bjork (1992) labeled “important peculiarities” of the storage and retrieval processes that characterize human learning and memory.


예를 들어, 사람은 정보를 문자 그대로 기록함으로써 장기 기억 속에 정보를 저장하지 않고, 대신에 이미 알고 있는 것과 새로운 정보를 연관시킴으로써 정보를 저장한다는 것을 이해하는 것이 중요하다. 우리는 이미 기억 속에 존재하는 정보에 대한 관계선 및 의미적 연관성에 의해 정의된 바와 같이, 새로운 정보를 그 의미 면에서 저장한다. 그것은 무엇보다도, 우리가 단순히 녹음하는 것이 아니라, 해석, 연결, 상호 관계, 그리고 정교하게 함으로써, 학습 과정에 적극적인 참여자를 끌어들여야 한다는 것을 의미한다. 기본적으로, 정보는 우리의 기억에 저절로 각인되지 않을 것이다.

It is important to understand, for example, that we do not store information in our long-term memories by making any kind of literal recording of that information, but, instead, we do so by relating new information to what we already know. We store new information in terms of its meaning to us, as defined by its relation-ships and semantic associations to information that already exists in our memories. What that means, among other things, is that we have tobean active participant in the learning process—by interpreting, connecting, interrelating, and elaborating, not simply recording. Basically, information will not write itself on our memories.


또한 배워야 하는 정보나 절차를 저장할 수 있는 우리의 능력은 본질적으로 무한하다는 것을 이해할 필요가 있다. 사실, 정보를 기억에 저장하는 것은 용량을 창출create하는 것으로 보인다. 즉, 기억공간을 써버리는 것이 아니라 추가 연결과 저장 기회를 창출한다. 기존의 지식과 장기 기억으로 상호 연관되어 한때 저장되었던 정보는, 반드시 접근 가능하지는 않더라도 저장되어 있는 경향이 있다는 것도 이해하는 것이 중요하다. 그러한 지식은 다시 쉽게 접근할 수 있게 되어 새로운 학문의 자원이 된다.

We need to understand, too, that our capacity for storing to-be-learned information or procedures is essentially unlimited. In fact, storing information in human memory appears to create capacity—that is, opportunities for additional linkages and storage—rather than use it up. It is also important to understand that information, once stored by virtue of having been interrelated with existing knowledge in long-term memory, tends to remain stored, if not necessarily accessible. Such knowledge is readily made accessible again and becomes a resource for new learning.


또한, 특정한 단서가 주어진다면 기억 속에 저장된 정보에 접근하는 것이 일반적인 기록 장치처럼 기록된 내용의 literal한 "재생"에 해당하지 않는다는 점을 이해하는 것도 필요하다. 저장된 정보나 절차를 인간의 기억에서 검색하는 것은 literal한 과정이 아니라, 추론과 재구성을 하는 fallible한 과정이다. 바틀렛(1932)의 고전적 연구로 거슬러 올라가는 연구는 종종 자신감에 차서 우리가 어떤 이전 에피소드를 회상하는 것이 실제로 에피소드의 특징들이 에피소드 자체에서가 아니라 우리의 가정, 목표 또는 이전 경험에서 파생된 특징들과 결합되거나 대체될 수 있다는 것을 반복적으로 보여주었다. 우리가 과거를 기억할 때, 우리는 의식적이지는 않더라도 우리의 기억들이 우리의 배경 지식, 우리의 기대, 그리고 현재의 맥락에 맞도록 불러온다.

To be sophisticated as a learner also requires understanding that accessing information stored in our memories, given certain cues, does not correspond to the “playback” of a typical recording device. The retrieval of stored information or procedures from human memory is a fallible process that is inferential and reconstructive—not literal. Research dating back to a classic study by Bartlett (1932) has demonstrated repeatedly that what we recall of some prior episode, often confidently, can actually be features of the episode combined with, or replaced by, features that derive from our assumptions, goals, or prior experience, rather than from the episode itself. When we remember the past, we are driven, if not consciously, to make our recollections fit our background knowledge, our expectations, and the current context.


중요한 것은, 인출도 신호cue에 의존한다는 것이다. 학습 과정 중에 (일부 학습해야 할) 정보가 쉽게 호출될 수 있다는 사실이 학습 과정이 끝난 후 반드시 다른 시간과 장소에서도 비슷하게 쉽게 호출할 수 있다는 것을 의미하지는 않는다.

Importantly, retrieval is also cue dependent. The fact that some to-be-learned information is readily recallable during the learning process does not necessarily mean it will be re-callable in another time and place, after the learning process has ended.


학습자가 우리의 기억에서 정보를 검색하는 것에 따르는 결과가 발생한다는 것을 이해하는 것도 중요하다. 컴팩트 디스크와 같은 일부 인공 장치로부터 정보를 재생하는 것과는 대조적으로, 인간의 기억에서 정보를 검색하는 것은 "기억 변조활동"이다(Bjork 1975). 검색된 정보는, 동일한 상태로 남겨지기 보다는, 접근하지 않았을 때보다, 미래에 더 손쉽게 인출할 수 있게 된다. 실제로 학습 이벤트로서, 특히 장기적 리콜을 용이하게 한다는 관점에서, 정보를 인출하는 연습는 반복 학습보다 상당히 강력하다(학습 이벤트로써의 검색에 관한 연구의 리뷰는 Roediger & Butler 2011, Roediger & Karpicke 2006 참조).

It is critical, too, for a learner to understand that retrieving information from our memories has consequences. In contrast to the playback of information from some man-made device, such as a compact disk, retrieving information from human memory is a “memory modifier” (Bjork 1975): The retrieved information, rather than being left in the same state, becomes more recallable in the future than it would have been without having been accessed. In fact, as a learning event, the act of retrieving information is considerably more potent than is an additional study opportunity, particularly in terms of facilitating long-term recall (for reviews of research on retrieval as a learning event, see Roediger & Butler 2011, Roediger &Karpicke 2006).


포괄적으로 말해서, 정교한 학습자가 되기 위해서는 학습할 정보에 대한 지속적이고 유연한durable and flexible 접근을 만드는 것은 [부분적으로 그 정보의 의미 있는 인코딩을 달성하는 문제]이고 [부분적으로 검색 프로세스를 연습하는 문제]라는 것을 이해해야 한다. 

    • 인코딩 측면에서, 목표는 상호 관련 개념과 아이디어의 광범위한 프레임워크의 일부인 인코딩을 달성하는 것이다. 

    • 검색 측면에서는 검색 프로세스를 연습하는 것이 중요하다.

Broadly, then, to be a sophisticated learner requires understanding that creating durable and flexible access to to-be-learned information is partly a matter of achieving a meaningful encoding of that information and partly a matter of exercising the retrieval process. 

    • On the encoding side, the goal is to achieve an encoding that is part of a broader framework of interrelated concepts and ideas. 

    • On the retrieval side, practicing the retrieval process is crucial.


비요크(1994)가 예를 든 것처럼, 

    • 응급 상황에서 실제로 그 절차를 정확하게 수행할 수 있는 가능성 측면에서,

    • 부풀릴 수 있는 구명 조끼를 실제로 착용, 고정 및 팽창할 수 있는 한 번의 기회는

    • 보다 자주 비행기를 자주 타서 승무원이 그 과정을 수행하는 것을 지켜보는 것보다 더 큰 가치가 있을 것이다. 

To repeat an example provided by Bjork (1994), one chance to actually put on, fasten, and inflate an inflatable life vest would be of more value— in terms of the likelihood that one could actually perform that procedure correctly in an emergency—than the multitude of times any frequent flier has sat on an airplane and been shown the process by a flight attendant.



2. 저장 및 인출 기능을 향상시키는 활동 및 기법 파악

Knowing Activities and Techniques that Enhance Storage and Retrieval



인간의 학습과 기억을 특징짓는 저장 및 검색 프로세스에 대한 일반적인 이해를 달성하는 것 외에, 진정으로 효과적인 학습자는 새로운 정보의 저장과 그 정보에 대한 후속 접근을 촉진하는 활동에 참여할 필요가 있다.

Beyond achieving a general understanding of the storage and retrieval processes that characterize human learning and memory, a truly effective learner needs to engage in activities that foster storage of new information and subsequent access to that information.


학습자로서 정교해지는 것은 또한 자신의 학습 조건을 관리하는 것을 포함한다.

Becoming sophisticated as a learner also involves learning to manage the conditions of one’s own learning.


따라서 예를 들어, 학습해야 할 주제에 대해 간격을 둔 연습은 몰아치는 공부보다 학습 효과를 높일 수 있다(예: Cepeda et al. 2006). 마찬가지로, [학습의 환경적 맥락을 일정하고 예측 가능한 상태로 유지하는 것]보다는 [자신의 학습 조건을 스스로 변화시켜야 한다는 것을 아는 것]도 더 효과적인 학습자로 만들어준다. 또한 정보 또는 프로시저를 단순히 찾아보기look up만 하는 것보다, 정보를 능동적으로 생성하고자generate 시도해야 한다는 것도 마찬가지다.

Thus, for example, knowing that one should space, rather than mass, one’s study sessions on some to-be-learned topic can increase one’s effectiveness as a learner, as can knowing that one should interleave, rather than block, successive study or practice sessions on separate to-be-learned tasks or topics (see, e.g., Cepeda et al. 2006). Similarly, knowing that one should vary the conditions of one’s own learning, even, perhaps, the environmental context of studying (Smith et al 1978, Smith & Rothkopf 1984), versus keeping those conditions constant and predictable, can make one a more effective learner, as can knowing that one should test one’s self and attempt to generate information or procedures rather than looking them up (e.g., Jacoby 1978).


그러한 정교함을 획득하는 것을 어렵게 만드는 것은 (간격, 변동, 인터리빙, 생성과 같은 조작을 도입함으로써 얻는) 단기적 결과는 결코 유익하지 않은 것으로 보일 수 있다는 점이다. 그러한 조작은 학습자에게 어려움과 도전을 초래하며 현재의 수행으로 측정했을 때 학습 속도를 늦추는 것으로 보일 수 있다. 그들은 종종 학습할 정보와 절차의 장기 보존과 전송을 향상시키기 때문에 바람직한 어려움으로 불려왔지만(Bjork 1994), 그럼에도 불구하고 학습자에게 난이도감과 느린 진행을 만들어 낼 수 있다.

What makes acquiring such sophistication difficult is that the short-term consequences of introducing manipulations such as spacing, variation, interleaving, and generating can seem far from beneficial. Such manipulations introduce difficulties and challenges for learners and can appear to slow the rate of learning, as measured by current performance. Because they often enhance long-term retention and transfer of to-be-learned information and procedures, they have been labeled desirable difficulties (Bjork 1994), but they nonetheless can create a sense of difficulty and slow progress for the learner.


3. 학습을 모니터링하고 학습 활동을 효과적으로 제어

Monitoring One’s Learning and Controlling One’s Learning Activities Effectively


기본적으로 학습과정은 다음과 같은 지속적인 평가와 결정을 수반한다. 

    • 다음에 무엇을 학습해야 하고 어떻게 학습해야 하는지, 

    • 어떤 정보, 개념 또는 절차에 대한 향후 access을 지원하는 학습이 달성되었는지 여부, 

    • 회상한 것이 정확한지 등

Basically, the learning process involves making continual assessments and decisions, such as 

    • what should be studied next and how it should be studied, 

    • whether the learning that will support later access to some information, concept, or procedure has been achieved, 

    • whether what one has recalled is correct, and on and on. 


그림 1에서 포착한 바와 같이 감시와 통제 사이에는 중요한 상호작용이 있다. 학습자로서 정교하고 효과적으로 되기 위해서는 

    • 학습의 상태를 정확히 평가할 수 있을 뿐만 아니라, 

    • 그러한 모니터링에 대응하여 학습 과정과 활동을 제어할 수 있어야 한다.ns.

As captured in Figure 1, there is an important back and forth between monitoring and control. To become sophisticated and effective as a learner requires not only being able to assess, accurately, the state of one’s learning (as illustrated by the monitoring judgments listed in the top of the figure), but also being able to control one’s learning processes and activities in response to such monitoring (as illustrated by the control decisions).


    • (a) 학습자는 학습이 달성되었는지에 대해 쉽게 오해할 수 있으며, 일반적으로 과신(과신)을 야기할 수 있다. 

    • (b) 사람들이 학습에 효과적이거나 효과적이지 않은 활동에 대해 믿는 경향이 있는 것은 종종 현실과 상충된다. 

    • (a) learners can easily be misled as to whether learning has been achieved, typically resulting in overconfidence, and 

    • (b) what people tend to believe about activities that are and are not effective for learning is often at odds with reality. 

학습의 상태를 평가하는 것이 어려운 이유는, 현재의 성과나 습득한 정보를 인코딩하거나 검색하는 데 있어서 친숙함이나 유창함 같은 평가의 기초가 될 수 있는 객관적이고 주관적인 지표가 학습이 달성되었는지와 무관한 요인을 반영할 수 있기 때문이다. 현재의 성과—그리고 주관적인 회수 유창함은 학습 중에 존재하지만 나중에 나타나지 않을 재조명, 예측 가능성, 단서 등의 요인에 의해 크게 영향을 받을 수 있으며, 친숙함 또는 지각성 독감의 주관적인 감각은 학습의 유효한 척도가 되기 보다는 프라이밍과 같은 요인을 반영할 수 있다.

Assessing the state of one’s learning is difficult because the objective and subjective indices on which one might base such assessments, such as current performance or the sense of familiarity or fluency in encoding or retrieving to-be-learned information, can reflect factors unrelated to whether learning has been achieved. Current performance—and the subjective sense of retrieval fluency, can be heavily influenced by factors such as recency,predictability, and cues that are present during learning but will not be present later, and the subjective sense of familiarity or perceptual fluency can reflect factors such as priming rather than being a valid measure of learning.


마지막으로, 자신의 학습을 평가하는 데 효과적이 되기 위해서는 우리가 나중에 배울 정보를 생산할 수 있을지를 판단하는 데 있어 사후 판단 편향과 선견지명 편향의 대상이 된다는 것을 알아야 한다. 

    • 사후판단 편향(Fischhoff 1975)은 일단 정보가 우리에게 제공되면 우리가 그것을 내내 알고 있었다고 생각하는 경향을 말한다. 

    • 선견지명 편향(Koriat &Bjork 2005)은 "이미 알고있었지"가 아니라 "미래에도 분명히 알겠지"라고 생각하는 경향을 반영한다.

Finally, to be effective in assessing one’s own learning requires being aware that we are subject to both hindsight and foresight biases in judging whether we will be able to produce to-be-learned information at some later time. 

    • Hindsight bias (Fischhoff 1975) refers to the tendency we have, once information is made available to us, to think that we knew it all along. 

    • Foresight bias (Koriat &Bjork 2005), on the other hand, rather than reflecting a knew-it-all-along tendency, reflects a will-know-it-in-the-future tendency.



학생들은 '어떻게 배우는지'에 대해 무엇을 믿는가?

WHAT DO STUDENTS BELIEVE ABOUT HOW TO LEARN?


학생들의 학습전략 이용실태와 공부에 대한 믿음

Surveys of Students’ Strategy Use and Beliefs About Studying


가장 자주 사용되는 학생 자율 규제의 평가 중 하나는 학습 설문지를 위한 동기식 전략이다(MSLQ; Pintrich 등 1993).

One of the most frequently used assessments of student self-regulation is the Motivated Strategies for Learning Questionnaire (MSLQ; Pintrich et al. 1993).


MSLQ 척도와 학생 성적 사이의 관계는 낮았고 때로는 유의하지 않았다.

The relationships between these subscales and student grades were low and sometimes non-significant.


이러한 낮은 상관관계는 여러 가지 이유로 발생할 수 있다. 그 관계는 선형적이지 않을 수 있으며, 몇몇 전략은 평균적인 학생들이 주로 사용하고 있다. 게다가, 이러한 일반적인 전략은 모든 종류의 시험에 효과적이지 않을 것이다; 다른 제한은 척도의 일반적인 문구가 모든 학생들에 의해 같은 방식으로 해석되지 않을 수 있다는 것이다(Crede & Phillips 2011).

these low relationships may arise for multiple reasons. The relationships may not be linear, with some strategies being used largely by average students. Moreover, these general strategies will not be effective for all kinds of exams; Other limitations are that the general wording of the scale items may not be interpreted the same way by all students (Cred´e & Phillips 2011),


자가 테스트는 많은 학생들이 (하트위그 & 던로스키 2012, 카피크 외)를 사용하여 보고하는 플래시 카드의 사용에 내재되어 있다. 2009년) 그러나 학생들은 플래시카드를 효과적으로 사용하는가?

Self-testing is intrinsic to the use of flashcards that many students report using (Hartwig & Dunlosky 2012, Karpicke et al. 2009), but do students use them effectively?


거의 모든 학생들이 시험을 위한 자료를 배우기 위해 플래시카드를 한 번 이상 사용할 것이라고 보고했지만, 그들은 또한 사용하는 날이 시험 하루나 이틀 전에 대부분 제한되어 있다고 보고했다. 이러한 종류의 주입식 주입구는 인기가 있으며(Taraban et al. 1999) 학생들이 학습에 효과적인 방법이라고 믿음에도 불구하고 확실히 보존을 최적화하지 않는다(Kornell 2009).

Almost all the students reported that they would use flashcards more than once to learn materials for an exam, but they also reported that such use was largely limited to just a day or two before the exam. This kind of cramming is popular (Taraban et al. 1999) and certainly does not optimize retention, although students believe it is an effective way to learn (Kornell 2009).


학습 관리를 위한 결정의 지표가 되는 학생들의 믿음

Students’ Beliefs as Indexed by Decisions They Make in Managing Their Learning


셋째, 학생들은 학습 시간을 할당하기 위한 안건, 즉 학습계획을 개발하며, 때로는 이러한 학습계획은 discrepancy-reduction 모델과는 반대로 가장 학습이 어려운 내용에 우선순위를 두지 않는다(아리엘 외). 2009).

Third, students develop agendas—that is, plans—for the allocation of their study time, and sometimes these agendas, in contrast to the discrepancy-reduction model, do not prioritize the most difficult items for study (Ariel et al. 2009).


마찬가지로 메트칼페(2009, Kornell & Metcalfe 2006)는 어떤 조건에서는 학생들이 가장 공부하기 쉬운 아이템을 먼저 선택하고 가장 쉬운 아이템을 공부하는 데 더 많은 시간을 보낸다고 보고했다. 쉬운 항목에 우선 초점을 맞추는 것은 메탈프가 "proximal learning지역의 학습"이라고 부르는 것으로서, 학생들이 학습 시간을 할당하기 위해 개발할 수 있는 많은 의제 중 하나이며, 그렇게 하는 것은 심지어 학습을 증진시킬 수 있다(Atkinson 1972, Kornell & Metcalfe 2006).

Similarly, Metcalfe (2009, Kornell &Metcalfe 2006) reported that under some conditions students choose the easiest items first for study and spend more time studying the easiest items. Focusing on the easier items first (which Metcalfe calls studying within the region of proximal learning) is one of many agendas that students can develop to allocate their study time, and doing so can even boost their learning (Atkinson 1972, Kornell & Metcalfe 2006).


습관적인 편견은 효과적인 공부 시간 할당을 저해할 수 있다. 따라서, 예를 들어, 시험을 준비하는 학생은 단순히 교과서를 열고, 그들의 공부를 이끌 수 있는 어떤 종류의 공격 계획을 가지고 있는 것과 대조적으로, 할당된 내용만 읽어나갈 수 있다. 이러한 수동적 reading은, 심지어 그것을 반복해서 읽더라도, 자가 설명 또는 자가 테스트와 같은 능동적 처리보다 훨씬 덜 효과적이다.

habitual biases can undermine the development of effective agendas for study time allocation. Thus, for example, a student preparing for a test might simply open a textbook and read through the assigned pages versus having any kind of plan of attack that might guide their studying. Such passive reading— and even rereading—is much less effective than active processing, such as self-explanation or self-testing.


학생들이 새에 대한 공부를 마쳤을 때, 그림 2에 묘사된 인터페이스가 제시되었다. 자율 학습 단계 동안 참가자들은 최종 테스트에서 새 새를 분류하는 데 가장 도움이 되는 순서로 새를 연구하도록 지시 받았다. 평균적으로, 참가자들은 57마리의 새를 다시 연구하기로 선택했고, 상당수의 참가자들이 인터리브(또는 공간) 대신 블록(또는 몰아치기)을 선호했다.

when they finished studying this bird, the interface depicted in Figure 2 (see color insert) was presented. During the self-paced phase, the participants were instructed to study the birds in an order that would best help themto classify new birds on the final test. On average, participants chose to restudy 57 birds, and a sizable majority of participants (75%) preferred to block (or mass) instead of interleave (or space).



요약하자면, 학생들은 자기 테스트와 같은 학습을 위한 몇 가지 효과적인 전략을 사용하여 지지하며, 때때로 실험실 실험에서는 시간을 어떻게 관리해야 하는지에 대해 좋은 결정을 내린다. 그럼에도 불구하고, 다른 결과는 학생들이 이러한 효과적인 전략의 이점을 충분히 얻지 못한다는 것을 암시한다. 시험과 관련하여, 많은 학생들은 재독서의 장점이 기껏해야 미미하지만(Dunloskey et al. 2012, Fritz et al.) 재독은 시험보다 우수한 전략이라고 믿는다. 2000년, Rawson & Kintsch 2005). 더욱이 대부분의 학생들은 학습을 평가하기 위해 시험을 사용하므로 학습을 향상시키기 위한 전략으로 더 광범위하게 사용하지 않을 수 있다. 간격 연습과 관련하여, 비록 학생들이 때때로 실험실 실험에서 간격을 둔 학습를 선호하지만, 그러한 간격은 단일 세션 내에서만 발생한다. 안타깝게도, 학생들이 주입식 교육을 지지하고 그렇게 하는 것이 효과적이라고 믿는다면, 그들은 여러 세션에서 간격 연습이 일어날 때 발생하는 장기적인 혜택을 얻지 못할 것이다(예: Bahrick 1979, Rawson &Dunlosky 2011).

In summary, students do endorse using some effective strategies for learning, such as self-testing, and they sometimes make good decisions about how to manage their time in laboratory experiments. Nevertheless, other outcomes suggest that students do not fully reap the benefits of these effective strategies. With respect to testing, many students believe that rereading is a superior strategy to testing (McCabe 2010), even though the benefits of rereading are modest at best (Dunloskey et al. 2012, Fritz et al. 2000, Rawson & Kintsch 2005). Moreover, most students use testing to evaluate their learning and hence may not use it more broadly as a strategy to enhance their learning. With respect to spaced practice, even though students sometimes prefer to space study in laboratory experiments, such spacing occurs within a single session. Unfortunately, given that students endorse cramming and believe doing so is effective, they will not obtain the long-term benefits that arise when spacing practice occurs across multiple sessions (e.g., Bahrick 1979, Rawson &Dunlosky 2011).


왜 학생들은 효과적인 전략을 잘 사용하지 않고 비효율적인 것이 실제로 효과적이라고 생각하는가? 그들이 효과적인 전략을 충분히 사용하지 못할 수 있는 한 가지 이유는 아마도 아이들과 어른들이 학습전략 같은 것은 가르칠 필요가 없다고 사회적 태도를 갖고 가정하기 때문일 것이다. 맥나마라(2010년)가 지적한 바와 같이, "우리 교육 시스템에는 "학생들에게 전달해야 할 가장 중요한 것은 내용"이라고 하는 압도적인 가정이 있다"(원본 341쪽, 이탤릭체). 실제로, 대부분의 대학생들은 어떻게 공부하느냐가 교사나 다른 사람들에게 어떻게 공부해야 하는지를 배운 결과물이 아니라고 보고한다(K

Why might students underuse effective strategies and believe that ineffective ones are actually effective? One reason why they may underuse effective strategies is that many students are not formally trained (or even told) about howto use effective strategies, perhaps because societal attitudes and assumptions indicate that children and adults do not need to be taught them. As noted by McNamara (2010), “there is an overwhelming assumption in our educational system that the most important thing to deliver to students is content” (p. 341, italics in original). Indeed, most college students report that how they study is not a consequence of having been taught howto study by teachers or others (Kornell &Bjork 2007).


아마도 더 나쁜 것은, 학생들이 전략을 사용한 경험이 때때로 비효율적인 기술이 실제로 더 효과적인 것이라고 믿게 할 수도 있다(예: 코넬 & 비요크 2008a, 사이먼 & 비요크 2001). 예를 들어, 여러 실험에서, 코넬(2009)은 대학생 참가자의 90%가 매스작업보다 간격을 두고 더 나은 성과를 보였다고 보고했다. 그러나, 연구 세션이 끝났을 때, 참가자의 72%가 간격보다 질량이 더 효과적이라고 보고했다. 이러한 인지적 착각은 연구 중 처리가 간격보다 질량화를 위해 더 쉬우거나 더 유창하기 때문에 발생할 수 있으며, 일반적으로 사람들은 더 쉬운 처리가 더 나은 처리를 의미한다고 믿는 경향이 있다(Alter &Oppenhemer 2009). 불행하게도, 다음 절에서 자세히 설명하듯이, 이러한 인지적 환상은 학생들에게 나쁜 전략이 오히려 좋다고 믿게끔 속일 수 있고, 그 자체가 잘못된 자기 조절과 낮은 수준의 성취로 이어질 수 있다.

Perhaps even worse, students’ experience in using strategies may sometimes lead them to believe that ineffective techniques are actually the more effective ones (e.g., Kornell & Bjork 2008a, Simon & Bjork 2001). For instance, across multiple experiments, Kornell (2009) reported that 90%of the college student participants had better performance after spacing than massing practice. When the study sessions were over, however, 72%of the participants reported that massing was more effective than spacing. This metacognitive illusion may arise because processing during study is easier (or more fluent) for massing than spacing, and people in general tend to believe that easier processing means better processing(Alter &Oppenheimer 2009). Unfortunately, as the next section explains in more detail, these metacognitive illusions can trick students into believing that a bad strategy is rather good, which itself may lead to poor self-regulation and lower levels of achievement.


학습에 대한 학습자의 판단에 어떤 영향을 주며, 미래 수행능력을 어떻게 예측하는가?

WHAT INFLUENCES LEARNERS’ JUDGMENTS OF LEARNING AND PREDICTIONS OF FUTURE PERFORMANCE?


올바른 학습 결정을 내리는 것은 성공적인 학습자가 되기 위한 전제 조건이다. 이러한 결정은 학생들이 자신이 공부하는 자료를 얼마나 잘 알고 있는지에 대한 학생들의 판단에 달려 있다. 학생들은 종종 그들이 받아들일 수 있는 수준의 지식에 도달할 때까지 공부한다. 2009년, Kornell & Metcalfe 2006, Thiede & Dunlosky 1999)—예를 들어, 그들은 3장을 다 이해할 때까지 공부한다. 그들은 다가오는 시험에서 그것이 무엇을 다루는지 기억하고 나서 4장으로 돌아간다.

Making sound study decisions is a precondition of being a successful learner. These decisions depend on students’ judgments of how well they know the material they are studying. Students often study until they have reached what they deem to be an acceptable level of knowledge (Ariel et al. 2009, Kornell & Metcalfe 2006, Thiede & Dunlosky 1999)—for example, they study chapter 3 until they judge that they will remember what it covers on an upcoming test, then turn to chapter 4, and so forth.


학습의 판단(JOL)이라는 용어는 미래의 기억 성능에 대한 그러한 예측을 설명하기 위해 사용된다. 일반적인 JOL 과제에서 참가자들은 다가오는 시험에서 공부하고 있는 정보를 기억할 확률을 판단한다. JOL의 정확성은 어떻게 적응적(또는 부적응적) 학습 결정이 내려지는지에 큰 역할을 할 수 있다(Kornell & Metcalfe 2006, Nelson & Narens 1990).

The term judgment of learning ( JOL) is used to describe such predictions of future memory performance. In a typical JOL task, participants judge the probability that they will remember the information they are studying on an upcoming test. The accuracy of JOLs can play a large role in determining how adaptive (or maladaptive) study decisions end up being (Kornell & Metcalfe 2006, Nelson & Narens 1990).



믿음 기반 VS 경험 기반 판단 및 예측

Belief-Based Versus Experience-Based Judgments and Predictions


학습의 판단은 단서에 근거한 추론이지만, 어떤 단서일까? 믿음과 경험이라는 두 가지 광범위한 범주의 단서가 있는 것으로 보인다. (Jacoby & Kelley 1987, Koriat 1997).

Judgments of learning are inferences based on cues, but what cues? There appear to be two broad categories of cues—beliefs and experiences ( Jacoby & Kelley 1987, Koriat 1997).


  • 믿음 기반 단서(이론 기반 또는 지식 기반 단서라고도 함)는 "공부함으로써 배운다"와 같이 기억력에 대해 의식적으로 믿는 것을 말한다. 

  • 기반 단서에는 답이 얼마나 친숙해 보이는지, 화자가 얼마나 큰 소리를 내고 있는지, 단어가 얼마나 발음 가능한지 등 학습자가 직접 경험할 수 있는 모든 것이 포함된다.

  • Belief-based cues (which are also known as theory-based or knowledge-based cues) refer to what one consciously believes about memory, such as “I learn by studying.” 

  • Experience-based cues include anything learners can directly experience, including how familiar an answer seems, how loud a speaker is talking, how pronounceable a word is, and so forth.



경험 기반과 신념 기반 단서 간의 경쟁과 상호작용.

Competition and interactions between experience-based and belief-based cues.


깊은 심리적 차이는 믿음과 경험을 나누는 것으로 나타난다. 비록 사람들은 그들의 기억력에 대해 확실히 믿음을 가지고 있지만, 그들은 종종 JOLs를 내릴 때, 즉 그들은 심지어 (특히 아마도) 믿음 기반 단서에 무감각하고, 동시에 경험 기반 단서에 매우 민감하다(예: Kelley & Jacoby 1996 참조).

A deep psychological difference appears to divide beliefs from experience. Although people clearly hold beliefs about their memories, they frequently fail to apply those beliefs when making JOLs—that is, they are insensitive to belief-based cues even (and perhaps especially) when they are, at the same time, highly sensitive to experience-based cues (see, e.g., Kelley & Jacoby 1996).


사람들은 경험 기반 단서에 민감하며, 그 반대가 옳은 상황에서도 믿음 기반 단서에 민감하지 않다.

people are sensitive to experience-based cues and not belief-based cues, even in a situation where the opposite should be true.


안정성 편견의 증거.

Evidence of a stability bias.


미래의 공부가 자신의 지식에 영향을 미칠 것이라고 예측하지 못하는 것은 Kornell & Bjork(2009)가 메모리의 안정성 편향, 즉, 기억력이 미래에 변하지 않는 것이라고 생각하는 편견의 한 예다(Kornell 2011, 2012 참조). 코넬과 비요크는 참가자들이 단어 쌍 목록을 한 번 연구한 다음 0~3번의 추가 연구 시험 후 최종 시험 성과를 예측하도록 요청했을 때, 미래에 학습 능력이 부족하여 안정성 편향을 보여주지만 동시에 현재의 지식 수준에서도 과신임을 알게 되었다. 이 패턴은 최적의 방식으로 공부하지 않는 두 가지 이유를 동시에 제공하는 것으로 보이기 때문에 문제가 된다.

Failing to predict that future studying will affect one’s knowledge is an example of what Kornell & Bjork (2009) labeled a stability bias in memory—that is, a bias to act as though one’s memory will not change in the future (see also Kornell 2011, 2012). Kornell and Bjork found that participants, when asked to study a list of word pairs once and then to predict their final test performance after 0– 3 additional study trials, were underconfident in their ability to learn in the future, demonstrating a stability bias, but were also, at the same time, overconfident in their current level of knowledge. This pattern is troubling because it appears to provide dual reasons not to study as much as would be optimal.


안정성 편견은 골치 아픈 의미를 가지고 있다. 학생들이 어려운 상황에서도 공부에 굴복하지 않는 한 가지 이유는 궁극적으로는 그들이 발전할 것이라고 생각하기 때문이다. [공부로 얼마나 발전할 수 있는지]를 과소평가하는 학생들은 포기하기 이를 때에조차 희망을 포기할 수도 있다. 망각을 무시하는 것도 위험하다. 학생들은 무의식적으로 만약 오늘날 무언가를 안다면, 다음 주나 다음 달에도 그것을 알 것이라고 생각할 수도 있다(꼭 그렇지는 않다). 그리고 그 결과 조기에 공부를 중단할 수도 있다. (교사들은 학생들의 지식을 판단할 때 같은 오류에 취약하다.) 사실, 망각하는 것을 고려하지 못하는 것은 엄청난 양의 장기적인 과신( over神)을 낳을 수 있다(Kornell 2011). 과신 및 저신뢰에 대한 안정성 편견의 효과는 그림 3에 나타나 있다.

The stability bias has troubling implications. One reason students donot give upon studying, even in the face of difficulty, is the knowledge that eventually they will improve. Students who underestimate how much they can improve by studying may give up hope when they should not. Ignoring forgetting is also dangerous. Students may unconsciously assume that if they know something today, they will know it next week or next month—which is not necessarily true—and stop studying prematurely. (Teachers are vulnerable to the same error when judging their students’ knowledge.) Indeed, failing to account for forgetting can produce extreme amounts of long-term over-confidence (Kornell 2011). The effects of the stability bias on over and under-confidence are illustrated in Figure 3.


따라서, 사람들은 [공부가 배움을 낳고], [망각은 시간에 걸쳐 발생한다]는 믿음과 같이 가장 분명한 인지적 믿음조차도 무시 할 수 있는 것으로 보인. 믿음에 기초한 단서가 무시되는 이유는 일반적으로 현재의 경험에 영향을 미치지 않는 단서 범주에 속하기 때문인 것으로 보인다. 선견지명 편향, 즉 앞에서 논의했던 자신의 기억을 어떻게 시험할 것인지를 고려하지 못한 것도 이 범주에 속한다. [미래의 시험]이라는 것은 현재의 경험에 영향을 미치지 않는다.

Thus, it appears that people can ignore even the most obvious of metacognitive beliefs, such as the beliefs that studying produces learning and forgetting happens over time. The reason belief-based cues are ignored appears to be that, in general, they fall into the category of cues that do not impact one’s current experience. The foresight bias—that is, the failure to take into account how one’s memory will be tested, which was discussed previously—falls into this category as well. The form taken by a future test does not affect current experience.




현재 수행능력의 목표 지표 해석: 휴리스틱스 및 일루시스

Interpreting Objective Indices of Current Performance: Heuristics and Illusions


반응 정확도.

Response accuracy.


답을 떠올릴 수 있느냐가 JOLs에 강력한 영향을 미친다는 것은 분명하다. 지금까지 제시된 증거에 비추어 볼 때 현재의 경험이 JOLs에 대한 독점적인 지배력을 가지고 있어 보인다. 즉, 과거의 사건은 현재의 경험에 영향을 미칠 수 있지만, 현재의 경험만이 JOLs에 영향을 미친다. 그러나 핀&메트칼프(2007, 2008년)가 보여준 바와 같이(King et al. 1980도 참조), 과거에 시험이 있었고 그 사이에 추가 연구 시험이 발생했더라도, 사람들은 가장 최근의 테스트를 기초로 JOL을 판단하는 경향이 있다. 이러한 판단 전략은 과거 시험 휴리스틱에 대한 기억이라고 한다. 따라서 경험이 JOL을 제어하는 것으로 보이며, 그 경험이 꼭 현재의 경험은 아닌 경우도 있다.

It is clear that whether one can recall an answer has a powerful influence on JOLs. It seems possible, given the evidence presented thus far, that current experience has exclusive control over JOLs. That is, past events can influence current experience, but only current experience influences JOLs. As Finn & Metcalfe (2007, 2008) have shown (also see King et al. 1980), however, people tend to base their JOLs on their most recent test, even if the test occurred in the past and additional study trials have occurred in the meantime. This judgment strategy is referred to as the memory for past test heuristic. Thus, it appears that experiences, not necessarily current experiences, control JOLs.



응답 시간.

Response time.


질문에 대답할 수 있는 능력처럼, 답이 떠오르는 속도는 JOLs에 중요한 경험에 기초한 영향을 미친다. 벤자민 외 연구진(1998)은 이 주장에 대한 뚜렷한 증거를 발견했다.

Like the ability to answer a question, the speed with which an answer comes to mind has an important experiencebased influence on JOLs. Benjamin et al. (1998) uncovered striking evidence for this claim.


결과는 놀라웠다. 자신이 있는 참가자들일수록 답을 떠올릴 가능성이 낮았다. 이 결과는 참가자들이 빠르게 대답하는 질문에 더 높은 JOL을 주었기 때문에 발생했지만, 그들은 오랫동안 생각한 문제에 대해서 답을 free-recall할 가능성이 가장 높았다(그림 4 참조).

The results were surprising: The more confident participants were that they would recall an answer, the less likely they were to recall it. This outcome occurred because participants gave higher JOLs to questions that they answered quickly, but they were most likely to free-recall answers that they had thought about for a long time (see Figure 4).





주관적 성과 지표 해석: 휴리스틱스 및 일루젼

Interpreting Subjective Indices of Performance: Heuristics and Illusions



응답 시간과 검색 성공은 객관적으로 측정할 수 있는 단서지만, JOL은 보다 주관적인 근거인 유창함과 밀접한 관련이 있다

    • 정보의 지각 처리 중의 유창함이란 처리하기 쉽거나 빠르다는 것이며, 

    • 정보의 검색 중 유창함은 정보가 얼마나 쉽게 "생각"되는가에 대한 감각이다. 

정보를 처리하거나 정보를 검색할 때 주관적인 유창함은 경험 기반 단서 범주에 속하기 때문에 유창함은 인지적 판단에 강력한 영향을 미친다.

Response time and retrieval success are objectively measurable cues, but they are closely related to a more subjective basis for judgments: fluency. 

    • Fluency during the perceptual processing of information is the sense of ease or speed of processing; 

    • fluency during the retrieval of information is the sense of how readily information “comes to mind.” 

Because the subjective sense of fluency, either in processing information or in retrieving information, falls squarely in the category of experience-based cues, fluency has powerful effects on metacognitive judgments



인출 유창성.

Retrieval fluency.


인출 유창성은 메모리에서 정보를 검색하는 것이 쉽고 빠른 것이다.

Retrieval fluency, as mentioned above, is the ease and speed with which information is retrieved from memory


일반적으로 인출 유창함은 어떤 것이 얼마나 잘 알려져 있는지를 판단하는 측면에서 유용한 휴리스틱스지만, 그것이 priming과 같이 학습 정도와 관계없는 요인에 의한 결과일 때 [아는 것에 대한 환상]을 불러일으킬 수 있다.

In general, retrieval fluency is a useful heuristic in terms of judging how well something is known, but it can be misleading and create illusions of knowing when it is the product of factors unrelated to degree of learning, such as priming.


정보가 유창하게 떠오를수록 학생들은 그것을 알고 있다고 판단하고, 따라서 공부를 중단하게 된다.

The more fluently information comes to mind, the more likely students are to decide they know it, and therefore put it aside and stop studying.


인코딩 유창성

Encoding fluency.


인코딩 유창성(즉, 정보를 배우기가 쉽거나 어렵다는 주관적 느낌)은 공부에 관한 결정에 대한 또 다른 중요한 영향이다(예: Miele et al. 2011).

Encoding fluency—that is, the subjective feeling that it is easy or difficult to learn a piece of information—is another important influence on decisions about studying (e.g., Miele et al. 2011).


그러나 인코딩 유창성은 recall이 fluency와 상관관계가 없기 때문에 문제의 소지가 있다(Castel et al. 2007 참조). 따라서 인출 유창성과 마찬가지로 인코딩 유창성은 오해의 소지가 있지만 높은 인코딩 유창성은 학생이 해당 항목을 다시 학습할 가능성을 감소시킬 수 있다.

Yet, encoding fluency was misleading (see also Castel et al. 2007) because recall was not correlated with fluency. Thus, like retrieval fluency, encoding fluency can be misleading, but high encoding fluency may decrease the chance that a student will restudy the item.



지각 유창성

Perceptual fluency.


인지적 판단은 지각적 유창성이 더 큰 항목, 즉 주관적으로 지각적 수준에서 처리하기 쉬운 항목의 경우 더 높은 경향이 있다.

Metacognitive judgments tend to be higher for items with greater perceptual fluency—that is, items that are subjectively easier to process at a perceptual level.


예를 들어, 레더(1987년)는 질문에 핵심 단어를 미리 노출하는 것(골프 1언더파를 치는 용어의 용어는 무엇인가?)이 주어진 질문에 대한 답을 만들어낼 수 있을 것이라는 피실험자들의 자신감을 높인다는 것을 발견했다. 또한 앞에서 언급한 바와 같이 더 큰 글꼴로 표시된 단어가 더 기억에 남는다고 잘못 판단되었다(Kornell et al. 2011, Rodes & Castel 2008). 더 큰 음량으로 제시된 단어들도 더 기억에 남는 것으로 잘못 평가되었다(Roades & Castel 2009). 최근의 한 연구는 지각적 유창함이 학습을 감소시킬 수 있다고 제안하기도 했다. 학생들은 같은 PowerPoint 프레젠테이션과 유인물을 유창성을 감소시키는 글꼴로 변환했을 때 더 많은 것을 배웠다(Diemand-Yauman et al. 2011). 정보가 더 유창해 보일 때 학생들이 더 많이 배웠다고 판단하는 것을 감안하면 걱정스러운 결과다.

Reder (1987), for example, found that simply pre-exposing key words in a question (such as the words “golf ” and “par” in the question “What is the term in golf for scoring one under par?”) increased subjects’ confidence that they would be able to produce the answer to a given question. Also, as mentioned previously, words presented in larger fonts have been incorrectly judged to be more memorable (Kornell et al. 2011, Rhodes & Castel 2008). Words presented at a louder volume were also incorrectly rated as more memorable (Rhodes & Castel 2009). A recent study even suggested that perceptual fluency can decrease learning: Students learned more when in-class PowerPoint presentations and handouts were converted to fonts that decreased fluency (Diemand-Yauman et al. 2011). This is a worrying outcome given that students judge that they have learned more when information seems more fluent.


귀납 유창성

Fluency of induction.


자기 규제 학습은 한 가지 유형의 학습에만 국한되지 않는다. 많은 연구들은 암기 자료들을 포함하고 있지만, 그러한 자료들은 귀납적 학습을 포착하지 못한다. 귀납적 학습이란 사례를 관찰함으로써 개념이나 범주를 배우는 것이다. 예를 들어 느릅나무를 오크나무와 단풍나무와 구별하는 것을 배우는 것은 각 종류의 나무의 예를 볼 필요가 있다.

Self-regulated learning is not limited to one type of learning. Most of the research on the topic involves materials that can be memorized, but such materials do not capture inductive learning—learning a concept or category by observing examples. For example, learning to differentiate elm trees from oaks and maples requires seeing examples of each kind of tree.


블록 학습으로 인해 특정 예술가의 그림에서 유사성을 쉽게 알아차릴 수 있었을 수 있지만, 인터리빙의 가치는 적어도 부분적으로는 범주 간의 차이를 강조하는데 있어 있는 것으로 보인다(Kang & Pashler 2012, Wahlheim et al. 2011). 인터리빙의 이점은 비유동적 학습(예: 세페다 외, 2006, 뎀프스터 1996)에서 간격적 연습의 이점에 관한 많은 문헌과 일치한다(인터리빙이 학습을 강화시키는 이유? 참조).

Blocking may have made it easier to notice similarities within a given artist’s paintings, whereas the value of interleaving appears to lie, at least in part, in highlighting differences between categories (Kang & Pashler 2012, Wahlheim et al. 2011). The benefit of interleaving is consistent with a large literature on the benefits of spaced practice in noninductive learning (e.g., Cepeda et al. 2006, Dempster 1996) (see sidebar Why Does Interleaving Enhance Learning?).


그림 5(컬러 삽입 참조)에서 알 수 있듯이, 코넬 & 비요크(2008a) 참가자의 대다수는 블록 학습이 인터리빙 학습보다 더 효과적이었다고 잘못 믿었다(비슷한 결과는 코넬 외, 2010, Wahlheimet al. 2011, Zulkiply 외, 2012 참조).

As Figure 5(see color insert) shows, the majority of Kornell &Bjork’s (2008a) participants incorrectly believed that blocking had been more effective than interleaving (for similar results, see Kornell et al. 2010, Wahlheimet al. 2011, Zulkiply et al. 2012).


블록 스케줄에서, 방금 제시된 범주의 이전 예는 매우 유창하지만, 인터리브 스케줄에서는 그렇지 않다. 따라서 블록으로 학습하는 것이 인터리빙보다 더 효과적인 것으로 평가된다. 이러한 인지적 오류는 비유인적 학습에서도 발생한다(Dunlosky &Nelson 1994, Kornell 2009, Simon &Bjork 2001, Zechmeister & Shaughnessy 1980).

In a blocked schedule, the previous example of a category, which was just presented, is highly fluent, whereas it is not in an interleaved schedule. Thus blocked studyingis ratedas more effective than interleaving. This metacognitive error occurs in noninductive learning as well (Dunlosky &Nelson 1994, Kornell 2009, Simon &Bjork 2001, Zechmeister & Shaughnessy 1980), although, as mentioned previously, students do tend to space their studying at least to some degree (see Son & Kornell 2009 and section What Do Students Believe About How to Learn?).



주관적인 경험이 예측의 가장 좋은 근거일 때.
When subjective experience is the best basis for predictions.

왜 교차연습이 학습을 향상시키는가?

WHY DOES INTERLEAVING ENHANCE LEARNING?


별도의 학습 주제 또는 절차에 대한 학습 세션 인터리빙은 주어진 주제 또는 절차에 대한 스터디 또는 연습 세션의 간격을 도입하지만 lnterleaving의 이점은 spacing의 이점 이상인가? 인터리빙은 학습해야 할 별도의 주제 또는 절차 사이의 간섭(검토의 경우, Lee 2012 참조)을 도입하고, 모터 기술 영역에서, 몇 번의 스트로크처럼 학습해야 할 별도의 기술에 대한 인터리빙 연습이 모터에게 요구된다는 생각에 대한 상당한 지원이 있다. 이러한 기술에 대응한 프로그램은 반복적으로 반복해서 실행되지 않고 다시 로드되며, 이는 학습 이점이 있다. 

Interleaving study sessions on separate to-be-learned topics or procedures introduces spacing of the study or practice sessions on a given topic or procedure, but do the benefits of interleaving go beyond the benefits of spacing? Interleaving introduces contextual interference, that is, interference among the separate topics or procedures to be learned (for a review, see Lee 2012), and in the domain of motor skills there is substantial support for the idea that interleaving practice on separate skills to be learned, such as the several strokes in tennis, requires that motor programs corresponding to those skills be repeatedly reloaded, rather than executed over and over again, which has learning benefits. 


그러나 다른 연구결과는, 특히 학습개념과 범주의 영역에서, 상호작용에 의해 도입된 상황적 간섭이 비교와 대조를 촉발하여, 다른 개념이나 범주가 서로 어떻게 관련되는지 상위 순서로 정신적 표현을 하게 하고, 그 결과 보존과 전이가 촉진된다는 것을 시사한다. 그러한 관점에서 interleaving의 이점은 실제로 spacing의 이점을 넘어서지만, 문제는 현재의 관심사와 연구 문제로 남아 있다(예: 강앤파슬러 2012, 테일러 & 로어 2010 참조).

Other findings, though, especially in the domain of learning concepts and categories, suggest that contextual interference introduced by interleaving triggers comparisons and contrasts that result in a higher-order mental representation of how different concepts or categories relate to each other, which then fosters retention and transfer. In that view, the benefits of interleaving indeed go beyond the benefits of spacing per se, but the issue remains a matter of current interest and research (see, e.g., Kang &Pashler 2012, Taylor &Rohrer 2010).


바람직한 어려움에 대한 학습 성과 및 직관적이지 않은 이점

Learning Versus Performance and the Unintuitive Benefits of Desirable Difficulties


사람들은 공부하는 동시에 공부에 대한 결정을 내리기 때문에, 그들은 공부하는 동안 최고의 성과로 이어지는 기술에 끌리는 경향이 있다. 예를 들어, 몰아치기 학습을 통해 스터디 활동을 더 쉽게 하는 것은 더 잘 배우고 있다는 판단을유도하는 경향이 있는데, 이는 학습을 더 편안하게 만드는 조건이 실제로 장기 학습을 감소시킬 수 있기 때문에 문제가 될 수 있다. 간격과 인터리빙, 답안 생성, 자기 시험, 학습 조건 변경과 같은 활동은 바람직한 어려움으로 알려져 있다(Bjork 1994, Bjork & Bjork 2011). 그들은 습득하는 동안 성과, 따라서 명백한 학습을 손상시키지만 장기 학습을 강화한다. 연구 결정의 기초로 유창성을 사용하는 것의 근본적인 문제는 학습자들이 종종 높은 유창성을 실제로, 어떤 상황에서는, 그 반대의 신호를 보낼 수 있을 때 높은 개선율을 나타내는 것으로 해석한다는 것이다.

Because people make study decisions while they are studying, they tend to be drawn to techniques that lead to the best performance during study. Making study activities easier—by, for example, massing practice—tends to increase judgments of learning, which is problematic because conditions that make learning seem easier can actually decrease long-term learning. Activities such as spacing and interleaving, generating answers, testing oneself, and varying the conditions of learning are known as desirable difficulties (Bjork 1994, Bjork & Bjork 2011). They impair performance—and, hence, apparent learning—during acquisition, but enhance long-term learning. The fundamental problem with using fluency as a basis for study decisions is that learners often interpret high fluency as signaling a high rate of improvement when it can actually, under some circumstances, signal just the opposite.




자기조절학습을 손상시킬 수 있는 태도와 가정들

ATTITUDES AND ASSUMPTIONS THAT CAN IMPAIR SELF-REGULATED LEARNING


[오류와 실수]의 의미와 역할 오해

Misunderstanding the Meaning and Role of Errors and Mistakes


오류와 실수는 일반적으로 학습 과정 중에 피해야 할 것으로 간주되며, 이는 부분적으로 학습자로서 자신의 부족함을 문서화하는 것으로 해석될 것을 우려하기 때문이다.

Errors and mistakes are typically viewed as something to avoid during the learning process,in part out of fear that they will be interpreted as documenting our inadequacies as a learner


이와는 대조적으로, 다양한 연구 결과는 오류를 만드는 것이 종종 효율적인 학습의 필수적인 요소라는 것을 암시한다.

A variety of research findings suggest, by contrast, that making errors is often an essential component of efficient learning.


반대로 오류를 제거하는 조작은 종종 배움을 없앨 수 있다. 따라서, 예를 들어, 습득해야 할 정보의 검색이 수선, 강력한 신호 지원 또는 다른 요인에 의해 성공을 보장할 정도로 쉽게 이루어질 때, 학습 이벤트로서의 그러한 retrieval의 이점은 대부분 또는 완전히 제거되는 경향이 있다(예: Landauer & Bjork 1978, Rawson & Kintsch 2005, Whitten & Bjork 1977).

Conversely, manipulations that eliminate errors can often eliminate learning. Thus, for example, when retrieval of to-be-learned information is made so easy as to insure success, by virtue of recency, strong cue support, or some other factor, the benefits of such retrieval as a learning event tend to be mostly or entirely eliminated (e.g., Landauer & Bjork 1978, Rawson & Kintsch 2005, Whitten & Bjork 1977).


오류를 범하는 것은 학습의 기회를 창출하는 것으로 보이며, 놀랍게도 높은 자신감과 오류가 동반될 때 특히 그러하다. 버터필드 & 메트칼프(2001)는 높은 자신감 상태에서의 오류와 낮은 자신감 상태에서의 오류를 비교하여, 높은 자신감 상태에서 뒤따를 때 특히 효과적이라는 것을 발견하고 이를 hypercorrection effect라고 불렀다. 교육적으로 현실적일 만큼 긴 보존 간격을 포함하여 현재 여러 번(예: Butler et al. 2011, Metcalfe & Pin 2011) 복제된 효과다.

Making errors appears to create opportunities for learning and, surprisingly, that seems particularly true when errors are made with high confidence. Butterfield &Metcalfe (2001) found that feedback was especially effective when it followed errors made with high confidence versus errors made with low confidence, a finding they labeled a hypercorrection effect. It is an effect that has now been replicated many times (e.g., Butler et al. 2011, Metcalfe & Finn 2011), including at retention intervals long enough to be educationally realistic.


기본적 메시지는, 정교한 학습자가 되기 위해서는, 단순히 낙담하기보다는, 오류를 범하고 고군분투하는 것도 학습의 중요한 기회로 보아야 한다는 것이다.

From the standpoint of becoming sophisticated as a learner, the basic message is that making errors and struggling, rather than being simply discouraging, should also be viewed as important opportunities for learning.


성능의 차이를 과대평가하여 능력의 차이점 식별

Overattributing Differences in Performance to Innate Differences in Ability


우리의 견해에 따르면, 우리 사회에는 무엇을 배울 수 있고 얼마나 배울 수 있는지를 결정함에 있어, [개인들 사이의 선천적인 차이]의 역할을 과대평가하는 경향이 있으며, 이러한 과대평가는 훈련, 실천, 경험의 힘에 대한 과소평가와 결합되어 있다. 타고난 차이를 과대평가하고, 노력과 실천의 역할을 과소평가하는 이러한 조합은 개인들로 하여금 그들이 배울 수 있는 것에 일정한 한계가 있다고 가정하게 하고, 결과적으로 그들 자신의 학습 능력을 과소평가하게 할 수 있다. 기본적으로 듀크의 (2006) 용어를 사용하기 위해서는 학습자가 고정된 사고방식이 아니라 성장형 마인드를 가질 필요가 있다. 

There is, in our view, an overappreciation in our society of the role played by innate differences between individuals in determining what can be learned and how much can be learned, and that overappreciation is coupled with an underappreciation of the power of training, practice, and experience. This combination of overappreciating innate differences and underappreciating the roles of effort and practice can lead individuals to assume that there are certain limits on what they can learn, resulting in an underestimation of their own capacity to learn. Basically, to use Dweck’s (2006) terms, learners need to have a growth mindset, not a fixed mindset. 


개인간의 차이는 중요하지만, 이것은 주로 new learning은 old learning에 바탕을 두고 있기 때문이다. old learning의 수준은 new learning에 필요한 것으로서 정말로 중요한 것이며, 개개인의 가정과 문화적 역사는 학습에 관한 개개인의 열망과 기대에 깊은 영향을 미치기 때문이다.

Differences between individuals do matter, but mostly because new learning builds on old learning, so the level of old learning an individual brings to new learning really matters, and because our personal family and cultural histories have a profound effect on our aspirations and expectations with respect to learning.


학습이 쉬워야 한다고 가정하는 것

Assuming That Learning Should Be Easy


마지막으로, 역효과를 낼 수 있는 또 다른 일반적인 가정은 배움이란 쉬운 것이고, 쉬워야 한다는 것이다. 그러한 가정은 

    • 다양한 "made-easy" 핸드북, 

    • 교실 내에서의 성과를 높이는 것이 중요하다는 일반적인 가정(그렇게 하는 것이 실제로 장기 학습을 손상시킬 수 있음에도), 

    • 그리고 우리 각자가 자신만의 학습 스타일을 가지고 있다는 생각에 의해 부채질된다. 

Finally, another common assumption that can be counterproductive is that learning can be, and should be, easy. Such an assumption is fueled by various “made-easy” self-help books, by the common assumption that it important to increase performance in classrooms (when doing so can actually damage long-term learning), and by the idea that we each have our own style of learning. 


매우 영향력 있는 학습스타일이라는 아이디어는 패슬러가 meshing hypothesis라고 이름붙인 것으로, 학습자가 학습 스타일과 맞물리는 방식으로 자료를 제시하면 학습이 효과적이고 쉬울 것이라는 가설이다. 기존의 증거를 검토하는 과정에서, 파슬러 등은 meshing hypothesis에 대한 지지를 찾을 수 없었고, 심지어 정반대를 시사하는 몇 가지 증거까지 발견하였다(예를 들어 시각/공간적 능력 점수가 높은 사람은 언어적 가르침에서 가장 많은 이익을 얻을 수 있는 반면, 대화자는 언어적 완화를 위해 높은 시험하는 개인에게는 진실일 수 있다).

The very influential styles-of-learning idea involves what Pashler et al. (2009) labeled a meshing hypothesis—namely, that learning will be effective and easy if material is presented to the learner in a way that meshes with his or her learning style. In their review of the existing evidence, Pashler et al. could find no support for the meshing hypothesis and even found some evidence that suggests the opposite—that, for example, someone with high visual/spatial ability scores may profit most from verbal instruction, whereas the converse may be true for individuals testing high for verbal abilities.


우리의 리뷰는 효과적인 배움이 재미있을 수 있고, 보람을 줄 수 있고, 시간을 절약할 수 있지만, 좀처럼 쉽지 않다는 것을 암시한다. 가장 효과적인 인지 과정에는 학습자가 연결과 연결, 예제 및 백표 작성, 생성 및 검색 등의 노력을 기울이는 것이 포함된다. 요컨대 효과적인 학습은 학습자의 적극적인 참여를 필요로 한다.

Our review suggests that effective learning can be fun, it can be rewarding, and it can save time, but it is seldom easy. The most effective cognitive processes involve some effort by the learner—to notice connections and linkages, to come up with examples and counterexamples, to generate and retrieve, and so forth. In short, effective learning requires the active participation of the learner.


어떻게 공부해야 하는가에 대한 FAQ

CONCLUDING COMMENTS ON SOME FREQUENTLY ASKED HOW-TO-STUDY QUESTIONS


"앞으로 있을 시험의 형식은 무엇인가요?"

“What Is the Format of the Upcoming Test?”


이것은 아마도 학생들이 가장 많이 하는 질문일 것이다. 그것은 "저것이 시험에 나올 것인가?"라는 질문과 유사하게 내용에 관한 것이 아니기 때문에 교사들을 짜증나게 할 수 있다. 그러나 이것은 학생이 자신의 학습을 규제하기를 원한다는 것을 의미하기 때문에 스스로 규제하는 학습의 관점에서 통찰력 있는 질문이며, 예를 들어 시험이 객관식 대 논술 형식을 가질 것인가에 따라 아마도 다르게 공부할 것으로 추측된다. 전자의 경우 단순히 관련 자료를 생략하기로 결정할 수 있는 반면 후자의 경우 논술을 반영하기 때문에 연습 시험을 시도할 수 있다. 

This may be the most common question students ask. It can annoy teachers because it is not about content, similar to the question “Will that be on the test?” It is, however, an insightful question from the standpoint of self-regulated learning because it implies that the student wants to regulate his or her own learning—and will presumably study differently depending on whether the test will have, say, a multiple-choice versus an essay format. For the former, they may decide to simply skim the relevant materials, whereas for the latter, they may attempt practice testing because doing so reflects essay writing. 


불행하게도, 이런 방식으로 제기된 질문은 학생들이 학습에 대해 가지고 있는 잘못된 인식을 더욱 부각시킨다. 왜냐하면 시험이 객관적 선택인지 에세이인지에 상관없이, 학생들은 학습할 자료를 elaborating하고, self-testing을 사용함으로써, 적극적으로 학습에 참여한다면, 원하는 정보를 더 잘 보존retain할 것이기 때문이다. (물론 어떤 유형의 시험이 있을지를 알면 성적이 더 높아지긴 한다; Lundeberg & Fox 1991). 

Unfortunately, the question posed in this manner further highlights misconceptions students have about learning, because regardless of whether the test is multiple choice or essay, the students will retain the sought after information better if they actively participate in learning, such as by elaborating on the to-be-learned material and by using self-testing (although knowing what type of test to expect can increase students’ grades; Lundeberg & Fox 1991). 


따라서 우리가 흔히 하는 대답은, 만약 시험이 당신이 '진정으로 이해했는지'를 확인하는 것이라고 가정한다면 당신은 최선의 결과를 얻을 것이다. 당신은 더 잘 기억해낼 수 있을 것이고, 필요한 정보를 생각해낼 것이다. 이는 시험문제가 사실의 회상에 대한 것이든, 이해했는지를 확인하는 문제이든, 문제를 해결하는 것이든 무관하다.

Thus, the answer we often give is that you will do best if you assume the exam will require that you truly understand, and can produce from memory, the sought-after information, whether doing so involves recalling facts, answering comprehension questions, or solving problems.



"나는 노트를 복사하여 공부한다. 그거 좋은 생각이야?"

“I Study by Copying My Notes. Is That a Good Idea?”


이 질문에 대한 답은 복사가 무엇을 의미하느냐에 달려 있다. 들은 그대로 copying하는 것은 수동적인 과정이기 때문에, 또한 그다지 효과적이지 않다. 그러나 노트를 다시 쓰거나 재편성하는 것은 적극적인 조직적이고 정교한 처리를 행하는데, 모든 입문 심리학 학생들은 교과서에서 알아야 할 가치가 있다(예: Schacter et al. 2011). 자신의 노트를 공부하고 나서 노트를 보지 않은 상태에서 재생산reproduce하려고 하는 것은 또 다른 능동적인 과정이며, 검색 연습의 학습 편익을 이용한다. 따라서 이 질문에 대한 대답은 해당 학생들이 노트를 복사할 때 정확히 무엇을 하는지 알아내야 한다.

The answer to this question depends on what is meant by copying. Because verbatim copying is a passive process, it is also not very effective. Rewriting one’s notes, however, or reorganizing them, exercises active organizational and elaborative processing, which all introductory psychology students should know from their textbook is valuable (e.g., Schacter et al. 2011). Studying one’s notes and then trying to reproduce them without the notes being visible is another active process and takes advantage of the learning benefits of retrieval practice. The answer to this question, therefore, requires finding out exactly what the students in question do when they copy their notes.


"벼락치기는 효과가 있나?"

“Does Cramming Work?”


반사적인 "아니오"는 이 질문에 대한 올바른 대답처럼 보이지만, 이 경우에도 대답은 그렇게 간단하지 않다. 우선, 만약 그 학생이 시험 전날 그 자료를 모른다면, 벼락치기는 벼락치기를 하지 않는 것보다 더 좋은 결과를 낼 것이다. 이 질문에 대한 가장 좋은 대답은 아마도 "무엇을 위해 일하는가?"일 것이다. 만약 그 학생의 목표가 다가오는 시험에 합격할 충분한 정보를 얻는 것이라면, 벼락치기 시험은 잘 볼 수 있을 것이다. 심지어 자주 벼락치기를 하면서도 학교에서 잘 하는 학생들도 있다(예: 하트비히 & 던로스키 2012). 장기적으로는 나쁘지만 벼락치기massing study session를 하는 것은, 단기적으로는 양호한 회수율을 얻을 수 있으며, 어떤 상황에서는 간격 학습 세션보다 훨씬 더 좋다(예: Rawson & Kintsch 2005). 

A reflexive “no” seems the right answer to this question, but even in this case the answer is not so straightforward. For one thing, if the student doesn’t know the material the day before the exam, cramming will produce a better outcome than will not cramming. The best answer to this question is probably “Work for what?” If the student’s goal is merely to obtain enough information to pass (or even do well on) an upcoming test, then cramming may work fine. There is even a subset of students who do well in school who frequently cram for tests (e.g., Hartwig &Dunlosky 2012). Massing study sessions, though bad in the long-term, can yield good recall at a short retention interval, even better than spacing study sessions under some circumstances (e.g., Rawson & Kintsch 2005). 


그러나, 만약 학생의 목표가 그들이 배우는 것을 더 오랜 기간 동안 유지하는 것이라면(예를 들어, 같은 주제에 대해 더 진보된 과정을 밟을 때까지), 벼락치기는 다른 기술에 비해 매우 효과적이지 않다. 다가오는 시험에서 좋은 성적을 내고 좋은 장기 유지가 목표라면, 학생들은 미리 공부를 하고 며칠에 걸쳐 학습 시간을 확보한 다음, 시험 전날 밤에 공부해야 한다(예: Kornell 2009, Rawson &Dunlosky 2011). 물론 교사들은 숙제, 주간 시험, 종합 기말고사를 이용하여 그러한 간격을 두고 공부하는 것을 장려할 수 있다.

If, however, a student’s goal is to retain what they learn for a longer period of time (e.g., until they take a more advanced course on the same topic), cramming is very ineffective compared to other techniques. If good performance on an upcoming test and good long-term retention is the goal, then students should study ahead of time and space their learning sessions across days, and then study the night before the exam (e.g., Kornell 2009, Rawson &Dunlosky 2011). Teachers, of course, can use homework assignments, weekly exams, and comprehensive finals to encourage such spaced studying.


"나는 내가 예상했던 것보다 훨씬 더 성적이 나빴다. 어떻게 된 거야?"

“I Did So Much Worse Than I Expected. What Happened?”


학습을 과대평가하는 많은 방법들이 있으며, 어떤 사람들은 시험 준비 상태를 일관되게 과대평가한다. 앞서 이 검토에서 논의한 바와 같이, 그러한 과대평가로 가는 두 가지 경로는 

    • 사후판단 편향으로서, 시험 대상 자료를 보고 그것을 이미 알고있었다고 생각하는 것과 

    • 선견지명 편향이며, 해답이 존재하지 않고 시험에 요구될 때 다른 가능한 해답이 떠오를 것이라는 것을 알지 못하는 것이다. 

As summarized in our review, there are many ways to overestimate one’s learning, and some of us consistently overestimate our preparedness for exams. Two routes to such overestimation, as discussed previously in this review, are hindsight bias, looking at to-be-tested material and thinking that it was known all along, and foresight bias, not being aware that when the answer is not present and required on the test other possible answers will come to mind. 


아마도 이 질문에 대한 가장 좋은 대답은 간단하다. 완전히 알 때까지 정답을 확인하지 않고 의미 있는 자가 테스트를 수행하십시오. 그래야만 정보를 알고 있다는 확신을 가질 수 있다(그리고 그때도 망각은 여전히 일어날 수 있다).

Perhaps the best answer to this question is a simple one: Take a meaningful self-test without checking the answers until you are done. Only then can you be confident that you know the information (and even then, forgetting can still occur).


“How Much Time Should I Spend Studying?”


이것은 사실 학생들이 결코 하지 않는 질문이지만, 아마도 이런 질문도 해야 할 것이다. 단순히 공부에 많은 시간을 보내는 것만으로는 충분하지 않다. 왜냐하면 그 시간은 매우 생산적이지 않게 소비될 수 있기 때문이다. 하지만 학생들은 효과적인 공부와 그렇게 하는 데 충분한 시간을 소비하지 않고는 뛰어날 수 없기 때문이다. 상황을 더 어렵게 만드는 것은, 자신의 학습 시간을 모니터링하는 것 자체가 어렵다는 사실이다. 왜냐하면 학습 세션, 심지어 수업에 출석하는 것조차 이메일, 온라인 쇼핑, 소셜 네트워크, 유튜브 등에 쓰는 시간도 포함할 수 있기 때문이다.

This is actually a question students never ask, but perhaps should. Simply spending a lot of time studying is not enough, because that time can be spent very unproductively, but students cannot excel without both (a) studying effectively and (b) spending enough time doing so. Compounding the problem, it is difficult to monitor one’s own study time—because study sessions, even attending class, can include email, online shopping, social networks, YouTube, and so on.


"좋은 성적을 받고 학교에서 성공하기 위해서는 어떻게 공부해야 할까?"

“How Should I Study To Get Good Grades and Succeed in School?”


이 질문은 정말 기본이고 대답에 할 말이 많다. 비록 단 한 가지 대답도 없다. 자가 테스트와 연습 간격과 같은 일부 전략은 일반적으로 광범위한 자료와 맥락에서 효과적이라 보이지만, 많은 전략은 그렇게 광범위하게 효과적이지 않으며 항상 유용하지는 않을 것이다. 예를 들어, 어떤 사람이 읽고 있는 것을 요약하는 것이 타당하지만, 필기 요약은 항상 학습과 이해에 도움이 되지 않으며 요약 작성에 어려움을 겪는 학생들에게 덜 효과적이다(Dunlosky et al. 2012). 더욱이 물리학 문제 집합을 요약하는 것은 적절하지 않을 수 있다. 

This question is truly basic and there is much to say in response, though not any single answer. Some strategies, such as self-testing and spacing of practice, do seem generally effective across a broad set of materials and contexts, but many strategies are not so broadly effective and will not always be useful. It makes sense to summarize what one is reading, for example, yet writing summaries does not always benefit learning and comprehension and is less effective for students who have difficulty writing summaries (Dunlosky et al. 2012). Moreover, summarizing a physics problem set may not be appropriate. 


다른 학생들과 함께 공부하는 것은 잘 되면 효과적일 수 있지만(예: 학생들이 교대로 서로 시험하고 피드백을 제공한다면) 그러한 세션이 사회적 사건social event으로 바뀌거나 한 그룹 구성원이 앞장서서 다른 모든 사람들이 수동적인 관찰자가 된다면 분명 잘 되지 않을 것이다.

Studying with other students may be effective if done well (e.g., if students take turns testing one another and providing feedback), but certainly will not work well if such a session turns into a social event or one group member takes the lead and everyone else becomes a passive observer.



배움에 대해 배울 것이 많다.

There is much to learn about learning.


요약

SUMMARY POINTS


1. 우리의 복잡하고 급변하는 세계는 점점 더 자기 주도적이고 자기 관리적인 학습을 요구하는데, 이는 단순히 공식적인 학교 교육과 관련된 몇 년 동안만이 아니라, 평생에 걸친 것이다.

1. Our complex and rapidly changing world increasingly requires self-initiated and self-managed learning, not simply during the years associated with formal schooling, but across the lifespan.


2. 배우는 법을 배우는 것은 그러므로 중요한 생존 도구지만, 학습자, 기억, 인지 과정에 대한 연구는 학습자가 학습자로서 그들의 효과를 향상시키기 보다는 손상시킬 수 있는 학습에 대한 직관과 믿음을 갖기 쉽다는 것을 보여주었다.

2. Learning how to learn is, therefore, a critical survival tool, but research on learning, memory, and metacognitive processes has demonstrated that learners are prone to intuitions and beliefs about learning that can impair, rather than enhance, their effectiveness as learners.


3. 학습자로서 정교해지는 것은 저장소의 특성과 학습할 지식 및 절차에 대한 후속 접근을 특징짓는 인코딩 및 검색 프로세스에 대한 기본적인 이해뿐만 아니라, 어떤 학습 활동과 기법이 장기적인 보존과 전송을 지원하는지를 알아야 한다.

3. Becoming sophisticated as a learner requires not only acquiring a basic understanding of the encoding and retrieval processes that characterize the storage and subsequent access to the to-be-learned-knowledge and procedures, but also knowing what learning activities and techniques support long-term retention and transfer.


4. 진행 중인 학습을 효과적으로 관리하려면 학습이 달성된 정도에 대한 정확한 모니터링이 필요하며, 그 모니터링에 대응한 학습 활동의 적절한 선택과 제어와 결합되어야 한다.

4. Managing one’s ongoing learning effectively requires accurate monitoring of the degree to which learning has been achieved, coupled with appropriate selection and control of one’s learning activities in response to that monitoring.


5. 학습 중 성과를 높이는 조건이 장기 보유와 전이를 지원하지 못할 수 있는 반면, 어려움을 일으키고 획득 과정을 늦추는 것으로 보이는 다른 조건들은 장기 보유와 전이를 향상시킬 수 있기 때문에 배움의 달성 여부를 평가하는 것은 어렵다.

5. Assessing whether learning has been achieved is difficult because conditions that enhance performance during learning can fail to support long-term retention and transfer, whereas other conditions that appear to create difficulties and slow the acquisition process can enhance long-term retention and transfer.


6. 학습자 자신의 학습 정도에 대한 판단도 학습자가 습득한 정보를 인지하거나 상기하는 유창함 같은 주관적 지수의 영향을 받지만, 그러한 유창함은 학습이 달성되었는지 여부와 무관한 낮은 수준의 프라이밍과 기타 요인의 산물이 될 수 있다.

6. Learners’ judgments of their own degree of learning are also influenced by subjective indices, such as the sense of fluency in perceiving or recalling to-be-learned information, but such fluency can be a product of low-level priming and other factors that are unrelated to whether learning has been achieved.


7. 학습자로서 최대의 효과를 거두기 위해서는 오류와 실수를 학습자로서의 자신의 부족함을 반영하는 것이 아니라 효과적인 학습의 필수 요소로서 해석해야 한다.

7. Becoming maximally effective as a learner requires interpreting errors and mistakes as an essential component of effective learning rather than as a reflection of one’s inadequacies as a learner.


8. 최대의 효과를 거두기 위해서는 인간이 배워야 할 믿을 수 없는 능력에 대한 감상도 필요하며, 자신의 학습 능력이 고정되어 있다는 사고방식을 피해야 한다.

8. To be maximally effective also requires an appreciation of the incredible capacity humans have to learn and avoiding the mindset that one’s learning abilities are fixed.









 2013;64:417-44. doi: 10.1146/annurev-psych-113011-143823. Epub 2012 Sep 27.

Self-regulated learningbeliefstechniques, and illusions.

Author information

1
Department of Psychology, University of California, Los Angeles, California 90095, USA. rabjork@psych.ucla.edu

Abstract

Knowing how to manage one's own learning has become increasingly important in recent years, as both the need and the opportunities for individuals to learn on their own outside of formal classroom settings have grown. During that same period, however, research on learning, memory, and metacognitive processes has provided evidence that people often have a faulty mental model of how they learn and remember, making them prone to both misassessing and mismanaging their own learning. After a discussion of what learners need to understand in order to become effective stewards of their own learning, we first review research on what people believe about how they learn and then review research on how people's ongoing assessments of their own learning are influenced by current performance and the subjective sense of fluency. We conclude with a discussion of societal assumptions and attitudes that can be counterproductive in terms of individuals becoming maximally effective learners.



자기조절학습의 구성요인과 학습효과에 관한 고찰(아시아교육연구, 2004)


박성익(朴成益)1) · 김미경(金美慶)2)





Ⅰ.  서  론


인간의 학습에 관한 연구의 주류를 이루고 있는 최근의 구성주의 관점에 따르면, 학습자가 스스로 지식을 구성하며 능동적으로 학습을 수행하는  것이  효과적  학습의  첩경이라고  강 조하고  있다.  이러한  최근의  연구동향에  따르면,  학습력을  증진시키기  위하여  학습자의  인지   적  측면에  초점을  둔  종래의  연구로부터  벗어나   학습자의  정신과정과   학습과정에서   작용하  는 학습자 특유의 동기  요인과  학습전략  요인을  동시에  조작시켜주게  되면  학습력을  신장  시켜줄 수 있다는 것이다(박성익,  2000).  즉  학습자가  자신의  학습특성에  맞는  학습방법을 스스로 탐색하여 조절하게 되면 학습효과가 상당한 정도로  증진될  수  있으므로,  학습활동의  수행에  있어서  학습자가  주체가  되어  전반적인  학습상황을  스스로  조절하는  ‘자기조절학습’     에 대한 연구의 관심이 커지고 있다.


자기조절학습이란 학습자가 스스로 학습요구를 파악하여 학습과정이 최적화될 수 있도록 통제·조절하면서, 학습목표의 성취를 위하여 적합한 학습전략들을 적용함으로써 의미있는 학습활동과  결과를  산출해  내는  과정을  말한다.  자기조절학습은  학습자가  능동적   주체가   되  어 학습하도록 하고, 효과적인 학습의 과정을 조작하며 수행하게 된다. 또한 자기조절학습은 학습자가  메타인지적,  동기적,  행동적  전략의  선택적  사용을  통해  스스로  학습능력을  개선할   수 있고, 학습자가 자신의 상황에 맞게 학습환경을 선택하고 구성하며 학습의 양과 형태를 선택하는데 있어서 학습자가 주도적인 역할을 한다(Bandura, 1986; Corno  &  Mandinach,  1983; Schunk, 1989; Zimmerman, 1986, 1989).


McCombs와 Marzano(1990)는 학습자가 학습활동의 전개에 있어서 의지력을 갖고 있는 결정권자로서, 메타인지,  인지,  정의적인  체계를  통제하고  관리하여  자신만의  고유한  학습환 경을  창출해나가는  역동적인  학습주체자임을  지적하고  있다.  특히  학업성취를  결정하는   요 인에  대한  연구분야에서  과거에는  교수방법이나  환경과  같은  학습자의  외적   요인을   중심으   로 연구가 주로  이루어졌으나  최근에는  학습자의  인지과정과  동기  등의  학습자  내적  요인에 대한 연구가 활발하게 이루어지고 있다(박승호, 1999; Stipek & Gralinski, 1996). 이를 테면, Pinterich와 Groot(1990)는 자아효능과 내재적 가치가 인지전략 사용 및 학업수행 결과에 유의미한 영향을 미치고 있고 시험불안, 자기조절, 자아효능감은 학업성취를 예언할 수 있는 결정적인 요소들이라고 주장하였다. 인지와 동기에 대한  자기조절학습의  연구결과에  따르면 학습은 결코 외부의 영향에 의해 완전히 통제될 수 없고 항상 자기조절 요소를 포함한다는 것이다(Weinert, 1983). 또한 Paris와 Lipson(1983)은 학습자가 학업성취를 높이는 데에는 인 지전략 측면에서 자기조절이 잘 이루어져야 한다고 강조하였다.


그러나 우리나라에서는 90년대 후반부터 자기조절학습과 학업성취도와의 관계에 대한 연 구가 부분적으로 이루어져오고 있으나 아직 이에 관한 총체적이고 종합적인 분석적 고찰 연  구를 찾아보기는 그리 쉽지 않다. 그리하여 자기조절학습이 학업성취도에 미치는 영향을 규 명해보고자 지금까지 이루어져왔던 자기조절학습에 관한 연구들의 실증적인 연구결과를 검 토해 볼 필요가 있다.


이에 본 연구에서는 자기조절학습의 의미를 알아보고, 선행연구의 분석적 고찰을 통해서 자기조절학습의 구성요인에 관해 심층적으로 고찰해보고자 한다. 또한 자기조절학습의 구성 요인들이 학업성취에 어떠한 영향을  미치며,  그러한  구성요인들은  상호 어떠한 관련성을  맺 고 있는지를 탐색해 보고자 한다.


Ⅱ. 자기조절학습의 구성요인에 관한 다양한 관점 및 실증적


연구결과 고찰


1. 자기조절학습의 개념과 세 가지 구성요인


자기조절학습에  관한  연구는  인간의  자기통제  혹은  자기조절에  관한  연구에서  비롯되었으  며, 1980년대 이후 Zimmerman, B. J.과 그의 동료들이 적극적으로 연구를 수행해 왔다.  연  구자에 따라서 자기조절학습과 자기주도학습을 혼동하여 사용하는 경우도 있고  극단적인  경  우에는  거의  동일한  용어로  이해되는  경우도  있다.  그러나   엄밀하게  따져보면,   자기조절학습 과  자기주도학습은  서로  유사한  특성을  지니고  있지만   동일한   개념으로  받아들이기는  어렵  다.


자기주도학습은 성인교육에서 다루는 개념으로서 1960년대부터 1970년대에 걸쳐 미국,  캐  나다. 영국 등지에서 개발되었고, 그 이후 점차적으로 평생교육, 성인교육, 계속교육 연구자  들로부터  관심을  받아온   개념이다.   자기주도학습은   학습과정을   교사·지도자·교재·교육기관 등 다양한 교육자원을 이용하여 학습자 자신이  학습의  전체  과정을  계획하고,  통제하고,  감 독하며, 학습자 자신이 이러한 활동들에 대하여 제1차적인 책임을  지는  학습방법을  말한다  (박성익, 2000).  자기주도학습의  주요  개념은  학습의  자기주도성(self-directedness),  학습자  의 주도(self-direction)이다. 즉  자신의  학습목적  및  수단에  대한  선택과  결정에  있어서  타  인의 통제를 전혀 받지 않는다. 또한 타인의 도움없이 학습자 자신이 주도권을 쥐고 자신의 학습요구를 진단하고 학습목표를 공식화하고 학습자원을 동일시하고 학습전략을 선택하고, 실행하며 학습성과를 평가하는 등, 학습과정 전체의 실행에서 주도권을 갖는다.


반면에, Corno(1989)는 자기조절학습이란 학습자가 스스로 학습내용을 심화된  인지적  망 구조를 형성하고, 나아가  그  심화된  과정을  점검하여  개선하는  것을  자기조절학습으로  보았 으며, Schunk(1989)는  자기조절학습은  수업  참석과  집중,  기억된  정보의  조직화,  부호화,  시 연, 생산적인 학습 환경의 조성, 자원의 효과적인 활용,  개인의  능력,  학습의  중요성,  학습에  영향을 주는 요소들, 활동의 예상과 결과, 개인의 노력에 대한 만족과 자신감의 경험  등을  포함한다고 지적하였다. Zimmerman(1989)은 아동이 학습할 때, 아동이  스스로  메타인지  적으로, 동기적으로, 행동적으로 학습에 참여하는  능동적  학습이  자기조절학습이라고  정의하  였다. Zimmerman(1989)은  학습을  조절하는  세  가지  결정요인으로  개인적  과정,  환경,  행동 을 지적하고 있다. 또한  전략은  학습자에게  그들의  행동과  환경,  그리고  그들의  감춰진  기능  까지 조절할  수  있게  해준다고  지적하였다.  학습자는  목표설정과  계획,  시연,  암기,  조직화,  변형 등의  전략과  자신감,  성취감,  자기동기부여를  통한  개인의  행동,  자신이  처한  환경에 알맞게  학습하거나  학습하기  좋은  조건으로  환경을  개선하는  등의  노력,  학습  자료의  수집  등을 통해서 학습 목표에 도달할 수 있게 된다.


그리고 Pintrich와 De Groot(1990)는 학습자가 자신에게 주어진 학습자료를 지각한 후에 그것을 조직하여 장기기억에 저장했다가 필요할 때 인출해내는 인지능력과 인지를 관리하고 통제하는 상위인지능력을 자기조절학습으로 정의하면서, 자기조절기능에는 학습자의 계획, 조절, 인지의 수정, 학습과제에 대한 노력의  관리와  통제,  그리고 학습자가  학습하고  기억하  며 이해하기 위해 사용하는 인지전략이 포함된다고 언급하였다. Sink(1991) 등은 여러 학자 들의 연구를 종합하여 자기조절학습의 구성요인을 인지적인 측면과 정의적인 측면으로 파악 하였다. 

    • 전자는 영역 특수적인 지식과 전략, 일반적 학습전략, 학습과 수행에 대한 메타인지적  통제가  포함되며,  

    • 후자에는  일반적인  자기효능감   영역,   특수한   자기효능감   영역,  통제부 위, 내적동기, 자아존중감, 완성경향성 등이 포함된다고 주장하고 있다.


이상에서 살펴본  여러  학자들의  견해들을  종합하여  보면,  자기조절학습에  대한  개념적  정 의는 학자들 간에 합의된 견해를  찾아보기  힘들다.  그러나  여러  학자들의  견해를  참조하여  필자는  ‘자기조절학습이란  효과적·효율적  학습을  위해서  학습자가  스스로  학습목표를   설정 하고 내재적·외재적  동기를  수시로  부여하며  적절한  학습환경을  조성하고  학습자원을  관리  하는  학습방법’이라고  정의하고자  한다.  그러므로  자기조절학습은  심리학에  이론적   기반을  두고 있고, 학습과정에서 메타인지를  이용해서  학습의  효과성  및  효율성을  높이는데  관심을  둔다.  학습자는  학습에  올바른  것이  무엇인지,  학습동기는  적절한  수준인지를   스스로   고려하 고 판단함으로써 학습의 효과를 높이고, 자신이 스스로 파악한 피드백을  중요시한다. 


자기조절학습은  메타인지,  동기,  행동  요인을  포함한다.  즉  자기조절학습이란   학습활동을 수행할  때,  메타인지,  동기,  행동의  측면에서  학습과정에   적극적으로   참여하는   것을   의미하 며, 자기조절기능이 학업성취를 향상시키는 실제적인 심리기제라고 말할 수 있다. 여기서 

    • 메타인지를  활용하여  학습에  참여한다는  것은  학습자가  학습과정  중에   학습을   계획하고,   목적 을 설정하며, 자기점검과  자기평가를  실행하는  것을  말한다.  그리고  이러한  과정을  통하여 자신의  학습을  지각하고  자신의  학습에  대한  통찰력과  확신을   갖게   된다.   

    • 또한 동기차원에   서 보면, 자기조절 학습자는 자아효능감이 높고, 자기귀인을 하며, 내재적  흥미를  가지고  접  근한다.  

    • 행동차원에서  학습에  적극  참여한다는  것은   자기조절  학습자가   자신의   학습목적 을  달성하기에  가장 적합한 환경을  선정하고,  구조화하며,  학습하기에  가장   적합한   장소를 찾고 학습과정 중에 자기교수와 자기강화를  하는  것이다.  

요컨대,  Zimmerman(1986)이  지적  한 바와 같이, 자기조절학습자는 자신의 학업성취를 향상시키기 위해 학습시 메타인지전략, 동기전략, 학습전략을 체계적으로 사용한다.




2. 자기조절학습의 구성요인에 관한 다양한 관점 검토


학자마다 각자의 관점에 따라서  자기조절학습의  구성요인을  약간씩  달리  개념화하고  있 다.


자기조절학습에  관한  인지적  구성주의  관점에서는   내적   동기의   중요성을   강조하고,   이러 한  내적  동기의  구성요소가  곧     학습을  조절하는  동기로  설명하고  있다.  특히  이  관점에서     는 자기조절 학습자의 인지적  능력은  메타인지  측면에서  심사·통제될  수  있다고  보고,  자기  능력,  노력,  학문적   과제,   교수전략을   핵심적인   자기조절학습의   방법으로   제시하였다(Paris & Byrnes, 1989). 자기조절의 동기화 측면에서 동기를 경험으로부터 의미를 구성하려는 과 정이라고 설명한다.


자기조절학습에 대한 의지조절 관점에 따르면, 자기조절학습에 있어서 인간의 의지가  학  습에 커다란 영향을 미치는 요인이라고 설명한다. 이 관점에서는 잠재된  심리적인  힘이  인  간의 행동을 통제하게 되며, 학습자의 가치관과 기대수준에 따라서 학습을 조절하는 심리적 귀인을 동기로 봄으로써 동기 측면을 강조한다. Kuhl(1984)은 자기조절을 하도록 동기를 유 발하는 것은 구체적인 목표를 달성하려는 유인가와 기대 등에 의해 결정된다고 주장한다. Corno(1989)는 자기조절학습에 대한 인간의 의지조절 관점을 지지하는 연구자들이 주의 통  제, 부호화 통제, 정보처리 과정 통제, 정서 통제, 동기 통제, 환경 통제를 핵심적인  자기조 절학습 전략으로 밝히고 있다는 점을 강조하면서 자기조절학습의 주요한 구성요인으로 메타인지전략, 학습전략, 동기전략 측면을 제안하고 있다.


자기조절학습에 대하여  사회인지적  관점은  Bandura의  사회학습이론에  그  근거를  두고  있 다.  이  관점은  학습결과에  대한  성취기대와  자아효능감이  학습을  조절하는  동기라고  설명한   다. Bandura(1982)의 계획, 자기평가, 자기조절은 메타인지적인 측면을 보여주고 있고, 문제 해결과 의사결정기술은 학습전략적인 측면을 나타내고 있다. Bandura(1971)는  자기조절의  동기화 측면에서 자기강화, 결과기대, 자아효능감이 동기유발을 결정한다고  지적하면서  동기 측면을  설명해주고  있다.  Bandura(1986)는  인간이  기능을  발휘하는데  개인적,  행동적,  환경  적 영향이 서로 상호작용하면서 영향을 미치고 있다고 주장한다.


자기조절학습에 대하여 현상학적 관점에서는 자기지각의 중요성과 자아정체감이라는 동기 적인 측면을 강조한다. 이러한 관점에 따르면 자아개념을 증가시키고 현실화시키는 것이 학  습을 조절하는 동기를 유발시키게 된다는 것이다. 특히 McCombs(1989)는 자기조절의 핵심 과정으로 자기평가, 계획, 목표설정, 점검, 정보처리, 부호화, 인출전략을  강조하고  있으며,  이는 학습전략의 중요한 요인들이라고 지적하고 있다.


자기조절학습에 대한 인지심리학의 관점에서는 자아 관련 내부언어와 과제  관련  내부언어  가 학습 조절  동기를  부여하는 심리적  원인으로 본다. 자아  관련  내부언어는  학습자가 학습  을 하는데 있어서 자기통제를  향상시키는데  필요한  동기적·정서적  언어를  말하고,  과제  관 련 내부언어는 학습자가 스스로 학습하는데 있어서 과제 통제를 증가시키는데 사용되는 문 제해결전략을 말한다. 이 관점에 따르면 자기조절의 주요 과정은 자기중심적 언어이다. Vygotsky(1962)는 자기중심적 언어를 외적 언어  통제에서부터  내적  언어  통제로 이동해가 는 과도기적 언어이고, 언어가 내면화 되었을 때 자기 지시를 할 수 있다고 본다. 즉 아동이 성장함에 따라 자기중심적 언어가 사라지는 것이 아니라 내면화되어 내적  언어가  될  때  비 로소 자기조절이  가능해진다.  Vygotsky(1962)는 아동의 발달에 있어서 사회적 환경의 역할  을 중요하게 여겼다. 발달은 사회적 상호작용을 통해서 이루어지며 이러한 과정에서 습득된 지식은 자기조절을 하게 하는 바탕을 이룬다는 것이다. 또한 Vygotsky(1962)는 자기조절의 발달과정들을 내면화라는 개념을 이용하여 설명하였다. 그에 의하면 어린이와 성인간의  사  회적 상호작용은 어린이에게 내면화될 내용을 제공해 준다고 한다. 이렇게 내면화가 되면 어린이는 개인 내적 수준에서 자기지시를 할 수 있게 된다.


이상에서 살펴본 바와 같이 관점에 따라서 자기조절학습을 제각기 설명하고 있음에도 불구하고, 자기조절학습의 공통된 구성요인을 찾아보면 다음과 같이 요약할 수 있다. 

    • 우선, 학 습상황에서 학습자는 메타인지, 동기, 학습  전략  등  자기조절학습전략을  체계적으로  사용하 여 자신의 학업성취를 향상시키고자 하며,  학습자는  능동적으로 학습에 대응하는  것으로  본 다. 

    • 다음으로, 자기조절학습에 있어서 학습자는 학습 중에 학습의 효과를 알아보기 위해 자 기지향적인 피드백을 사용한다. 즉 학습의 효과를 높이기 위해서 학습자 자신에게 적합한 학습방법을 찾고 학습전략을 세우는 등 학습자 스스로 학습의 과정을 계획하고 전개한다. 

    • 마지막으로, 자기조절학습에 있어서 학습자는 특정 자기조절학습 전략을 선택하여 사용하는 동기를 스스로 유발시킬 수 있다. 

      • 현상학적 관점에서는 자아개념에 대한  인식,  

      • 사회적  인지 주의 관점에서는 기대와 자기효능감에 의해서 자기조절학습이 이루어진다고 설명하고 있다. 

      • 또한 의지조절 관점에서는 학습자의 의지와 기대, 

      • 심리학적 관점에서는 내부언어를 자기조 절학습의 유인체로 보고 있으며, 

      • 마지막으로 인지적 구성주의 관점에서는 내적 동기를 자기 조절학습이 이루어지게 하는 주요한 요인으로 보았다. 

    • 동기는 학습행위를 강화시키는 심리적 귀인으로서 학습과정에 적극적 참여를 유발시키는 요인이라고 볼 수 있다..

 


3. 자기조절학습 구성요인에 관한 실증적 연구결과 고찰


Zimmerman(1989), Zimmerman과 Martinez-Pons(1986)의 연구결과에서는 인지와 동기의 통합적인  역할을  강조하였고,  개인적,  행동적,  환경적  요소가  자기조절학습의  결정적  요인으    로  밝혀졌다.  

    • 인적  요인으로는  학생의  지식,  메타인지  과정,  목표,  불안,  자기효능감  등이 있고,  

    • 행동적  요인에는  자기관찰,  자기판단,  자기반응  등이   있다.   

    • 환경적  요인에는   모  방,  언어적  설득,  사회적  지원과  학습환경의  구조화  등을   제시하고   있다.   


한편  자기조절학습 의 구성요인에  관하여  Pintrich(1989)의  연구에서는  자기조절학습의  핵심  요인으로  인지적 요인, 자원관리 요인, 동기  요인을  지적하고  있다.  

    • 인지적  요인으로는  할당된  시간의  관리, 과제를 수행하기 위한 노력의 분배관리,  필요한  도움의  요청  등을  포함하며,  

    • 자원관리  요인 으로는 주어진 상황의 환경적 여건  관리를  들고  있고,  

    • 기  요인으로는  내적  지향,  과제의  중요성, 신념, 성공에  대한  기대를  포함한다고  지적하였다.  


또한  Pintrich와  De  Groot(1990)  는 자기조절학습에 동기를  포함시켜  동기화된  자기조절학습을  강조하였다.  그들은  44개의 문항을 요인 분석하여 동기적 신념과 자기조절학습 전략으로 구분하고 동기적 신념 속에 자 아효능감, 내재적 가치, 시험불안을 포함시키고,  자기조절학습  전략  속에는  인지전략,  자기조  절을 포함시켰다.


자기조절학습의 구성요인을 체계적으로 탐색한 Linder와 Harris(1992)는 메타인지, 학습전략, 동기, 상황적  민감성,  환경이용과  통제의  5개  차원의  71개  문항으로  이루어진  자기조절  학습 검사(Self-Regulated Learning Inventory : SRLI)를 개발하였다. 여기서 

    • 타인지는 인 지조절,  인지에  대한  지식,  자기반성적  인식을  말하고,  

    • 학습전략이란   성공적인   학습촉진을  위해 계획·조직하기, 학습목표달성을 위해  기술  세분하기,  학문적인  목표를  달성하기  위한 절차를 의미한다. 또한 

    • 동기란 노력과 결과의 관계를 인식하기, 성취감·능력감, 학습욕구를 의미하고, 

    • 상황적 민감성이란 과제 요구를 측정하는  능력,  과제  요구를  조절하는  능력,  학습 과제와 평가사이의 관계를  판단하는  능력을  말하며,  

    • 경  이용과  통제란  도움  구하기,  계획  하기, 학습 환경 만들기를 의미한다.


Schunk(1994)의  연구결과에  따르면,  학생들의  전략  사용과  그들의  성취신념에  대한  자기조절이 학습노력을 지속시키고  성취를  강화시킨다는  것이다.  즉  학습자  스스로  자신에  효과  적인  전략을  발견하고  이를  자신의  학습에  최대한   이용하게  된다는   것이다.   효과적인  전략   의 사용은 자아효능감을 증진시킬 수 있으며 또한 자기조절에 대한 동기를 향상시킨다는 것 이다(Bandura, 1986; Bandura, 1997; Zimmerman & Martinez-Pons, 1990). Schunk(1993)는 전략의  사용에  있어서  ‘과정목표의  기술’과  ‘전략을  포함한   목표’를  중요시하였다.   과정목표   의 중요한 기술은  전략의  적용을  숙달하는  것이다.  비록  완숙목표와  수행목표가  구체성,  근  접성,  난이도  면에서  유사한  특성을  가졌다  하더라도  자기조절의  효과에  있어서  서로  다르  다는 것이다. 

    • 완숙목표는 기능의 향상을 위한  방법으로  전략  사용에  중점을  둔다.  학습자는  그들이 유용한  전략을  습득했다고  믿었을  때,  자신의  학습을  크게  통제할  수  있게  된다.  

    • 수행목표는 완숙목표보다 전략의 중요성을 전해주지 못한다.  전략이  많이 기여하지   못한다고   생각하는   학습자는   전략을   체계적으로   사용하지   못하거나   학습에   대한 자신감을 갖지 못하게 된다는 것이다(정미경, 2000; Schunk, 1993).

 


Ⅲ. 자기조절학습의 구성요인들이 학업성취에 미치는 영향


Zimmerman과 Martinez-Pons(1986)는 학생들의 자기조절학습전략의 사용과 학업성취도간 의 관계를 연구한 결과, 학업성취수준이 높은 학습자들은 다양한 자기조절학습전략을 사용 하였으나 학업성취수준이 낮은 학습자들은 몇 가지의 전략만을 사용하여 비능률적인 학습을 한다고 보고하였다. 또한 자기조절학습의 하위요소들은 학업성취에 유의미한 영향을 미치고 있으며, 이는 학업성취변량의 약 80%까지 설명해준다고 보고하였다. 자기조절학습을 연구한 학자들이 공통적으로 지적하고 있는 자기조절학습의 세 가지 심리적  구성요인인  메타인지  요인, 학습전략 요인, 동기 요인을 중심으로 학업성취에 미치는 실증적  연구  결과를  검토해 보면 다음과 같다.


1. 자기조절학습 구성요인중의 하나인 ‘메타인지요인’이 학업성취에 미치는 영 향


메타인지란 인지에 대한 인지로서 인지적인  과제를  성취하기  위해  자신의  생각에  적용하 는 의도적이고, 계획적이며, 목표지향적인 사고를 말한다(Flavell, 1987). 메타인지와 학업성 취의 관계분석에서 정적인 상관을 보고한 연구들은 메타인지 사용과 학업성취도와의 관계, 그리고 학습자에 따른 메타인지 사용차이와 학업성취도의 관계를 분석하고 규명해왔다. 고 등학생을 대상으로 한 이달석(1991)의 연구에서는 메타인지는 학업성취도를 예견할 수 있는 변인임을 밝혔다. 또한 김희수(2000)의 초등학교 수학과제의 연구에서  메타인지 전략의 활용 이 문제의 이해력, 문제해결력, 문제해결의 정확성, 자신감 등의 영역에서 높은 성취도를 보 임으로써 학업성취에 매우 긍정적인 영향을 주는 것으로 밝혀졌다.


학습우수아와 학습부진아간의 메타인지의 차이에 관한 연구를 수행한 Winograd(1984)는 중학교 2학년 학생들을 대상으로 요약과제 수행의 어려움은 전략적 기능에서의 어려움과 관 련성이 있는지를 밝혀보고자 요약능력, 중점 파악능력, 그리고 전환능력을 체계적으로 연구 하였다. 그 결과로서 대부분의 피험자들은 과제의 요구를 잘 알고 있었지만 우수한 독자와 그렇지 못한 독자간에는 중요하다고 생각하는 것, 본문을 전환시키는 방법, 중점에  대한  민 감성, 전환의 효율적 사용에 차이가 있는 것으로 밝혀졌다. 즉 학습우수아는 과제  수행에  있 어서 자신의 이해정도를 파악하고 자신의 부족한 부분을 점검할 수 있으나 학습부진아의 경 우에는 과제의 이해 정도를 파악하지 못하고 이해하려는 의지를 나타내지 않음으로써 학습 우수아와 차이가 있는 것으로 밝혀졌다.


전문가와 비전문가 간의 메타인지의 차이를 분석한 연구로서 Schoenfeld 와 Hermann(1982)는 전문가와 초보적 문제해결자간의 기본적인 차이는 자신의 사고를 조절하고 통제하는 메타인지 능력수준에서 의미있는 차이가 있음을 밝혔다

    • 전문가는 문제해결 상태와 전략적 행동을 스스로 계획, 수행, 점검하고 이해도를 평가하고 수정하는 인지적 조절 활동을 통해 수행을 증진시킬 수 있는 반면에,  

    • 초보자는  그러한  관리가  부족하고  문제해결과는  거리 가 먼 계산에 시간을 많이 소비한다는 것이다.


이상의 연구결과들을 종합해 볼 때, 학습우수아와 부진아, 그리고 전문가와 비전문가 사이 에는 메타인지 능력의 차이에 따라서 학습수행과 학습결과에 차이를 보이고 있으며, 이는 곧 학업성취도 차이를 가져온다는 것을 알 수 있다. 메타인지에 관하여 연구한 선행연구 결 과들을 검토해 볼 때, 메타인지와 학업성취와의 관계는 연구대상이나 목적에 따라서 약간의 차이를 보이고 있지만 대부분 이 둘의 관계는 메타인지가 높을수록 학업성취도가 높게 나타  나며, 정적 상관관계가 있음을 보여주고 있다. 특히 전문가와 비전문가 혹은 학업우수아와 부진아 등 학습자의 특성에 따라서 메타인지가 학업성취도에 미치는 영향이 더 뚜렷하게 나 타나고 있는 것으로 밝혀졌다.


2. 자기조절학습 구성요인중의 하나인 ‘학습전략 요인’이 학업성취에 미치는 영향


학습전략이란 정보의 습득, 저장, 활용을 촉진시킬 수 있는 일련의 과정 혹은 단계를 말한 다(박성익, 1987; Dansereau, 1985). 또한 Weinstein과 Mayer(1986)는 학습전략이란 학교 학 습에서 학생들이 학습력을 향상시키기 위해서 사용하는 인지전략의  일종으로서,  학습자가  학습하는  동안  작동되어  학습자의  부호화과정에  영향을  미치는  행동과  사고라고  정의하고  있다. 이러한 학습전략과 학업성취도의 관계를 규명한 연구로서, Corno와 Mandinach(1983), Weinstein과 Mayer(1986)등은 시연, 정교화, 조직화와 같은 인지전략의 사용으로  학습재료를 기억, 조직, 변형하여  학습하려고  노력하는  아동이  그렇지  않은  아동보다  높은  수준의  학업성  취를 나타낸다고 보고하였다.


Paris, Newman과 McVey(1982)는 정교화전략과 재생산간의 관계에 관한 지식을 제공해준 집단의 전략 사용 및 재생 득점이 그와 같은  지식을  제공해주지  않은 집단에 비해 더  높  다는 결과를 제시하였다. 즉 학습전략의 훈련을 통해 학습자가 어떤  방식으로  학습할  것인  지를 결정하는 학습자 특성에 영향을 주고, 특정 학습전략의 사용은 학습자의 부호화과정에 영향을 주어 결과적으로  학업성취도에  영향을 미치게 된다는 것이다.  학습전략 훈련의  효과  에 관한 연구로서 김옥기(1988)는 초등학교 4학년  아동을  대상으로 메타인지전략  훈련집단  과 메타인지 자기조절 훈련집단이 통제집단에 비해서 메타인지와 전략적 행동의 수행수준이 향상되었음을 보고하고 있다. 이종삼(1995)은 수학에 학습장애를 가지고 있는 중학교 2학년 학생들에게 자기조절학습법을 사용하여 훈련시킨 결과, 실험집단이 통제집단에 비해서 학업 성취가 크게 향상되었고 학습전략의 사용빈도가 증가하였으며, 자아효능감이 향상된 것으로 나타났다.


박승호(1999)의 연구에서는 아동의 자기조절학습에 영향을  주는  학습전략들과  자신의  지 적 능력에 대한 개념, 목표지향성,  학업성취에  영향을  주는  학습전략들과  자신의  지적  능력 에 대한 개념, 목표지향성, 학업성취등과의 관계성을 밝혀보고자 초등학생 726명을 대상으로 수집된 자료를 분석한 결과, 학습목표와 능력에 대한 증가이론을 지닌 아동들이 더욱더 심 층학습전략을 사용하는 경향이 있었다고 보고하였다. 또한 증가이론과 심층전략 및  학습목  표를 지닌 아동들이 더 높은 학업성취를 보이는 경향이 있었다는 것이다.


성인학습자를 대상으로 집단간의 전략 사용, 동기의 차이를 분석한 성현숙과 김언주(2003)  의 연구에서도 중등교사집단이 일반 대학생집단보다 시연, 정교화, 비판적 사고 전략을 적극 적으로 활용하였음을 밝혔다. Bouchard와 그의 동료들(1990)은 영재아동과 일반아동의 비교 연구결과 자기조절전략에 대한 지식 면에 있어서는 차이가 없었으나 영재아동은 인지전략을 훨씬 빈번하게 사용하였다. 즉 영재아동은 지식을 많이 가지고 있기보다는 자기조절전략을 효율적으로 잘 사용하는 학습자임을 알 수 있다.


이상에서 살펴본 바와 같이, 대부분의 연구결과에서 자기조절학습의 하위 구성요인인 학 습전략의 사용이 학업성취도를 향상시켜주고 있음을 알 수 있다. 그리고 학습전략의 사용이 학습자의 특성에 따라 가장 효과적인  학습전략요소를  선택하여  활용하고  있다는  점도  주목 할 만한 결과이다.


3. 자기조절학습 구성요인중의 하나인 ‘동기요인’이 학업성취에 미치는 영향


동기란 개인의 행동을 발생시키고, 행동의 방향을 결정하고 행동의 수준이나 강도를 결정  하는 내적 상태 또는 내적 과정이라고 말할 수 있다. 이러한 동기와 학업성취와의 관계를 살펴보면, Walberg와 Uguroglu(1980)는 동기수준과 학업성취도간의 상관관계에 관한 연구 를 분석, 검토한 결과, 두 변인간에는 상관관계가 .34로 나타나서, 어느 정도  정적인  상관이  있는 것으로 밝혀졌다.


자기조절학습과 목표지향성의 관련성을 연구한 송인섭과 박성윤(2000)의 연구에서는 숙달 목표는 수행목표보다 자기조절학습과 더 높은 관련성이 있는 예언변인임을 밝혀냈고, 목표 지향성과 학업성취도와의 관계분석 결과 숙달목표가 수행목표보다 학업성취와 더 큰 상관을 보이며 학업성취에 더 많은 영향을 미친다는 결론을 제시하였다. 그리고 자아효능감이 학 업성취에 가장 큰 예언 변인임을 밝혔다. 또한 Zimmerman과 Pons(1990)는 영재학교와 일 반학교의 학습자를 대상으로 하여 자기조절학습전략의 활용과  그들의  언어력과 수리력에  대 한 자아효능감을 측정하는 실험을 실시하였다. 그들의 연구결과에 따르면, 영재학교의 학습 자들이 일반학교의 학습자들보다 언어력과 수리력에 대한 자아효능감과 전략의 활용이 훨씬 높게 나타났다.


동기를 여러 요인으로 나누어 학업성취도와의 관계를 보았을 때, 동기의 구성요인 중에 하나인자아효능감과 학업성취도간의 상관관계를 조사한 연구로서 Pajares(1996)의 연구는 자기효능감과 학문적 수행 간에 상관계수가 .49 - .70 이라는 연구결과로 제시하면서 자아 효능감은 개인의 능력만큼 강력한 학업성취 결정요인이라고 보고하였다. 또한 자아효능감이 높은 학습자와 낮은 학습자간의 차이분석을 시도한 Meece 등(1988)은 자아효능감이 높은 학습자들은 낮은 학습자들보다 자신의 수행에 대해 높은 기대를 가지며, 학습과제를 더 가 치있게 판단하며, 어려운 과제를 해결해야 할 때 보다 오랫동안 지속하며, 높은 수준의 과제 참여를 나타내는 경향이 있다고 지적했다. 자아효능감과 학업성취의 관계분석을 시도한 Schunk(1984)도 수업처치, 자아효능감, 인내력, 산수기능 사이의 관계 규명을 위해 경로분석 한 결과, 자아효능감 변인이 학습자의 산수기능에 .46의 영향을 미치는  것으로  밝혀졌다.


 동기에 영향을 미치는 가치요인과 정의적  요소를  살펴보면,  가치요인은  학습과제의  중요도와 흥미에 관해서 학습자가 세우게 되는 목표나 신념을 말한다. 가치요인은 내재적 목표 지향과 외재적 목표지향으로 구분하기도 하는데,  내재적  목표를  지향하는  학습자는  학습하는 것 자체를 즐기고 성적보다는 새로운 학습기술 습득이나  이해와  노력하는  것에  관심을  두고 있고, 학습시 심층적 학습전략과  상위인지 및  자기조절을  하여 인지적  참여를  보다  많  이 하고 효율적인 노력관리를 한다(Ames & Archer, 1988; Pintrich & De Groot, 1990). 




지금까지 자기조절학습의 구성요인인 메타인지 요인, 학습전략 요인,  동기  요인  등을  중심 으로 이론적 기초와 선행연구를 고찰해보았다. 자기조절학습의 구성요인과 학습효과와의 관 계에 관하여 선행연구결과를 분석하여 종합해 보면 <표 1>과 같이 요약할 수 있다.


 


이러한 연구들에서 알 수 있듯이, 자기조절학습 구성요인들, 즉 메타인지  요인,  학습전략 요인, 동기 요인 등이 학업성취에 지대한 영향을 미치는 요인들임을  알  수  있다.  그러나  최 근의 연구에서는 각각의 자기조절학습 요소는 단일요소로서 독립적으로 학업성취에 영향을 주는 것이 아니라 요소들 간에 서로  영향을 주고  서로  역동적인 관계를 맺고  있음을 지적하    고 있다. Gracia와 Pintrich(1991)는 내재적 가치와 자아효능감의 동기변인과 자기조절학습전 략 간의 관계를 분석한 연구에서 내재적  가치는  행동을  시작하는 과정으로서 학습전략  사용  과 능력평가 및 성공기대에 각각 .36, .33의 직접효과가 있으며, 자아효능감은 학습전략에 .38의 직접효과가 있다고 보고하고  있고, Borkowski, Peck, Reidd와 Kurtz(1983)은 메타인지   가 학습전략을 지속시키고 일반화시키는데 중요한 예언요소임을 밝히고 있다.  


또한  권성연 (2002)의 연구에서도 모든 자기조절학습요소 간에는  의미있는  상관이  있음을  제시하고  있다. 이는  자기조절학습의  구성요인들  간에  밀접한  관련성을  맺고   있음을   나타내는  것으로써,   연 구 결과, 

    • 과제수행의  초기단계에서는  과제의  가치가  목표지향성에  영향을  주며,  

    • 과제  수행 중에는 숙달자아효능감이  의지조절전략과  메타인지전략  사용에  긍정적인  영향을  주었다.  

수행에  관한  자아효능감은  인지전략,  메타인지전략,  의지조절전략,  자원관리전략  모두에   긍정 적인 영향을 주는 것으로 나타났다.



학업성취예언을 위해서 경로분석한 박승호(1995)의 연구에서 자아효능감은 메타인지 사용과 정적인 관계가 있음을 주장하고 있으며, Pokay와 Blumenfeld(1990)는 동기와 학습전략의 활용관계를 분석한 연구에서 교과공부가 흥미롭고 중요하다고 생각하는 학생들이 그 자료를 학습하고 이해하고자 보다 더 적극적으로 참여하고 메타인지전략을 효과적으로 사용하며 학 습에 지속적으로 몰입한다고 보고하고 있다.


자기조절학습  구성요인들,  즉  메타인지,  동기,  학습전략  간의   역동적인  상호작용을  Schunk와 Zimmermann(2003)은 자기조절의 순환적 본질(cyclical nature)이라고 설명한다. 순환적 본질이란 개인적, 행동적, 환경적 요인들 간의 상호작용이 순환적 과정으로 이루어짐을 말하며, 학습자는 순환적 과정에서  자기조절  구성요인들을  지속적으로  심사평가를  하면  서 학습목표 추구, 학습행동 통제, 학습과정의 자기성찰이 이루어지게 된다는 것이다.


앞에서 자기조절학습의 개념적 정의 그리고 자기조절학습의  구성요인들과 학업성취도와 의 관계에 대한 선행연구들을 고찰해 본 결과, 자기조절학습에 결정적인 영향을 미치는 요 인들로는 메타인지, 학습전략, 동기 요인으로 요약될 수 있으며,  이러한  구성요인들의  역동 적인 상호작용에 의하여 자기조절학습능력은 결정되고 신장될 수 있음을 시사받을 수 있다. 그리하여 필자는  자기조절의  순환적  과정을  고려하여  자기조절학습의  결정적  구성요인들, 즉 메타인지, 동기, 학습전략 요인들 간의 역동적인 상호작용을 [그림 1]과 같이 도식화하여 제시하였다. 이 그림에서 자기조절학습의 과정에는 메타인지 요인, 학습전략  요인,  동기  요 인이 서로 순환적 상호작용(cyclical interaction)을 하는 가운데 자기조절학습능력 수준이 향 상될 것이라고 전제하고 있다.


이 모형에서는 학습의 목적 및 내용과 물리적 학습환경을 투입변인으로 하고, 과정변  인에 속하는 자기조절학습의 구성요인인 메타인지 요인,  학습전략  요인,  동기 요인을 학습자  가 조작하고 활용하여 자기조절학습수준을 높임으로써 학업성취도를  높일  수  있게  될  것이 다. 과정변인에 속하는 

  • 타인지 요인에는 계획전략, 조절전략, 점검전략의 세 가지 요소를 활용하여야 하며, 

  • 학습전략 요인에는 인지전략과 자원관리전략을 활용하여야만 한다. 그리고 인지전략으로는 시연, 정교화, 조직화 기법을 활용해야 하고,  자원관리전략에는  학습시간관 리, 학습환경관리, 노력관리를 포함하고 있고, 끝으로 

  • 기 요인에는  자아효능감, 내재적  가  치, 시험불안 요소가 포함된다. 

여기서 자기조절학습  구성요인으로 제시된  메타인지,  학습전 략, 동기 등의 요인들은 순환적이고 동시적으로 상호작용하면서 학습자의 자기조절학습수준    을 높여 주게 될 것이다.




3) 필자가 문헌고찰한 결과를 토대로 자기조절학습의 구성요인들이 학업성취에 미치는  영향을  모형으로  구안한  것임.


 



Ⅳ.  결  론


정보가 양적으로 급격하게 많아지고 질적으로도 고도화되고 있는 정보화 사회에서  그  수 많은 정보를 학습자 스스로 능동적이고 적극적인 자세로 판단하고, 선별하고, 습득하며, 받 아들인 정보를 변형해 보고, 실제에 적용할 수 있도록 자기조절학습능력의 신장은 교육현장  에서 주목해야 할 과제임에 틀림없다. 그리하여 최근에 자기조절학습은 인간의  학습활동에  관한 연구에 있어서 핵심적 연구주제로 받아들여지고 있다.


자기조절학습이란 효과적·효율적 학습을 위해서 학습자가 스스로 학습목표를 설정하고 내 재적·외재적 동기를 수시로 부여하며 적절한 학습환경을 조성하고 학습자원을 관리하는 학 습방법을 말한다. 앞에서 고찰한 바에 따르면, 자기조절학습의 주요한 세 가지의 구성요인들 로는 학습자의 메타인지 요인, 학습전략 요인, 동기 요인을 들 수 있으며, 학습자가 이러한 요인들을 어떻게 조작하고 활용하도록 하는냐에 따라서 학업성취도 수준이 달라지게 된다. 그리고 이러한 세 가지 요인들이 상호작용하는 가운데 결정되게 되는 자기조절학습능력은 학업성취에 지대한 영향을 미치고 있으므로 자기조절학습능력을  신장시켜 주는 일은  학생들  의 학습개선을 위하여 필수적인 과업이라고 말할 수 있다.


자기조절학습에 관하여 지금까지 이루어진 연구동향을 정리해 보면 다음과 같다. 즉 이론적 기초로써 조작주의 이론, 정보처리이론, 발달이론, 사회구성주의이론, 사회인지이론 등이 탐구되었고, 실천관련연구로써 자기조절의 과정이 어떻게 이루어지는가에  대하여  탐색하였  고, 학습이 진행되는 동안에 자기조절의 과정을 여하히 조작해야 하는가에 대한 방법이 개 발되었으며, 그리고 자기조절능력 신장전략 등이 모색되었다.


자기조절학습의 구성요인과 관련된 선행연구들을 고찰한 결과를 요약하면 다음과 같다. 

  • 첫 째로, 자기조절학습의 구성요인 중의 하나인 메타인지 요인이 학업성취에 미치는 영향은 학 습자의 특성과 연구목적에 따라서 약간의 차이를 나타내고 있지만, 메타인지수준이  높아질  수록 학업성취도가 뚜렷하게 높아지는 경향이 있고,  메타인지와 학업성취  사이에는  매우  높  은 정적인 상관관계가  있는 것으로 밝혀졌다.  

  • 둘째로,  학습전략 요인의 경우에는,  상당히  많  은 경험적 연구들에서 학습전략의 하위요소인 인지전략 및 자원관리전략 등의  학습전략  활 용이 학업성취도에 긍정적인 효과를 가져오며, 또한 학습자가 상황과 환경에 적합한  학습전 략의 요소를 선택하고 활용함으로써 학업성취도가 향상되는 것으로  밝혀졌다.  

  • 마지막으로  동기 요인 측면에서 볼 때, 동기 요인은 학업성취도와 정적인 상관관계가 있는 것으로 밝혀 졌으며, 특히 동기요인과 밀접한 관련을 맺고 있는 하위 구성요소들에 속하는 자아효능감, 내재적 가치, 시험불안 등의 요소들은 학업성취와 긍정적인 영향을 미치고 있는 것으로 밝 혀졌다.


자기조절학습에 대한 향후 연구방향과 연구과제를 탐색해 보면  다음과  같다.  경험적  연구  를 통하여 자기조절학습 구성요인들 간의 역동적 상호작용 모델을 구안해 내야 할 것이며, 학습자가 학습력 증진을 위하여 자기조절학습 구성요인들을 조작하고 활용할 수 있도록 자 기조절학습 과정에 대한 세부적인 조작기법과  활용방안을  탐색해보아야  할  것이며,  자기조  절 학습과정의 조작전략을 탐색하는 연구가 지속적으로 이루어져야 할 것이다. 그리고 학습  자와 학습환경의 다양한 특성들에 따른 자기조절학습의 과정을 분석하고, 학습자에 맞는 자기조절전략의 활용방법도 모색되어야 할 것이다. 그리고 학습자와 학습환경의 다양한  특성  들에 따른 자기조절학습의 과정을 분석하고, 학습자에 맞는 자기조절전략의 활용방법도 모 색되어야 할 것이다. 나아가서 Schunk와 Zimmermann (2003)이 지적한 바와 같이, 자기조 절을 위한 의지력 신장전략으로 메타인지  모니터링,  정서통제,  환경자원관리  등을  검토해야 할 것이며, 기억이나 메타인지와 같은 인지적 기능들을 자기조절학습에 적용하는 기법을 가 르치는 방안을 탐색해야 할 것이고, 학습상황에서 자기조절과정들을 적용하는 방법을  개발  해야 할 것이다


결론적으로, 자기조절학습에 대한 고찰을 통해서 자기조절학습이 학업성취수준 향상에 지 대한 영향을 미치는 것으로 밝혀졌기 때문에, 자기조절학습에 있어서 학습자가 자신에게 알  맞고 효과적인 자기조절학습전략을 선택할 수 있는 능력을 길러졸 수 있는 체계적인 교육프 로그램을 개발하여야 할 것이며, 특히 자기조절학습 처방기법이나 처방프로그램이 개발되어야 할 것이다. 나아가서 학습자에게 자기조절학습을 수행하도록 함으로서 학습목표를  성취  하고 학습활동에 자신감을 느낄 수 있도록 해야 할 것이다.

 




최근에 자기조절학습은 인간의 학습활동에 관한 연구에 있어서 핵심적 연구주제로 받아들 여지고 있다. 본 연구는 교수·학습 분야에서 최근의 연구동향으로 관심이 모아지고 있는 자기조절학 습의 의미를 파악하고, 자기조절학습의 구성요인 및 전략을 고찰해 본 후, 자기조절학습이 학습효과에 어느 정도 영향을 미치는지에 관하여 실증적 연구결과들을 분석해보려는 데 그 목적을 두고 있다. 문 헌을 폭넓게 고찰한 결과, 자기조절학습의 주요한 세 가지 구성요인은 메타인지 요인, 학습전략 요인, 동기 요인 등인 것으로 밝혀졌으며, 이러한 요인들과 학업성취도 사이에는 정적인 상관관계가 높게 나타나는 것으로 밝혀졌다. 자기조절학습의 구성요인과 관련된 선행연구들을 고찰한 결과를 요 약하면 다음과 같다. 첫째로, 자기조절학습의 구성요인 중의 하나인 메타인지 요인이 학업성 취에 미치는 영향은 학습자의 특성과 연구목적에 따라서 약간의 차이를 나타내고 있지만, 메타인지수준이 높아질수록 학업성취도가 뚜렷하게 높아지는 경향이 있는 것으로 밝혀졌다. 둘째로, 학습전략 요인의 경우에는, 상당히 많은 경험적 연구들에서 학습전략의 하위요소인 인지전략  및 자원관리전략 등의  학습전략 활용이 학업성취에  긍정적인 효과를 가져오며,  또  한 학습자가 상황과 환경에 적합한 학습전략의 요소를 선택하고 활용함으로써 학업성취도가 향상되는 것으로 밝혀졌다. 마지막으로, 동기 요인 측면에서 볼 때, 동기 요인의 구성요소인 자아효능감은 학업성취를 예언하는 중요한 변인으로 밝혀졌고,  내재적 가치  요소  및  시험불  안 요소는 학업성취와 밀접한 관련은 있으나 높은 상관은 나타나지 않는 것으로 밝혀졌다. 앞으로의 연구과제로는 경험적 연구를 통하여 자기조절학습 구성요인들  간의  역동적  상호 작용 모델을 구안해 내야 할 것이며, 학습자가 학습력 증진을 위하여 자기조절학습 구성요 인들을 조작하고 활용할 수 있도록 자기조절학습 과정에 대한 세부적인  조작기법과  활용방 안을 탐색해보아야 할 것이며, 자기조절  학습과정의  조작전략을  탐색하는  연구가  지속적으  로 이루어져야 할 것이다.그리고 학습자와  학습환경의  다양한  특성들에  따른  자기조절학습  의 과정을 분석하고, 학습자에 맞는 자기조절전략의 활용방법도 모색되어야 할 것이다.


주요어 : 자기조절학습, 메타인지, 학습전략, 동기, 학업성취

암묵적 편견인식을 보건전문직 교육에 포함시키기 위한 프레임워크(Acad Med, 2018)

A Framework for Integrating Implicit Bias Recognition Into Health Professions Education

Javeed Sukhera, MD, DABPN, FRCPC, and Chris Watling, MD, PhD, FRCPC





의식 밖에서 존재하는 편견, 고정관념 및 연관성은 소수자, 소외자, 오명을 쓴 사람들의 건강에 부정적인 영향을 미칠 수 있다.

Biases, stereotypes, and associations that exist outside conscious awareness may adversely influence the health of minority, underserved, and stigmatized populations.


예를 들어 존스홉킨스 의과대학 1학년 202명 중 66%는 백인에 대한 암묵적 선호도를 보였으며 86%는 상류층 개인에 대한 선호도를 보였다.6 다른 연구들은 편견이 여성, 비만 개인, 사제fathers, 만성 통증 환자, 만성 피로 증후군 환자에 부정적인 영향을 미친다는 것을 강조하였다.10

For example, among 202 first-year medical students at Johns Hopkins School of Medicine, 66% showed an implicit preference toward Caucasians, and 86% demonstrated a preference toward upperclass individuals.6 Other work has highlighted that bias adversely impacts women,7 obese individuals,2 fathers,8 patients with chronic pain,2,9 and patients with chronic fatigue syndrome.10


모든 암묵적 편견들이 부정적이거나 파괴적인 것은 아니다. 많은 설정에서 인지 휴리스틱스( 무의식적 연관성 포함)는 임상 의사결정에 필요한 패턴 인식의 한 형태로 권장된다.11

Not all implicit bias is negative or destructive. In many settings, cognitive heuristics (including unconscious associations) are encouraged as a form of pattern recognition that is necessary for clinical decision making.11


편견을 없애는 목표를 추구하기보다는, 보건전문직교육에 암묵적 편견을 통합하는 인터벤션은 보건 전문가들이 환자 결과에 대한 편견이 미치는 부정적인 영향을 어떻게 완화할 수 있는지를 강조해야 한다. 따라서 내재적 편견에 입각한 커리큘럼은 자신의 암묵적 편견에 대한 인식을 촉진하고 이러한 편견을 극복하기 위한 의식적 노력을 강화함으로써 의료의 편견을 해결하기 위한 체계적인 교육 전략을 제공할 수 있다.

Rather than pursuing the goal of eliminating bias, any intervention that incorporates implicit bias into health professions education should emphasize how health professionals can mitigate the negative influence of bias on patient outcomes. Implicit-bias-informed curricula can, therefore, offer systematic educational strategies for addressing biases in health care by both promoting awareness of one’s own implicit biases and enhancing conscious efforts to overcome these biases.


일부 유망한 접근법에도 불구하고, 암묵적 편견 인식과 관리는 종종 커리큘럼에 잘 통합되지 않고 응집력 있는 평가와 평가 전략이 결여된 간단한 개입의 형태로 포함된다.16

Despite some promising approaches, implicit bias recognition and management is often included in the form of brief interventions that are poorly integrated into curricula and lack cohesive assessment and evaluation strategies.16


일부 저자들이 과거에 그러한 개념적 프레임워크를 제안한 반면, 17-20 최근 암묵적 편견의 교육에 대한 관심이 급증했다21은 암묵적 편견 인식과 관리를 보건 직업 커리큘럼에 통합하기 위한 실용적인 프레임워크를 다시 요구하게 되었다.

While some authors have proposed such conceptual frameworks in the past,17–20 a recent surge in interest in implicit-bias-informed education21 has prompted a renewed call for a practical framework to integrate implicit bias recognition and management into health professions curricula.


6점 프레임워크

A Six-Point Framework


우리의 프레임워크는 여섯 가지 주요 특징을 포함한다: (그림 1).

Our framework includes six key features: (Figure 1).



1. 안전하고 위협적이지 않은 학습 컨텍스트 생성

Creating a safe and nonthreatening learning context


편견, 고정관념, 특권에 대해 가르치는 것은 리스키risky하다; 학습자와 교수진 모두 그들이 언급할 필요가 없다고 느끼거나 기꺼이 공개하려고 하지 않을 수 있는 태도와 직면할 수 있다. 부정적인 편견과 긍정적인 편견 모두에 직접적으로 도전하는 것은 비생산적인 편견을 강화하는 부정적인 "킥백"을 만들어낼 수 있다.22

Teaching about bias, stereotyping, and privilege can be risky; both learners and faculty may be challenged to confront attitudes that they may not feel necessary to address or willing to disclose. Directly challenging both negative and positive biases can also produce a negative “kickback” that reinforces counterproductive biases.22


그러므로 [다양성이나 문화적 역량에 대한 전통적인 교육]과 [암묵적 편견에 근거한 커리큘럼] 사이의 핵심적인 차이는 [죄책감에서 벗어나] [책임으로 향하는] proactive한 전환이다.22 몇몇 저자들은 편견에 대해 가르칠 때 모든 편견을 없애는 것은 불가능하다는 것을 분명히 인식해야 한다고 강조한다.23–25

Thus, a key distinction between traditional education about diversity or cultural competence and implicit-bias-informed curricula is a proactive shift away from guilt and toward responsibility.22 Several authors emphasize that, when teaching about bias, there should be explicit recognition that the removal of all bias is impossible.23–25


인터벤션을 설계할 때, 교육자는 또한 안전한 환경을 촉진하는 강사 및 학습자 특성을 인식해야 한다. 접근 가능하고, 포괄적이며, 위협적이지 않으며, 영감을 주며, 개방적이고, 격려적이며, 지식이 풍부한 강사를 선택하면 안전하고 비판단적인 학습 환경을 가장 잘 지원할 수 있다.21,26

When designing interventions, educators should also recognize instructor and learner characteristics that support a climate of safety. Choosing instructors that are approachable, inclusive, nonthreatening, inspiring, open-minded, encouraging, and knowledgeable can best facilitate safe and nonjudgmental learning environments.21,26


강사는 [편견과 특권에 대한 토론에 수반되는 불편함]을 공개적으로 이야기함으로써, 위협적이지 않은 학습 환경을 촉진할 수 있다. 대부분의 조직은 존중, 무결성, 기밀성 등 핵심 가치의 중요성을 강조하기 위해 개입에 도입할 수 있는 기존의 행동강령을 가지고 있다.

Instructors can promote a nonthreatening learning environment by openly addressing the discomfort that accompanies discussions about bias and privilege. Most organizations have existing codes of conduct that can be introduced into the intervention to emphasize the importance of core values, including respect, integrity, and confidentiality.



2. 암묵적 편견의 과학에 대한 지식 증가

Increasing knowledge about the science of implicit bias


암묵적 편견 인식을 보건 직업 교육에 통합하는 개입은 편견의 심리적, 신경 생물학적인 요소에 관한 내용을 포함해야 하며 암묵적 편견의 토대를 이루는 하는 인지 과학을 이해하기 위한 증거 기반 프레임워크를 제공해야 한다.

Any intervention that incorporates implicit bias recognition into health professions education should include content regarding the psychological and neurobiological components of bias and provide an evidence-based framework for understanding the cognitive science that underlies implicit biases.


편견은 여러 관점에 개방되는 개인의 능력을 제한할 수 있는 신경생물학적 메커니즘의 결과임을 강조한다.14 학습자 자신의 편견과 타인의 편견에 대한 경험에 대한 사전 지식을 활성화하는 데 도움이 된다. 의료 제공자들이 편견들이 그들의 행동에 영향을 미치는 정도를 과소평가할 수 있기 때문에 [의식적인 인식 밖에 있는] 심리 과정에 대해 학습자들에게 가르치는 것도 중요하다.27

Emphasizing that bias is a result of neurobiological mechanisms that can restrict an individual’s ability to be open to multiple perspectives14 helps activate prior knowledge about learners’ own biases and experiences with others’ biases. Teaching learners about psychological processes that are outside their conscious awareness is also important because health care providers may underestimate the extent to which biases influence their behaviors.27


암묵적 편견의 성격에 대한 지식의 증가는 긍정적 편견과 부정적 편견을 포함한 다른 유형의 편견을 demonstration하는 것을 포함해야 한다. 교육자는 편견의 건설적인 측면에 대한 논의가 있음을 확실히 하고, 편향이 어떤 상황에서는 적응적이지만, 다른 상황에서는 파괴적일 수 있음을 명확히 해야 한다. 편향이 환자 결과에 어떻게 영향을 미치는지에 대한 임상적으로 관련 있는 예를 제공하는 동시에, 편향이 안전과 소속을 촉진하는 유용한 도구가 될 수 있음을 예시하는 것이 중요하다.

Increasing knowledge about the nature of implicit bias should include a demonstration of different types of bias, including both positive and negative biases. Educators should ensure that there is a discussion about the constructive aspects of bias, clarifying that bias can be adaptive in some circumstances and destructive in others. Illustrating that bias may be a useful tool to promote safety and belonging, while providing clinically relevant examples of how bias influences patient outcomes, is important


3. 암묵적 편향이 행동과 환자 결과에 어떻게 영향을 미치는지 강조

Emphasizing how implicit bias influences behaviors and patient outcomes


환자 outcome에 대한 암묵적 편견의 영향은 프레임워크의 핵심 요소다. 교사들은 건강 불균형에 대한 기존의 커리큘럼과 개입을 일치시킴으로써 편견에 대한 논의를 [역사의 역할], [건강에 영향을 미치는 가시적이고 보이지 않는 사회 문화적인 힘] 등과 연결할 수 있다. 내면화된 편견이 고정관념에 미치는 영향을 논할 뿐만 아니라 통계와 의학 교육의 암묵적 편견에 대한 기존 연구를 인용하면 학습자가 편견을 해소하고 완화하는 방법을 배우도록 동기를 부여한다.

The influence of implicit bias on patient outcomes is a key component of our framework. By aligning interventions with existing curricula on health disparities, instructors can connect discussions about bias with the role of history and both visible and invisible sociocultural forces that impact health. Citing statistics and existing research on implicit bias in medical education, as well as discussing the impact of internalized bias on stereotypes, helps motivate learners to learn how to address and mitigate their biases.


특정 건강 직업의 경우, 앵커링anchoring(환자에 대한 첫 번째 정보에 지나치게 의존) 또는 확증편향(기존의 신념을 확인하는 방식으로 정보를 선호하는 경향)과 같은 특정 유형의 편견을 포함한 임상 의사 결정 및 인지 심리학에 대한 문헌에 대한 구체적인 언급은 다음과 같을 수 있다. 학습자가 편견이 치료에 부정적인 영향을 미칠 수 있는 아이디어에 관여할 수 있는 토대를 마련한다.

For certain health professions, specific reference to literature on clinical decision making and cognitive psychology, including certain types of bias, such as anchoring (relying too heavily on the first piece of information about a patient) or confirmation bias (the tendency to favor information in a manner that confirms preexisting beliefs), may lay the groundwork for learners to engage with ideas about how biases may adversely affect care.


4. 기존 암묵적 편견에 대한 인식 증가

Increasing self-awareness of existing implicit biases


암묵적 연관성 시험(IAT)은 자신의 기존 편견에 대한 자기 성찰, 토론 및 인식에 유용한 트리거를 제공할 수 있다.28,29 IAT는 참여자에게 개인의 응답 시간과 대기 시간을 측정하여 개념 간의 자동 연관성을 평가하도록 하는 컴퓨터 기반 연습이다.

The implicit association test (IAT) may provide a useful trigger for self-reflection, discussion, and awareness of one’s own existing biases.28,29 The IAT is a computerbased exercise that asks participants to associate words and pictures to assess automatic associations between concepts by measuring the time and latency of individuals’ responses.


IAT에 대한 비판도 있는데, 이 결과가 부정적인 태도를 반영하는 대신 피해자, 학대 및 억압과 같은 연관성에서 비롯될 수 있음을 시사한다.37–42 이러한 비판을 고려할 때 IAT를 암묵적 편향 측정이나 커리큘럼 평가를 위한 척도가 아닌 성찰의 프롬프트로 사용할 것을 권고한다.

Criticism of the IAT suggests that, instead of reflecting negative attitudes, IAT scores may stem from associations such as victimization, maltreatment, and oppression.37–42 Given these critiques, we recommend using the IAT as a prompt for reflection and not as a metric for measuring implicit bias or evaluating curricula.


기존의 암묵적 편견에 대한 인식을 유도하는 데 도움이 될 수 있는 다른 기법에는 어떻게 편향이 돌봄에 영향을 미치는지에 대한 촉진된 토론, 성찰, 정체성 연습 등이 있다. 성찰 능력을 강화하는 기법이 유용할 수 있으며, 교육과정 설계자는 편향 관련 커리큘럼과 성찰적 행동을 촉진하는 기타 커리큘럼 콘텐츠 간에 명시적으로 연결하도록 권장된다.

Other techniques that may help elicit awareness of existing implicit biases include facilitated discussions on how bias impacts care and reflection and identity exercises. Techniques that enhance reflective capacity may be useful, and curriculum designers are encouraged to make explicit connections between bias-related curricula and other curricular content that foster reflective practice.


한 가지 간단한 잠재적인 정체성 연습참가자들을 짝지어 그들이 속한 지배적이고 비지배적인 문화에 대해 토론할 수 있다. 개별 학습자가 다르게 느끼거나 불평등한 대우를 받았던 정체성과 시간에 대한 개인의 성찰도 기존 편견에 대한 인식을 높일 수 있다.

One simple potential identity exercise could pair up participants to discuss the dominant and nondominant cultures to which they belong. Individual reflection on identity and times that individual learners felt different or treated inequitably can also increase awareness of existing biases.




5. 암묵적 편견을 극복하기 위한 의식적 노력 개선

Improving conscious efforts to overcome implicit bias


학습자가 자신의 암묵적 편견을 인식하게 되면, 그들은 종종 "그것에 대해 어떻게 해야 하는가?"라고 묻곤 한다.19 의식적 평등주의 목표를 형성하는 것은 단순히 환자 치료에 대한 암묵적 편견의 영향을 줄이기에 충분하지 않기 때문에, 44, 그리고 연구는 고정관념을 적용하지 않기 위한 의식적 노력의 중요성을 강조한다. 학습자가 자신의 사고, 추리, 행동과 결정에 대한 편견의 영향을 이해하는 데 도움이 되는 훈련과 도구에 관심을 갖는 것은 암묵적 편견에 근거한 커리큘럼의 필수 요소다.

When learners become aware of their implicit biases, they often ask, “What should I do about it?”19 Since forming conscious egalitarian goals is simply not enough to reduce the impact of implicit bias on patient care,44 and research emphasizes the importance of conscious effort to avoid applying stereotypes,45,46 particular attention to training and tools that help learners understand their thinking, reasoning, and the influence of bias on their behaviors and decisions is an essential ingredient for implicit-bias informed curricula.


편견을 극복하기 위한 의식적 노력을 개선하기 위한 구체적인 기법은 사회심리학에서 비롯되며 학습자가 자신의 생각을 쉽게 생각할 수 있도록 하는 인지적 전략을 포함한다.22,47 일부 저자들은 또한 자기조절과 자기 모니터링을 개선해야 한다고 주장하였다.48,49 이를 위해 [학습자가 목표discrete goals를 설정하고, 시간 경과에 따른 종단적 체크포인트에서의 성공 여부를 재평가하는 것]은 편견과 태도에 대한 모니터링과 성찰을 증가시킨다.50

Specific techniques for improving conscious efforts to overcome bias come from social psychology and include metacognitive strategies that facilitate the ability of learners to think about their thinking.22,47 Some authors have also advocated for improving self-regulation and self-monitoring.48,49 To this end, encouraging learners to set discrete goals and to reevaluate their success at longitudinal checkpoints over time facilitates increased monitoring and reflection on biases and attitudes.50


6. 암묵적 편견이 다른 사람에게 미치는 영향에 대한 인식 향상

Enhancing awareness of how implicit bias influences others


자기-인식과는 달리 타인에 대한 사회적 시각의 수용과 공감을 높이는 것도 암묵적 편견 인식과 관리의 또 다른 중요한 요소다환자와 의사를 [공유된 감정의 맥락] 안에서 결합시키는 감정이입의 인지적, 정서적 요소에 대한 명시적 관심은 암묵적 편견에 뿌리를 두고 있는 고정관념과 차별으로부터 보호한다. 더 구체적으로 말하면, 환자-의사 접촉을 [동등한 사이에서의 협력적 상호작용]으로 재조명하는 것은, 다양한 개인을 [외부인으로 생각하는 것]이 아니라, [인간으로서 공유하는 정체성]을 강조함으로써, 다른 사람을 사회 집단의 일부로 인식하게 해준다.

In contrast to self-awareness, enhancing social perspective taking and empathy for others is another important component of implicit bias recognition and management.17,44 Explicit attention to the cognitive and affective components of empathy that unite patients and providers within a shared emotional context protects against stereotyping and discrimination that is rooted in implicit bias.52,53 More specifically, reframing patient–provider contact as an interaction between collaborating equals can shift one’s thinking of diverse individuals as outsiders to perceiving them as part of one’s own social groups by emphasizing a shared human identity.54–56


관점수용적 태도Perspective taking를 강화하는 방법에는 역할극, 참여극, 그리고 살아있는 경험lived experience을 가진 일치된 환자나 가족과의 사회적 접촉이 포함될 수 있다. 예를 들어, 사회적 접촉 기반 개입은 임상 환경에서 편견을 경험한 소외된 그룹에 속하는 환자를 제공자와 대화하고, 그들의 이야기를 공유하고, 토론에 참여하도록 초청하는 것을 포함할 수 있다. 사회적 접촉은 성 소수자, 58명의 정신 질환 환자, 59–61명, 그리고 여성에 대한 암묵적 편견을 감소시키는 좋은 결과를 낳았다.62

Techniques for enhancing perspective taking may include role-play, participatory theater, and social contact with matched patients or families with lived experience. For example, social-contact-based interventions may involve inviting patients who belong to marginalized groups that have experienced bias in clinical settings to speak to providers, share their story, and engage in discussion. Social contact has produced favorable outcomes in reducing implicit bias toward sexual minorities,58 patients with mental illness,59–61 and females.62


그러나 사회적 접촉에 기반한 개입은 의도하지 않은 결과를 가져올 수 있다.

Social-contact-based interventions, however, may have unintended consequences.


정신 질환이 있는 환자와의 접촉은 의료 사업자에게 긍정적인 경험과 부정적인 경험을 모두 제공할 수 있으며, 파괴적인 고정관념을 강화할 수 있기 때문에 세심한 계획과 주의와 함께 사용해야 한다.

contact with patients with mental illness can lead to both positive and negative experiences for health care providers19,63 and should only be used with careful planning and caution because of the possibility that it may reinforce destructive stereotypes.


중재 설계

Designing Interventions


암묵적 편견과 관련된 교육 개입의 첫 번째 단계는 교육자들이 성별, 인종, 문화 등과 같은 특정 유형의 편견에 초점을 맞출 것인지 아니면 전반적으로 편견에 초점을 맞출 것인지를 결정하는 것이다. 일단 개입의 초점이 결정되면, 강사들은 그들이 특정한 맥락과 관련된 편견에 대해 가르치고 있는지 아니면 넓은 맥락에 대해 가르치고 있는지를 명확히 해야 한다. 예를 들어, 커리큘럼은 심혈관 건강, 일반적인 임상 결과, 또는 그것이 조직 문제와 건강 정책에 어떻게 영향을 미치는지에 대해 가르칠 것인가? 개입 범위가 넓을수록 커리큘럼과의 통합과 시간이 더 많이 필요할 것이다. 

The first step in implicit-bias-related educational interventions is to determine whether educators will focus on a specific type of bias, such as gender, race, culture, etc., or bias in general. Once the focus of the intervention is determined, instructors should clarify whether they are teaching about bias related to specific or broad contexts. For example, will the curricula teach about gender bias in relation to cardiovascular health, to clinical outcomes in general, or to how it influences organizational issues and health policy? The broader the intervention, the more time and integration with curricula it will require. 


교육자는 중재안을 설계할 때 전문적 궤적과 임상 경험에서 학습자의 단계와 암묵적 편견의 지향성 및 의료에서의 역할을 고려해야 한다. 임상경험이 없는 학습자가 복잡한 임상 시나리오에 engage할 것으로 기대하는 것은 교육이 관련성이 없다는 피드백을 유발할 수 있기 때문에 임상경험과 맥락을 고려하는 것이 중요하다. 특권과 권력 논의에 잠재적으로 영향을 미치기 때문에 다직군간 팀과 관련된 역학도 고려해야 한다. 예를 들어, 

  • 그 개입은 학부 전임상 학생, 임상 사무원 또는 대학원 연수생을 대상으로 할 것인가? 

  • 분화되지 않은 학습자를 대상으로 하는가, 아니면 특정 전공 또는 세부전공의 정체성이 발달한 학습자가 대상인가?

Educators should consider learners’ stage in their professional trajectory and clinical experience, as well as how oriented they are to implicit bias and its role in health care, when designing interventions. Considering clinical experience and context is crucial because expecting learners without clinical experience to engage with complex clinical scenarios may lead to feedback that the educational intervention lacks relevance. Dynamics related to interprofessional teams should also be considered because of their potential influence on discussions of privilege and power. For example, 

  • will the intervention target undergraduate preclinical students, clinical clerks, or postgraduate trainees? 

  • Are learners undifferentiated, or have they developed the identity of a specific specialty or subspecialty?


이전의 연구는 편견의 인식은 단일 세션에서 가르칠 수 없다는 것을 강조한다.16 교육과정 설계자들은 그들이 학습 환경이나 조직 내에서 암묵적인 편견 인식과 관리 개입을 어떻게 유지할 것인지도 고려해야 한다. 개입에 반하는 문화적, 숨겨진 커리큘럼 영향을 고려해야 한다.

Previous research emphasizes that the recognition of bias cannot be taught in a single session.16 Curriculum designers should also consider how they will sustain implicit bias recognition and management interventions within a learning environment or organization. Cultural and hidden curricular influences that may work against the intervention must be considered.



평가 및 평가 전략
Evaluation and Assessment Strategies


지식, 기술 및 태도 프레임워크를 사용하는 전통적인 프로그램 평가 및 학습자 평가 전략이 좋은 출발이지만, 64 프로그램 평가에 대한 순수한 결과 중심 접근방식은 암묵적 편견에 근거한 커리큘럼과 관련된 복잡성을 포착하기에는 너무 협소할 수 있다.65

While traditional program evaluation and learner assessment strategies using a knowledge, skills, and attitudes framework are a good start,64 a purely outcomes-driven approach to program evaluation may be too narrow to capture the complexity related to implicit-bias informed curricula.65


우리는 커리큘럼 설계자들이 로직 모델에서 시작하여 조직적 및 사회적 수준에서 원하는 결과를 확립할 것을 권장한다. 당신의 커리큘럼은 문화적 변화, 다양성 및 포용을 촉진하면서 학습자의 태도를 개선하도록 설계되었는가?

We encourage curriculum designers to start with a logic model and establish their desired outcomes at organizational and societal levels. Is your curriculum designed to improve learner attitudes while promoting cultural change, diversity, and inclusion?


평가 지표를 결정할 때 이러한 문제를 해결하는 것이 가장 중요하다. 미국 의료 대학 협회가 발표한 것과 같이 다양성, 포함 및 문화적 역량과 관련된 인증 벤치마크를 달성하는 것과 관련된 organizational tools는 어떤 상황에서는 유용할 수 있지만, 다른 상황에서는 인구 기반 데이터가 유용할 수 있다. 만족도 조사와 같은 환자 관련 결과는 커리큘럼이 실제real world 결과에 미치는 영향을 측정하기 위한 의미 있는 데이터를 제공할 수 있다.18

Addressing these questions is of paramount importance when determining evaluation metrics. Organizational tools pertaining to achieving accreditation benchmarks related to diversity, inclusion, and cultural competence, such as those published by the Association of American Medical Colleges,13,67 may be useful in some circumstances, while population-based data might be useful in others. Patientrelated outcomes, such as satisfaction surveys, may provide meaningful data to gauge the impact of curricula on real world outcomes.18


학습자 관련 결과는 모든 프로그램 평가에서 필수적인 구성 요소다(그림 2).

Learner-related outcomes are an essential component of any program evaluation. (Figure 2).


단일 평가 방법이나 평가 방법으로는 충분치 않을 것이라는 의견이 대두되고 있는 것 같다.74

There seems to be an emerging consensus that no single method of assessment or evaluation will be sufficient.74



Conclusion


43 Holm AL, Rowe Gorosh M, Brady M, WhitePerkins D. Recognizing privilege and bias: An interactive exercise to expand health care providers’ personal awareness. Acad Med. 2017;92:360–364.


44 Stone J, Moskowitz GB. Non-conscious bias in medical decision making: What can be done to reduce it? Med Educ. 2011;45: 768–776.







 2018 Jan;93(1):35-40. doi: 10.1097/ACM.0000000000001819.

Framework for Integrating Implicit Bias Recognition Into HealthProfessions Education.

Author information

1
J. Sukhera is assistant professor of psychiatry and pediatrics, Schulich School of Medicine and Dentistry, Western University, London, Ontario, Canada, and PhD candidate in health professions education, Maastricht University, Maastricht, the Netherlands; ORCID: http://orcid.org/0000-0001-8146-4947. C. Watling is associate dean for postgraduate medical education and scientist, Centre for EducationResearch and Innovation, Schulich School of Medicine and Dentistry, Western University, London, Ontario, Canada.

Abstract

Existing literature on implicit bias is fragmented and comes from a variety of fields like cognitive psychology, business ethics, and higher education, but implicit-bias-informed educational approaches have been underexplored in health professions education and are difficult to evaluate using existing tools. Despite increasing attention to implicit bias recognition and management in health professions education, many programs struggle to meaningfully integrate these topics into curricula. The authors propose a six-point actionable framework for integrating implicit bias recognition and management into healthprofessions education that draws on the work of previous researchers and includes practical tools to guide curriculum developers. The six key features of this framework are creating a safe and nonthreatening learning context, increasing knowledge about the science of implicit bias, emphasizing how implicit bias influences behaviors and patient outcomes, increasing self-awareness of existing implicitbiases, improving conscious efforts to overcome implicit bias, and enhancing awareness of how implicitbias influences others. Important considerations for designing implicit-bias-informed curricula-such as individual and contextual variables, as well as formal and informal cultural influences-are discussed. The authors also outline assessment and evaluation approaches that consider outcomes at individual, organizational, community, and societal levels. The proposed framework may facilitate future research and exploration regarding the use of implicit bias in health professions education.

PMID:
 
28658015
 
DOI:
 
10.1097/ACM.0000000000001819


임상추론에 대한 이해와 평가를 개선하기 위한 가정 명확화(Acad Med, 2013)

Clarifying Assumptions to Enhance Our Understanding and Assessment of Clinical Reasoning

Steven J. Durning, MD, PhD, Anthony R. Artino, Jr, PhD, Lambert Schuwirth, MD, PhD,

and Cees van der Vleuten, PhD





진단을 결정하고 치료 전략을 세우는 것은 의료의 기본이다. 느슨하게 "임상추론"라고 하는 이러한 과정에서의 역량 개발이 의사에게 필수적이라는 것에는 의심의 여지가 없다.

Deciding on a diagnosis and instituting a treatment strategy are foundational to the practice of medicine. There is no question that developing competence in these processes, which are referred to loosely as “clinical reasoning,” is essential for physician success.


많은 연구에서 다음을 다루었다.

  • 의사들이 가설-연역적 추론을 통해 가설을 만들고 검증하는 방법

  • 케이스 특이성, 상황의 고유한 특성을 설명하기 위한 것으로, 나중에 상황의 고유한 특성 및 진단용 팩트 그 이상을 위하여 "맥락 특이성"으로 이름이 바뀜. 

  • 이중 프로세스 이론: 분석 및 비분석적 추론(또는 패턴 인식)과 관련된 6 

  • 스크립트 이론.7,8


research include insights into 

  • how physicians generate and test hypotheses through hypothetical-deductive reasoning1; 

  • case specificity, which has been subsequently renamed “context-specificity” to account for the unique nature of the situation or encounter beyond the facts in the diagnosis portrayed2–4; 

  • dual process theory, which pertains to analytic and nonanalytic reasoning (or pattern recognition),5 including its use in novices6; and 

  • script theory.7,8


임상 추론에 관한 많은 연구에도 불구하고, 임상 추론이 포함하는 내용이 무엇인지 여전히 명확한 합의가 존재하지 않으며, 임상 추론이 어떻게 가장 잘 가르치고 평가될 수 있는지에 대해서는 말할 것도 없다.9

Notwithstanding the many publications on clinical reasoning, there still exists no clear consensus regarding what clinical reasoning entails, let alone how it might best be taught and assessed, as well as the research and practice implications therein.9


인식론

Epistemology


인식론은 한 사람(또는 한 집단의) 지식의 성격, 범위, 구성 및 한계에 대한 연구를 포함한다. 그것은 "지식이란 무엇인가?"와 같은 질문에 답하는 것을 목표로 한다. 우리는 우리가 아는 것을 어떻게 아는가?

Epistemology involves the study of the nature, scope, construction, and limitations of a person’s (or a group’s) knowledge. It aims to answer questions such as, What is knowledge? How is it acquired? How do we know what we know?


두 가지 주요 인식론적 관점:

two main epistemological perspectives:


객관주의적(또는 논리적/실증주의적)의 관점에서 볼 때, 어느 영역에 대해서든(이 경우, 임상적 추론에 대해서), 밝혀지거나 발견될 수 있는 유일한 진리가 있다.11 따라서 가르침이란 이 유일한 진리를 전달하는 과정으로 생각할 수 있으며, 배움이란 이 유일한 진리를 발견해나가는 지식을 습득하는 과정으로 생각할 수 있다. (발견해야 할 진실이 유일하기 때문에) 경험은 덜 중요하게 여겨지고, 이와 같이, 전문가들에 의해 진실에 대한 생각을 전달하는 강의는 가장 넌리 사용되는 교육방법이자 효과적인 학습 수단으로 간주된다.

From the objectivist (or logical/positivist) perspective, for whichever domain is being considered (in this case, clinical reasoning), there is one truth that is revealed or can be discovered.11 Thus, from this viewpoint, teaching can be thought of as the process of conveying this one truth, and learning can be thought of as the process of acquiring knowledge so that one can discover this one truth. Experience is seen as less important (because there is one truth to be discovered), and, as such, lectures, whereby experts convey their ideas on the truth, are seen as a pervading instructional method and an effective means of learning.


구성주의적 관점에서 "지식은 인간이 만든 구성"이며12—"지식이란 객관적 진리의 중립적 발견이 아니다."13 이 인식론적 관점에서 학습자에게 정적인 사실을 제공하는 것만으로는 학습에 불충분하다. 학습자가 의미를 형성할 수 있는 경험을 제공하는 것이 중요하다.

From the constructivist viewpoint, “knowledge is a compilation of human- made constructions”12—“not the neutral discovery of an objective truth.”13 From this epistemological viewpoint, merely providing learners with static facts is insufficient for learning. Providing experiences whereby learners can construct meaning is key.


문제는, 임상적 추론이 하나의 진리로 이루어진 구인construct인가, 아니면 상황의 구체적, 특히 "구성constructing"을 하는 사람의 바탕에 따라 달라지는 구인인가 하는 것이다. 즉 임상적 추론은 특성인가, 상태인가(상황에 따라 달라짐) 아니면 둘의 결합인가?

The question becomes, is clinical reasoning a construct with one truth, or is it a construct that varies on the basis of the specifics of the situation and, notably, on the basis of the person doing the “constructing”? In other words, is clinical reasoning a trait or a state (varies with the situation), or a combination of the two?


구성주의에서는 지식을 사회적 상호 작용과 사회적 협상을 통해 개인들 사이에 형성되는 것으로 본다. 이 독특한 관계에 대한 각 개인의 건설은 다를 것이다. 그것은 유일한 "진리"의 구성construction이 아니다.

Constructivism views knowledge as accruing between individuals by means of social interactions and social negotiation. Each individual’s construction of this idiosyncratic relationship would be different—It is not the construction of one “truth.”


어떤 관점을 삼느냐에 따라 오류 분산 또는 노이즈의 개념이 다를 것이다.

These two viewpoints would have different notions of error variance, or noise.


예를 들어 임상 추론이 trait(하나의 진실)인 경우, 장소마다의 임상 추론이 달라지는 것은 예상치 못한 오류로 간주되는 반면, 임상 추론을 하나의 state상태로 생각할 경우, 위치마다의 변동성variability가 없을 경우 임상 추론의 평가의 정확성에 의문이 제기될 수 있다.

Take, for example, the physical location for the clinical reasoning event. If clinical reasoning is a trait (one truth), then variation in clinical reasoning from location to location would be unexpected and considered error, whereas if clinical reasoning is thought of as a state, then lack of variation from location to location could raise questions about the accuracy of the assessment of clinical reasoning.


학습과 평가에 대한 이론적 관점들

Theoretical Viewpoints of Learning and Assessment


학습을 이해하는 네 가지 주요 이론들

Below are four common theories used by medical educators to understand learning (and, by extension, teaching and assessment).


행동주의

Behaviorism


가장 순수한 형태의 행동주의는, 오직 행동(관찰 가능한 행동)만을 의미 있는 것으로 간주한다. 따라서 이러한 이론적 관점을 가진 사람은 임상적 추론을 임상적 조우에서 "직접 볼 수 있는 것"으로만 국한하여 생각할 것이다.

Behaviorism,14 in its purest form, considers only behaviors (observable actions) as meaningful. A person with this theoretical perspective would thus consider clinical reasoning as incorporating only what can be directly seen in the clinical encounter.


엄격한 행동주의적 관점에서(참고: 행동주의 관점에 대한 스펙트럼이 있다), 임상의사의 사고 과정과 감정 상태는 추론 과정의 중요한 부분으로 간주되지 않을 것이다. 행동주의는 임상적 추론은 행동 수정을 통해 배운다고 주장한다. 즉, 우리가 받는 조건부 보상과 처벌에 근거하여 추론을 배운다. 그러나 행동주의에 대한 보다 확장된 시각에서는, 사람은 다른 사람들이 보상받거나 처벌을 받는 것을 보면서, [대리적]으로 추론을 배울 수 있다.

From the strict behaviorist viewpoint (Note: There is a continuum of behaviorist perspectives), the clinician’s thought processes and emotional state would not be considered important parts of the reasoning process. Behaviorism argues that clinical reasoning is learned through behavioral modification; that is, we learn to reason on the basis of the contingent rewards and punishments we receive. Or, in an expanded view of behaviorism, we can also learn reasoning vicariously by watching others be rewarded and/ or punished for their behaviors in clinical practice.


신-행동주의자들은 이전의 경험에서 비롯된 생각과 감정 상태를 자극과 관련된 개인의 행동의 중요한 측면으로 볼 것이다.15 특히, 이러한 신-행동주의자들은 생각과 감정이 이전의 자극에 의해 형성되고 반응을 형성할 수 있다는 점에서만 중요하다고 주장한다. 이들이 강조하는 것은 자극에 대한 반응이지, 인간의 생각과 감정을 이해하는 것이 아니다. 따라서 이러한 관점에서 보면 ( 자극에 대응하는) 사람의 행동은, 행동의 결과로 사상과 감정의 내실화(內 internal化)로 이어지고, 이는 자극에 대한 후속 반응에 영향을 미친다; 생각과 감정은 행동의 원인이 아니라, 행동에 대한 반응이다.

Neobehaviorists, on the other hand, would view thoughts and emotional states, which result from prior experiences, as important aspects of an individual’s behavior in relation to a stimulus.15 Notably, however, these proponents would hold that thoughts and emotions are shaped by prior stimuli and are important only in that they can shape responses to future stimuli. The emphasis is on responses to stimuli, not on understanding human thoughts and emotions. Thus, from this perspective, one’s behavior (in response to a stimulus) leads to internalization of thoughts and feelings as a result of behavior, which influences subsequent responses to stimuli; thoughts and feelings are not the origin of behavior but the response to behavior.


행동주의자의 관점에서, 학습, 가르침, 평가는 (자극에 대한 개인의 반응에 가장 관심이 있기 때문에) 관찰가능한 행동을 수반해야 한다.

From the behaviorist perspective, learning, teaching, and assessment should entail observable actions because we are most interested in an individual’s response to stimuli.


예를 들어, 저명한 행동주의자(스키너)는 순전히 보상과 처벌의 과정으로서 언어 발달에 접근했다.14 이를 반박하며, 촘스키(신행동주의자)는 그러한 견해는 우리가 들어보지 못한 문장을 만들어내는 우리의 능력을 설명할 수 없다고 언급했다. 종합하자면, 임상적 추론을 이해하는 것은 행동주의 관점의 초점이 아니다. 행동주의 이론적 관점의 구성 요소는 의학교육의 성과(행동)와 역량바탕의학교육에 초점을 둔다는 것이 자명evident하다.

For example, a prominent behaviorist (Skinner) approached language development purely as a process of reward and punishment.14 In rebuttal, Chomsky15 (a neobehaviorist) noted that such a view could not account for our ability to produce sentences that we have never heard. In sum, understanding clinical reasoning is not a focus of the behaviorist perspective. components of the behaviorist theoretical perspective are evident in the focus on medical education outcomes (the behavior) and competency-based medical education


이러한 프레임워크에서 원하는 것은 "행동"(능력)을 보여주는 것이며, 어떻게 그러한 능력을 얻게 되었는지를 이해하는 것은 그다지 관심의 대상이 아니다. 행동주의는 대부분 객관적 인식론에서 나타났다는 것을 인식하는 것이 중요하다.

What is desired in these frameworks is displaying the “behavior” (competency), whereas understanding how one obtains the competency is not so much the focus. It is important to recognize that behaviorism emerged, in large part, from an objectivist epistemology


정보처리이론

Information processing theory


정보처리 이론은 오늘날 의학 교육에 만연해 있는 관점이다. 정보처리이론에 속하는 것에는 예를 들어 스크립트 이론 7,8 및 이중 프로세스 이론.5가 포함된다. 스크립트와 이 이중 프로세스(분석적 프로세스와 비분석적 프로세스)가 어떻게 상호 작용하는지는 완전히 이해되지 않는다. 패턴인식의 과정(빠른 과정)도 잘 이해되는 현상은 아니다.6

Information processing theory is a pervading perspective in medical education today. Theories that fall under information processing include, for example, script theory7,8 and dual process theory.5 How scripts and these two processes (analytic and nonanalytic) interact is not fully understood. Even the process of pattern recognition (the fast process) is not a well-understood phenomenon.6


인지 부하 이론(Cognitive Load 이론)16은 임상 추론을 설명하기 위해 일부에서 사용했던 정보 처리 이론이다.17 CLT는 우리의 인지 아키텍처의 한계를 언급하고 주어진 시간에 제한된 수의 정보 "청크" 또는 단위를 보유할 수 있음을 시사한다. 청크는 9개 이하인 것으로 추정된다. 또한 CLT는 다른 유형의 인지 부하를 지정한다.16 

Cognitive load theory (CLT)16 is another important, and more contemporary, information processing theory that some have used to help explain clinical reasoning.17 CLT refers to limitations in our cognitive architecture and suggests that we can hold (or process) only a finite number of informational “chunks,” or units, at a given time; the number of chunks is assumed to be no more than nine. CLT also specifies different types of cognitive load.16 


행동주의 접근법과 달리 정보처리 이론은 의사의 (관찰할 수 없는)정신적 과정에 더 큰 가치를 둔다; 관찰할 수 있는 행동(행동주의자 접근법)을 예측하기 위한 모델보다는, 구인(여기서는 임상적 추론)를 이해하는 데 중점을 둔다. 이 두 이론적 관점이 어떻게 충돌할 수 있는지 알 수 있다. 행동주의가 관찰과 예측이라면, 정보처리이론은 이해에 중점을 둔다.

Unlike the behaviorist approach, information processing theory places greater value on a physician’s mental processes (that are not observable); the emphasis is on understanding the construct (here, clinical reasoning) rather than coming up with a model to predict the observable behavior (behaviorist approach). One can see how these two theoretical viewpoints can conflict—understanding as opposed to observation and prediction.


정보처리 관점에서, 임상추론은 의사가 임상 상황에 접근할 때 사용하는 내적 정신 과정(관찰 가능한 행동과 대조됨)으로 정의할 수 있다.

From the information processing viewpoint, clinical reasoning can be defined as the internal mental processes (versus observable behaviors) that a physician uses when approaching clinical situations.


더욱이, 정보처리 이론가들은 정신 과정mental process에 중점을 두고 있기 때문에, 임상 추론을 가르치는 방법으로, [체계적이고 점진적으로 정보를 제공하고, 임상추론 퍼포먼스를 향상시킬 수 있는 개별적 정보의 조각을 변화시킴]으로써 가르칠 수 있다고 믿는다. 그러나 내적 정신 과정으로서 임상 추론을 강조하게 될 경우, 임상 추론을 배우는 것은 꽤나 어려운 일이 된다. 즉, 경험(정비를 통한 지식)도 이러한 관점에서는 중요한 역할을 하지만, 잘 짜여진 지식의 획득이 더 중요하다.

Furthermore, as the emphasis is on mental processes, information processing theorists believe that clinical reasoning can be taught by giving trainees organized, incremental pieces of information and/or varying the individual pieces of information that lead to subsequent improved clinical reasoning performance. However, the emphasis on clinical reasoning as an internal mental process makes learning clinical reasoning challenging. That is, the emphasis is on acquisition of well-organized knowledge, although experience (through refining knowledge) also plays an important role in this viewpoint.


그러나 정보처리 이론가의 관점에서는 임상환경 및 환자와 의사 사이의 상호작용과 같은 상황 특이적 요인은 가치가 낮은 것으로 생각된다.18 이러한 상황 특이적 요인은 대체로 이론과 무관한 것으로 보며, variation을 일으키는 원치 않는unwanted 소스로 간주된다.(즉, 상황 요인은 관심 대상이 아니라 측정의 오류artifact이다) 즉, 정보처리이론은 임상적 맥락을 명시적으로 다루지 않는다.

However, from the information processing theorist’s perspective, specific situational factors— the environment of the clinical encounter and the interactions between patients and physicians—are believed to be of less value.18 These specific situational factors are largely seen as theory-unrelated and, therefore, are considered to be unwanted sources of variation (i.e., situational factors are artifacts of the measurement method and not the focus of study). In other words, information processing theory does not explicitly address the clinical context


교육의 관점에서, 교육은 굳이 임상환경에서 이뤄질 필요가 없으며, 실제로 CLT는 적어도 초기 단계에서 임상추론교육은 낮은 충실도 또는 낮은 authenticity 방법(즉, 진단이나 치료의 기본 구성요소에 대한 종이 사례)을 포함해야 한다고 주장할 것이다.

From an instructional perspective, the format of instruction does not need to be in a clinical setting, and indeed CLT would argue that, at least at first, this teaching should involve low-fidelity or low-authenticity methods (i.e., paper cases of basic components of the diagnosis or therapy).


더욱이,

    • 외적 부하: (교육 방법 자체에 의해 부과되는 하중)은 가능한 한 최소화되어야 한다. 

    • 내적 부하: (콘텐츠의 복잡성과 관련된 부하)에 초점을 맞추어 

    • 본유적 부하: 더 많은 학습 노력을 유도할 수 있다. 

CLT의 관점에서 학습은 먼저 nonauthentic 환경에서 잘 정의된 문제부터 시작하여, 문제의 복잡성(즉, 학습 환경의 진위)이 점진적으로 증가해야 한다고 주장되어 왔다.

Furthermore, 

    • extraneous load (that which is imposed by the teaching method itself) should be minimized as much as possible, 

    • with a focus on the intrinsic load (that which is related to the complexity of the content) 

    • that can lead to more learning effort (germane load). 

It has been argued from the CLT perspective that learning should start with well- defined problems, first in nonauthentic settings, and followed by gradual increases in the complexity of the problems (i.e., the authenticity of the learning environment).


이 이론에서는 지식의 습득에 우선순위를 두며, 교사들은 학습자가 자신의 질병 스크립트 만들 수 있도록 지식 구조와 조직을 제공하는 콘텐츠 전문가가 되어야 한다고 강조한다.

This theory places a priority on acquisition of knowledge and the notion that teachers should be content experts who primarily provide knowledge structure and organization to trainees so that they can build their illness scripts.


정보처리 관점에서 독자를 돕기 위한 지나치게 단순화된(그러나 우리는 유용하다고 믿는) 비유는 전문가의 마음에서 수련자의 정신으로 정보를 "전송하거나 운반하는" 아이디어다.18 이 관점에서 강의는 학습에 매우 유용한 접근방식이 될 수 있다.

From the information processing perspective, an oversimplified (but, we believe, useful) analogy to help the reader is the idea of “transferring or transporting” information from the mind of the expert into the mind of the trainee.18 From this viewpoint, lectures could be a very useful approach to learning.


의학교육 사례에는 구두 프레젠테이션과 관련된 객관적 구조 임상 시험(OSCE) 스테이션을 포함할 수 있다. 

    • 정보처리 이론의 관점에서는, 학습자의 지식 구조를 이해하는 것에 중점을 둘 것이고, 따라서 평가와 피드백은 지식 구축과 조직으로 향할 것이다. 

    • 행동주의자의 관점에서는, 행동을 보여주고 미래의 시험에서의 수행능력을 예측하는 것에 중점을 둘 것이며, 따라서 평가와 피드백을 강조하는 것은 관찰할 수 있는 행동에 중점을 둘 것이며, 정신 과정을 이해하는 데 훨씬 덜 중점을 둘 것이다.

A medical education example might involve an objective structured clinical exam (OSCE) station pertaining to the oral presentation. 

    • From an information processing theory perspective, the emphasis would be on understanding the trainee’s knowledge structures, and thus assessment and feedback would be directed toward knowledge construction and organization. 

    • From a behaviorist perspective, the emphasis would be on the behavior displayed and predicting performance in future iterations of the oral presentation, and therefore the emphasis for evaluation and feedback would be on the observable actions, with far less emphasis on understanding mental processes.


일반적으로 말하면 행동주의와 정보처리론(또는 인지주의)은 모두 객관주의적, 즉 실증주의적 인식론의 산하에 속한다. 두 접근방식의 주된 목표는 학습자에게 가장 효율적이고 효과적인 방법으로 지식을 전달하거나 전달할 수 있는 것이다. 이 관점에서 효율성과 효과성의 중요한 열쇠 중 하나는 복잡한 프로세스와 아이디어를 관련된 모든 사람들이 합의하는 기본적인 요소들로 분해하거나 단순화할 수 있다는 개념이다.

Generally speaking, both behaviorism and information processing theory (or cognitivism) fall under the umbrella of objectivist, or positivist, epistemology. The primary goal with both approaches is being able to communicate or transfer knowledge to learners in the most efficient and effective manner. One important key to efficiency and effectiveness is the notion that complex processes and ideas can be broken down, or simplified, into basic components that are agreed on by all involved.


심리측정이론

Psychometric theories


심리측정이론은 신뢰할 수 있고 타당한 방법으로 측정할 수 있는 영역으로서의 임상 추론의 개념을 다루고 있다.

These theories address the concept of clinical reasoning as a domain that can be measured in a reliable and valid way


심리측정이론은 임상적 추론과 관련하여 어떤 특정한 주장을 하지는 않으며(그들은 이론 자체를 배우는 것이 아니다), 따라서 모든 구조에 대해서 다 적용된다.

Psychometric theories do not make any specific claims with respect to clinical reasoning (they are not learning theories, per se), and so what we discuss applies to any construct viewed through these theories.


심리측정관점에서, 우리는 임상 추리 능력처럼 잠재(관측할 수 없는) 구조latent construct를 측정하려고 시도하고 있다. 이러한 관점에서 우리가 포착하고자 하는 객관적 진리가 있다(즉, 이것은 객관주의적, 즉 실증주의적, 인식론). 그러한 많은 이론들은 임상적 추론과 같은 잠재된 구인를 trait(state가 아니라)로 본다.

From the psychometric perspective, we are attempting to measure a latent (unobservable) construct like clinical reasoning ability. From this perspective, there is an objective truth we are trying to capture (i.e., this is an objectivist, or positivist, epistemology). Many such theories view latent constructs like clinical reasoning as traits (versus states)


만약 추론을 신뢰할 수 있고 타당한 방법으로 포착할 수 없다면, 추론의 구조는 믿을 수 없으며, 적어도 보다 정교하게 다듬을 필요가 있다. 이건 행동주의자의 시각과 매우 비슷한 관점이다. 만약 무엇인가를 그것을 보거나 측정할 수 없다면, 그것은 아마도 relevant하지 않을 것이다.

If reasoning cannot be captured in a reliable and valid manner, then the construct of reasoning is questionable or, at least, is in need of refinement. This is a view much like the behaviorist perspective—If you can’t see or measure it, it probably is not relevant.


더 나아가서 행동주의처럼, 심리측정적 관점은 관찰할 수 있는 것에 중점을 두지만, 더 나아가서 정량화할 수 있는 것에 더욱 더 중점을 두고, 반복 가능한 방법으로 미래의 성과를 예측하는 데 이용된다. 이러한 관점에서, construct와 outcome 행동을 신뢰성 있고 유효한 방식으로 명확하게 정의할 수 없는 한, 임상추론이 측정할 수 있는 것인지는 알 수 없는 것이 된다(이것을 확장하자면, can be measured 뿐만 아니라 can be learned인지도 불확실하다)

Further, like behaviorism, the psychometric viewpoint puts emphasis on what is observable, but it goes even further, placing even more emphasis on what can be quantified, in a repeatable way, and used to predict future performance. From this perspective, it is not known whether reasoning can be measured (and, as an extension, learned, which is a topic of debate in the medical education literature today) unless the construct and outcome behavior can be clearly defined, both in a reliable and valid fashion.


따라서 평가는 구인이 명확하게 정의되어야만 가능한 것이다. 심리측정학자는 [임상 추론을 가르치고 평가하는 데 사용될 수 있는] 잘 개발된 측정 도구를 사용하여 신뢰할 수 있고 타당한 점수를 구성하는 데 연구가 집중된다. 위에서 언급한 구두 프레젠테이션 OSCE 스테이션 예제로 돌아가자면, 퍼포먼스를 신뢰할 수 있고 타당한 방식으로 수량화할 수 없는 경우, 이는 평가 중인 구인에 의문이 제기되는 것이다.

Assessments can be created once the construct is clearly defined, per the guidelines above. For psychometricians, research is focused on constructing reliable and valid scores using well-developed measurement tools, which may be used to teach and assess clinical reasoning. Returning to our oral presentation OSCE station example mentioned above, if the performance cannot be quantified in a reliable and valid fashion, this calls into question the construct being assessed.


상황성 이론

Situativity theory


상황성 이론18은 임상추론이 (행동주의처럼) 구체적인 상황에 뿌리를 두고 있다고 주장한다. 두 가지 선도적인 이론은 상황성 인식생태 심리학이다.18 

    • 상황성 인식은 사고(인식 또는 추론)가 경험 속에 nested되어있다고 주장하며, 추론을 한다는 것은 것은 상황과 경험의 세부사항을 이해하는 것을 의미한다. 

    • 생태심리학에서는 추론이 정보가 풍부한 환경에서 상호작용하는 목표지향적인 사람의 결과라고 제안한다. 

이 두 이론 모두, 환경 또는 의료환경과 의사, 환자 및 의료 팀 간의 상호 작용이 중요하다.

Situativity theory18 argues that clinical reasoning is rooted in the specific situation (as does behaviorism). Two leading theories are situated cognition and ecological psychology.18 

    • Situated cognition argues that thinking (cognition or reasoning) is nested in experience, and to understand reasoning means to understand the particulars of the situation and experience. 

    • Ecological psychology proposes that reasoning is the result of a goal-driven person interacting in an information-rich environment. 

In both of these theories, the environment, or practice setting, and the interactions between the physician, the patient, and the health care team are critical.


상황성situated의 관점에서, 환경과 상호작용은 소음이나 측정 오차가 아닌 측정 현상 또는 실제 분산의 일부로 간주된다. 의사는 최종 진단과 치료를 담당하지만 이러한 다른 요인(환경과 참여자)에 의해 의미 있는 영향을 받는다. 이 관점에서 임상추론은 환자의 진단과 치료에 특별히 관련된 임상적 조우에서 [발생하는 모든 것]을 나타낸다.

from a situated perspective, the environment and the interaction are seen as part of the measurement phenomenon, or true variance, as opposed to noise or measurement error. The physician is responsible for the final diagnosis and therapy, but she or he is influenced meaningfully by these other factors (environment and participants). From this viewpoint, clinical reasoning represents all that occurs in the clinical encounter that specifically pertains to the diagnosis and therapy of the patient.


더욱이 상황성 이론은 임상추론이 비선형적일 가능성이 높다고 주장할 것이고, 따라서 임상 추론을 측정하고 비교하기 위한 우리의 통계적 방법은 이 구성의 분산을 완전히 포착하지 못할 수도 있다고 본다. 다른 이론들도 비선형성을 하나의 가능성으로 인정할 수 있지만, 상황성 이론은 비선형성이 가장 가능성이 높은 모델이라고 본다는 점이 다르다.18 상황성의 관점에서 선형성은 직설적인 표현, 전형적인 질병 및/또는 증명되지 않은 실험실(연구) 설정에서만 발생할 수 있다.18

Furthermore, situativity theory would argue that clinical reasoning is likely nonlinear, and thus our statistical methods to measure and compare clinical reasoning may not fully capture the variance in this construct. And whereas other theories may acknowledge nonlinearity as a possibility, situativity theory proposes that nonlinearity is the most likely model.18 From a situated perspective, linearity is likely to occur only in straightforward presentations, typical diseases, and/or inauthentic laboratory (study) settings.18


교육 측면에서, 상황 이론들은 근무지 평가의 필요성을 강조한다. 교육은 또한 authentic 교육 형식을 강조해야 한다. 평가에는 encounter 또는 setting에 관계된 모든 사람의 관점을 포함해야 한다. 이러한 이론은 행동과 정보 처리(예: 스크립트, 이중 프로세스 및 인지 부하)가 모두 임상 추론의 일부지만, 별도로 가장 간단한 경우를 제외한 모든 경우에 대해 불완전한 설명을 나타낸다는 데 동의한다.

In terms of instruction, situativity theories stress the need for workplace assessment. Teaching should also emphasize authentic instructional formats. Assessments should include the views of all participants in the encounter and the setting. These theories would agree that behaviors and information processing (i.e., scripts, dual process, and cognitive load) are all part of clinical reasoning but that, separately, they represent an incomplete description for all but the most straightforward cases.


실제적 함의

Practical Implications and Future Directions


그래서 우리는 자신의 접근방식에 융통성이 있다고 믿는다. 그러므로 알프레드 코르지브스키가 유명한 것처럼 "지도는 영토가 아니다."21(p190) 즉, 어떤 지도도 그것이 묘사하는 물리적 지형을 완전하고 정확하게 나타낼 수 없듯이, 어떤 학습(혹은 추론)에 관한 이론도 복잡한 인지 지형의 기본 메커니즘을 완전하고 정확하게 나타낼 수 없다. 이론이란 추상화된 것이며, 본질적으로 좀 더 복잡한 (그리고 완전히 이해되지 않는) 현상의 단순화된 버전이다.

so we believe that flexibility in one’s approach is warranted. Thus, it is important to recognize, as Alfred Korzybski famously stated, that “the map is not the territory.”21(p190) That is, just as no single map can completely and accurately represent the physical terrain it depicts, no single theory of learning (or reasoning) can fully and accurately represent the underlying mechanisms of complex cognitive processes. As abstractions, theories, by their very nature, are simplified versions of some more complicated (and not fully understood) phenomenon.


지도를 영토와 혼동하지 않는 것이 중요하다. 즉, 현실의 이론적 모델과 현실 그 자체를 혼동하지 않는 것이다. 대신에, 우리는 각각의 이론이 현실을 보는 다른 방법을 제공한다는 것을 인정해야 하고, 따라서 실제로 일어나고 있는 일의 다른 측면에 대해 우리에게 깨우쳐 주어야 한다. 그러므로 우리는 이론들이 본질적으로 구성주의적이라고 주장할 것이다.

it is important that we do not confuse maps with territories—that is, that we do not confuse our theoretical models of reality with reality itself. Instead, we should acknowledge that each theory provides a different way of viewing reality and, as such, enlightens us about different aspects of what is actually happening. We therefore would argue that theories are inherently constructivist in nature.


다양한 관점: 통합된 임상추론 이론을 향하여

Multiple Perspectives: Toward a More Unified Clinical Reasoning Theory


우리는 임상적 추론이 진단과 치료적 결정의 측면에서 보여지는 행동뿐만 아니라 정신적 과정mental process 모두를 포괄한다고 믿는다.

We believe that clinical reasoning encompasses both the mental processes as well as the behavior exhibited in terms of diagnostic and therapeutic decisions


분명히, 이러한 이론들 중 어느 것도 혼자서는 충분하지 않으며, 따라서 우리는 하나의 모델을 제안한다(그림 1 참조).

Clearly, none of these theories is sufficient alone, and thus we propose a model (illustrated in Figure 1)



  • 행동주의("경험"이라는 굵은 단어로 표시됨), 

  • 위치 인식(원 및 화살표로 표시됨) 

  • 정보처리 이론(이탤릭체로 표시됨)

  • behaviorism (indicated by the bolded word “experience”), 

  • situated cognition (indicated by the circles and arrows), 

  • information processing theories (indicated by the italicized words),


또한, 우리는 위에서 검토한 이론들이 초기 임상 학습자를 다룰 때 특히 불완전하다고 믿는다. 예를 들어 행동주의가 주로 사고 과정과 감정 상태를 무시한 채 임상적 만남에서 직접 볼 수 있는 것에만 초점을 맞추고 있는 것은 임상 추론의 중요한 특징들을 배제한다.

Further, we believe that the theories reviewed above are particularly incomplete when addressing the early clinical learner. For example, behaviorism’s focus on only what can be directly seen in the clinical encounter, largely ignoring thought processes and emotional states, excludes important features of clinical reasoning.


정보처리 이론은 대부분 전문가들의 연구와 이해로부터 개발되었다. 우리는 정보처리 이론이 더 어린 학습자들에게 어떤 일이 일어나고 있는지 설명하는데 부족하다고 생각한다. 그것은 한 명의 의사의 머리 속의 지식과 구조화에 초점을 맞추고 있기 때문이며, 또한 맥락을 효율적으로 고려하지 않는다. 정보처리이론은 그림 1의 "의사적 요인" 서클에서 지식 및 인지 부하로 확인된다.

Information processing theory was developed largely from the study and understanding of experts; we believe that it falls short in explaining what may be going on in the more junior learner. With its focus on knowledge and its organization in the physician, it also does not efficiently take context into account. Information processing theory is identified as knowledge and cognitive load in the “physician factors” circle of Figure 1.


심리측정이론은 임상 추론의 구조를 측정할 때 정밀도의 필요성에 초점을 맞춘다. 실제로, 우리는 의학교육자들이 우리의 모델(의사, 환자 및 환경)의 기초가 되는 요소나 요소의 측정 정밀도(신뢰성 및 유효성)를 향상시키기 위해 노력해야 한다고 믿는다. 그러나, 여러 요소들 중 하나에만 초점을 맞추면, 실제 임상적 만남 동안 실제로 일어나는 일에서 많은 것을 잃게 된다.

Psychometric theory focuses on the need for precision in measuring the construct of clinical reasoning. Indeed, we believe that medical educators should strive to improve the measurement precision (reliability and validity) of the components or factors underlying our model (physician, patient, and environment); however, by solely focusing on one of these factors, much is lost in what is actually going on during a real clinical encounter


각 구성 부품에 대한 신뢰할 수 있고 타당한 측정에 대한 관심은 그림 1에 연결된 세 개의 원으로 표시된다.

Attention to reliable and valid measures of each of the component parts is represented in Figure 1 by the three connected circles.


우리는 상황성 이론이 임상 추론에 대한 유용한 중요한 관점을 제공한다고 믿는다. 이러한 이론은 의사, 환자 및 설정(및 이들의 상호작용)에 특정한 임상 추론 및 개요 요인에 사회적 관점을 가져오고, 이는 우리에게 임상 추론(즉, "병리적"을 보는 중요한 추가 방법)의 측면에서 무엇이 일어나고 있는지를 보다 포괄적으로 볼 수 있게 해준다. 그러나 이러한 이론들은 상호작용을 일으키는 것은 말할 것도 없고, 이 세 가지 요소 각각에 대한 "구성요소 부분components parts"을 명시하지 않는다(그림의 양방향 화살표). 다른 이론들은 구체적인 요소들을 결정하거나 형성하는데 도움을 줄 수 있다.

We believe that situativity theories provide a useful overarching view of clinical reasoning. These theories bring a social perspective to clinical reasoning and outline factors specific to the physician, patient, and setting (and their interactions), which gives us a more inclusive view of what is occurring in terms of clinical reasoning (i.e., an important additional way of viewing the “territory”). But these theories do not specify the “component parts” of each of these three factors, let alone what drives the interactions (bidirectional arrows in the figure). The other theories can help determine or shape the specific factors.


그림에 표현된 중요한 함축은 비선형성의 개념이다.

An important implication expressed in the figure is the notion of nonlinearity.


앞의 모든 이론들은 상황성을 제외하고 비선형성의 가능성에 대해 논쟁할 것이다. 이것은 [모든 임상적 조우]들이 비선형적으로 진행된다는 것을 의미하는 것이 아니라, 임상추론이라는 현상이 비선형적 속성을 가지고 있다는 것을 의미한다.

All of the preceding theories, with the exception of situativity, would argue against the possibility of nonlinearity. This does not mean that every clinical encounter will proceed nonlinearly but only that the phenomenon of clinical reasoning possesses nonlinear attributes



선형성과 비선형성: 운전에 대한 비유

Linearity and nonlinearity: A metaphor of driving a car


교통 체증은 비선형적인 사건을 나타낸다. 

    • 교통 체증에서 개별 차량의 이동(또는 그 결여)은 교통 흐름(사고를 포함)에 단순합산이상의(그리고 실제로 심오한) 영향을 미칠 수 있다. 

    • 교통 체증에 빠진 운전자는 잼을 성공적으로 탐색하기 위해 다른 구성 부품(즉, 다른 자동차)에 세심한 주의를 기울여야 한다. 

    • 이것은 아무 교통체증 없이 고속도로를 따라 차를 운전하는 것과 달리, 이것은 선형적인 사건이나 세심하게 구조화된 실험실 실험을 비유하는 것이다. 

    • 그 다음에는 물론, 선형적이거나 잠재적으로 비선형적일 수 있는 "간격" 상황(교통량 변동)이 있다. 

    • 확실히, 선형 사건에서의 운전 기술 또한 비선형 상황에서 중요하다. 

    • 그러나 전 상황(선형 주행 이벤트)에서의 기술(비선형 주행 이벤트)이 후자에 필요한 모든 것을 반드시 설명하지는 않는다. 

    • 졸음운전, 라디오 소리, 교통 체증이 없을 때 시끄러운 대화로 운전을 성공적으로 할 수 있다. 

    • 교통체증 속에서 이러한 상황에서 성공적으로 항해하는 것은 훨씬 더 어렵다.


A traffic jam represents a nonlinear event; that is, 

    • the movements (or lack thereof) of individual cars in a traffic jam can have nonadditive (and indeed profound) effects on the flow of traffic (to include accidents). 

    • A driver in a traffic jam must pay close attention to component parts (i.e., the other cars) to successfully navigate the jam. 

    • This is unlike driving one’s car down a highway without any traffic, which is a metaphor for a linear event or a carefully structured laboratory experiment. 

    • Then, of course, there are the “in-between” situations (varying degrees of traffic), which can be linear or potentially nonlinear. 

    • Certainly, one’s driving skills in linear events are also important in nonlinear situations; 

    • however, the skills in the former situation (linear driving event) do not necessarily account for all that is needed in the latter (nonlinear driving event). 

    • One can successfully drive with drowsiness, a blaring radio, and/or a loud conversation when there is no traffic; 

    • it is far more difficult to successfully navigate under these circumstances in a traffic jam.



함의

Implications


우리는 교육과 평가가 조우( encounter)를 통한 단일 최적 경로에만 초점을 두기보다는, 조우( encounter)의 "경계" 및 수용 가능한 수행 범위를 비롯하여, 맥락에 더 초점을 맞추어야 한다고 주장할 것이다.

We would argue that education and assessment should focus less on the single best route through an encounter and focus more on the context as well as the “boundaries” or range of acceptable performance in an encounter.


심리측정, 정보처리, 행동주의 관점과 달리, 정답에 대한 유일한 "진실"이나 정확한 경로만 존재하는 것은 아니며, 동등하게 수용가능한 경로가 다수 있는 경우도 있다. 전문지식expertise을 정의하는 것은 일련의 경계 조건 내의 성과다.

In contrast to psychometric, information processing, and behaviorist perspectives, there is not one “true” or correct path to the answer; there are often multiple, equally acceptable paths. What defines expertise is performance within a set of boundary conditions.


이것이 학습에 대해 가지는 함의는 맥락과 구성 요소에 대한 것이다. 이것의 예로는 자기 조절 학습 이론이 있다. SRL에는 task에 종사하기 전에 수행된 활동, task를 수행하는 동안의 활동, 그리고 task 진행 중 또는 종료 후의 성찰을 포괄하는 3중 루프가 있다. 이 세 가지 영역의 특정 활동은 환경 및 참여자를 포함하는 활동의 맥락에 따라 달라진다.

Implications for learning entail focusing on the context and component parts. An example of this is self-regulated learning theory, a triadic, reciprocal loop that encompasses activities undertaken before engaging in a task, activities while engaging in a task, and reflection during or after engaging in a task. The specific activities in these three domains are dependent on the context of the activity, which includes the environment and the participants.


또 다른 교육적 함의는 참가자와 환경에 초점을 맞춰야 한다는 것이다. 우리의 모델은 팀워크, 학제간 교육, 그리고 환자의 관점을 훨씬 더 강조할 것이다. 그러한 접근방식은 또한 진단 내용 또는 "스크립트" 이외의 정보가 선악의 의사결정에 어떻게 영향을 미칠 수 있는지를 강조한다.

Further educational implications of this model include focusing more on the participants and the environment. Our model would place a much greater emphasis on the importance of teamwork, interdisciplinary education, and the patient’s perspective. Such an approach also stresses how information other than the content or “script” of the diagnosis can affect decision making for good or ill.


또한 비선형성의 가능성을 고려해야 한다. 다행히도, 그러한 모델들이 존재하고, 25 그리고 의학의 모델과 유사한 상황에서, 이 비선형적 모델들은 선형적인 방법보다 관심 결과의 분산을 더 많이 설명한다.2.2 질적 방법과 혼합된 방법mixed method은 특히 비선형성의 존재를 조명할 수 있으며, 우리가 제시하는 프레임워크에 대한 정보를 주고, 그것을 더 revise하는 데 사용될 수 있다. 실제로 혼합 방법론mixed method은 아마도 우리의 이론적 프레임워크가 actual practice을 반영한다는 것을 시험하거나 증명하는 최선의 방법을 나타낸다.

Challenges to the model include the potential for nonlinearity. Fortunately, such models exist,25 and in situations similar to those of medicine, these models explain more of the variance in the outcome of interest than do linear methods.25 Qualitative methods and mixed methods can be particularly illuminating of the existence of nonlinearity and could be used to inform/revise the framework we present. Indeed, mixed methodology probably represents the best way to test or demonstrate that our theoretical framework reflects actual practice.


마지막 비유로, 스트라이크를 일관되게 던질 수 있지만( 스트라이크 존이 경계를 나타냄) 모든 공을 정확히 같은 위치에 던지는 것은 바람직하지 않다(또는 가능하지도 않다). 우리는 그러한 관점이 많은 변수가 상호작용을 할 수 있고, 종종 상호작용을 하는 자연주의적 환경(예: 임상적 만남)에 특히 도움이 된다고 믿는다. 그러한 설정에서 임상에 있어서 static behavior만을 예측하거나 관찰하는 것(행동주의 및 심리측정적 관점), 또는 환경이나 상호작용을 고려하지 않고 의사의 마음에서 일어나는 일을 이해한다는 것(정보 처리 이론)은 그다지 성과가 없을 가능성이 높다.

As a final metaphor, take a major league baseball player who can consistently throw strikes (the strike zone represents the boundaries) but for whom throwing the ball in exactly the same location from one pitch to the next is not desirable (or possible). We believe such a perspective is particularly helpful in naturalistic settings (such as the clinical encounter), where so many variables can, and often do, interact. In such settings, predicting or observing for a static behavior (behaviorist and psychometric theoretical perspectives) or for understanding what is going on in a physician’s mind without taking into account the environment or interactions (information processing theory) is likely to be not very fruitful.


24 Durning SJ, Artino AR, Boulet JR, Dorrance K, van der Vleuten C, Schuwirth L. The impact of selected contextual factors on experts’ clinical reasoning performance (does context impact clinical reasoning performance in experts?). Adv Health Sci Educ Theory Pract. 2012;17:65–79.







 2013 Apr;88(4):442-8. doi: 10.1097/ACM.0b013e3182851b5b.

Clarifying assumptions to enhance our understanding and assessment of clinical reasoning.

Author information

1
Uniformed Services University of the Health Sciences, Bethesda, Maryland 20814, USA. steven.durning@usuhs.edu

Abstract

Deciding on a diagnosis and treatment is essential to the practice of medicine. Developing competence in these clinical reasoning processes, commonly referred to as diagnostic and therapeutic reasoning, respectively, is required for physician success. Clinical reasoning has been a topic of research for several decades, and much has been learned. However, there still exists no clear consensus regarding what clinicalreasoning entails, let alone how it might best be taught, how it should be assessed, and the research and practice implications therein.In this article, the authors first discuss two contrasting epistemological views of clinical reasoning and related conceptual frameworks. They then outline four different theoretical frameworks held by medical educators that the authors believe guide educators' views on the topic, knowingly or not. Within each theoretical framework, the authors begin with a definition of clinical reasoning (from that viewpoint) and then discuss learning, assessment, and research implications. The authors believe these epistemologies and four theoretical frameworks also apply to other concepts (or "competencies") in medical education.The authors also maintain that clinical reasoning encompasses the mental processes and behaviors that are shared (or evolve) between the patient, physician, and the environment (i.e., practice setting). Clinicalreasoning thus incorporates components of all three factors (patient, physician, environment). The authors conclude by outlining practical implications and potential future areas for research.

PMID:
 
23425980
 
DOI:
 
10.1097/ACM.0b013e3182851b5b


부담은 갖는 자의 것: 학습자의 프로그램적 평가 인식에 대한 국제연구(Med Educ, 2018)

Stakes in the eye of the beholder: an international study of learners’ perceptions within programmatic assessment

Suzanne Schut,1,2 Erik Driessen,1,2 Jan van Tartwijk,3 Cees van der Vleuten1,2 & Sylvia Heeneman1,4



도입

INTRODUCTION


평가의 학습과 의사결정 기능을 모두 최적화하기 위한 평가 프로그램을 설계할 때 프로그래밍 평가를 프레임워크로 사용할 수 있다.7

Programmatic assessment can be used as a framework when designing assessment programmes that are aimed at optimising both the learning and the decision-making function of assessment.7


비록 기존 연구에 다르면 이 평가 접근법이 자기조절학습 개발을 지원하는 데 도움이 될 수 있다는 긍정적인 결과를 보여주지만, 이 접근법을 시행하는 것은 도전이고, 현실적으로 많은 원칙들은 여전히 불확실하다.

although research shows the first positive results that this assessment approach might be beneficial for supporting the development of self-regulated learning,5,8,9 implementing this approach is a challenge and many of the principles are still uncertain in practice.4,5,10


프로그램 평가에서 중요한 개념 중 하나는 평가는 평가의 부담stake와 개별 평가의 수 사이의 비례 관계를 갖는 연속체로서 제안된다는 것이다.7 각 개별 평가 자체는 학습자에게 제한된 결과(즉, 낮은 부담)를 가지지만, 평가 결과가 통합되면 졸업 또는 진급에 대한 결정에 사용될 때 평가가 중대해질 수 있다(예: 높은 부담).

One of the important concepts within programmatic assessment is that assessment is proposed as a continuum with a proportional relationship between what is at stake and the number of individual assessments.7 Each individual assessment itself has limited consequences for the learner (i.e. is low stakes) but the consequences of the evaluation of the aggregated assessments can be substantial when they are used for a decision about, for instance, graduation or promotion (i.e. high stakes).


개별 평가의 부담을 낮추는 것은 프로그램 평가의 학습 잠재력을 최적하기 위해 필요하며, 학습자에게는 자신의 성과에 대한 지속적인 정보의 흐름을 제공할 수 있다. 그러나 연구자들은 학습을 자극하고 최적화하기 위해 [저부담 평가를 개발하려는 설계자의 의도]와 [이러한 평가를 총괄평가로 생각하여 학습자들이 갖는 고부담 인식]이 사이에 불일치를 보고하였다. 이는 잠재적으로 학습자가 평가를 학습 기회가 아닌 장애물로서 생각하게 되고, 각각의 개별 평가에 집중하게 만든다.

Lowering the stakes of the individual assessment is supposed to optimise and benefit the learning potential of programmatic assessment, and provide learners with a continuous flow of information about their performance.11 However, researchers have reported a mismatch between the designers’ intentions to develop low-stakes assessments to stimulate and optimise learning, and learners’ perceptions of these assessments as high stakes and summative.4,5 This potentially leads learners to focus on each individual assessment as a hurdle and not as a learning opportunity.12,13


모든 평가 시스템이 학습에 미치는 영향은 학습자의 인식에 의해 매개된다.13,14

The impact of any assessment system on learning is mediated by learner’s perceptions.13,14




METHODS


표본

Sample


우리는 구성주의 기반 이론에서 영감을 받아 데이터 수집과 분석에 개방적이고 질적인 접근법을 사용했다.15,16 포함 기준은 다음과 같다. 

  • (i) 학습자에게 진행 상황에 대한 정보를 제공하는 것을 목표로 하는 저점 평가와 복수의 저점 평가 통합 평가에 기초한 높은 수준의 의사결정을 포함하여 평가에 대한 프로그래밍 방식을 사용한다. 

  • (ii) 최적의 구현 문제로 인한 평가 이해에 대한 간섭을 최소화하기 위해 프로그램 평가의 장기적인 안정적 구현이 있다.

We used an open and qualitative approach to data gathering and analyses, inspired by constructivist grounded theory.15,16 The inclusion criteria were: 

  • (i) a programmatic approach to assessment is used, including low-stakes assessments aiming to provide learners with information about their progress, and high-stakes decisions regarding learners’ progress are based on the evaluation of the aggregation of multiple low-stakes assessments; and 

  • (ii) there is a stable implementation of programmatic assessment over a longer period to minimise interference in the perceptions of assessment stakes due to suboptimal implementation issues.


Table 1.


자료 수집

Data collection


A convenience sampling approach was taken based on learners’ availability at predetermined times. 


자료 분석

Data analysis


Interview data were analysed using a constant comparative approach.15 

    • Independent analysis of the first four transcripts using an open coding strategy was carried out by SS and SH. During this process, coding results and relations between codes were discussed constantly. Differences were discussed until consensus was reached. 

    • This process resulted in initial codes and preliminary themes, which were used by the first author (SS) for coding of the next four transcripts. 

    • When new codes and themes emerged, these transcripts too were independently analysed by the second researcher (SH) to test the fit and relevance of the new codes and themes. 

    • Necessary adaptations to the interview questions were made for the subsequent interviews. 

    • Through coding and constant comparison, data were organised around two main categories: programme factors and (inter) personal factors.

    • Several discussions with all members of the research team were organised in order to reach consensus on the themes that emerged, on the depth of the preliminary analysis and on the relationships between codes and categories in order to raise the analytical level from categorical to conceptional.


Furthermore, two members of the research team (ED and JvT) read two additional transcripts to review the data and to ensure a fit with the codes and discussed themes. Data collection and analysis continued until theoretical sufficiency was reached, defined as ‘the stage at which categories seem to cope adequately with new data without requiring continued extensions and modifications’.17


포화의 기준

Theoretical sufficiency was proposed by Dey17 and offers a more nuanced alternative to saturation to deal with issues concerning the sense of completeness and certainty implied by theoretical saturation.18 The following criteria were used: 

    • (i) new data could be fitted in categories that were already developed; 

    • (ii) no new insights, themes, issues or counter-examples or cases arose; and 

    • (iii) consensus within the research team was reached about the notion of sufficiency with the collected and analysed data.15–17 

All interviews were then re- read by the first researcher to ensure that no relevant information was missed.


반성성

Reflexivity

  • We acknowledge that data in this study are co- constructed by interactions with the participants, as are the interpretations and meaning we gave to these data.15 

  • To prevent biases as much as possible, we brought together a multidisciplinary research team: SS and ED have a background in educational sciences, CvdV in psychology, JvT in sociology and SH in biomedical sciences. SS, ED, CvdV and SH all have involvement in programmatic assessment in medical education. 

  • To avoid tunnel vision in our interpretation of the data, we brought in an outsider perspective: JvT works in the social sciences and in teacher education and is not directly involved in medical education.




결과
RESULTS


전반적으로, 학습자들은 '부담'에 대해서 프로그램 평가 모델 내에서 정의된 것과 동일한 정의를 내렸다. 즉 평가에 뒤따르는 결과라고 보았다. 그러나 이러한 결과는 주로 프로그램 평가 모델에서 제안된 연속체로 간주되지 않고 이분법으로 간주되었다. 평가는 부담이 있거나(즉, 결과가 있음), 전혀 부담이 없었다(즉, 결과가 없음), '평가되지 않는 것은 아무도 관심을 갖지 않는다. 재교육 또는 재시험이 있는 것과는 완전 다르다(A2).

Overall, learners shared the same definition of stakes as defined within the model of programmatic assessment; that is, the consequences following an assessment. However, these consequences were not primarily considered as the proposed continuum in the programmatic assessment model, but rather as a dichotomy. Assessment comes with stakes (i.e. with consequences) or no stakes at all (i.e. no consequences); ‘It doesn’t count, nobody cares, it’s not like you have to remediate or take a resit or whatever’ (A2).


모든 프로그램에서, 연속체로서의 평가 부담의 개념은 [학습과 평가 환경 내에서 행동, 통제 및 선택을 할 수 있는 학습자가 스스로 인식한 능력]과 강하게 관련되어 있었다. 평가 프로그램의 몇 가지 설계 요인은 통제력을 행사할 수 있는 학습자의 기회에 영향을 주었다. 학습자가 이러한 기회에 행동했는지는 경험과 자신감 사이의 상호 작용과 교사 같은 평가 환경의 다른 사람과의 관계에 달려 있다.

In all different programmes, learners’ conceptualisation of assessment stakes as a continuum was strongly related to their perceived ability to act, control and make choices within the learning and assessment environment. Several design factors of the assessment programme influenced learners’ opportunities to exercise control. Whether or not learners acted upon these opportunities depended on the interplay between experience and confidence, as well as the relationship with others in the assessment environment such as teachers.



평가 프로그램 내에서 통제의 기회

Opportunities for control within the assessment programme


몇몇 프로그램 설계 요인은 통제력을 행사할 수 있는 학습자의 기회와 이해관계에 영향을 미쳤다.

Several programme design factors influenced learners’ opportunities to exercise control and with that the perception of stakes.


결과에 영향을 줄 수 있는 기회

Opportunities to influence outcomes


일반 역량(예: 커뮤니케이션, 협업 및 전문성)에서 진보progress를 하는 경우, 학습자는 이러한 역량의 요구사항에 대해 여러 가지 관점을 경험했고, 이는 종종 명확한 표준이나 규범 없다고 인식되어, 요구 성과에 대해 자신이 더 큰 영향을 미칠 수 있다고 인식하게 되었다.

In the case of making progress in generic competencies (e.g. communication, collaboration and professionalism), learners experienced multiple perspectives on the requirements of these competencies, often without a clear standard or norm, resulting in a perception of more influence on the required outcomes.


대조적으로, 대부분의 학습자들은 표준화된 지식 시험을 고부담 평가로 간주했고, 이러한 평가 과제를 달성해야 할 고정된 규범norm과 연관시켰다. 학생들은 과거에 이와 비슷한, 사전에 구성된 시험 및 답안에 따라 '정답 찾기'를 하는 평가에서 성공해왔으며, 학생들은 그 결과가 시험의 내용, 품질 및 관련성에 크게 의존한다는 느낌을 받고 있었다. 이 때문에 평가와 결과에 대한 자신의 통제권이 거의 없다는 인식이 생겼으며, 특히 이러한 유형의 평가로 인해 학점(성적)이 매겨질 경우 더욱 그러하다.

By contrast, most learners considered standardised knowledge tests as high stakes and associated these assessment tasks with a fixed norm to be achieved. They experienced success in such assessments as being able to ‘find the correct answer’, according to a pre-constructed test and answer key, which led to a feeling of being highly dependent on the content, quality and relevance of the specific test. This caused a perception of little to no control over the assessment and outcomes, especially when this type of assessment resulted in grades:


또한, 평가자와 상호작용할 수 있는 기회(예: 구술 검사 중 또는 평가자가 직접 관찰하는 동안 학습자와 상호작용할 때)는 학습자가 평가 결과에 잠재적으로 영향을 미칠 수 있는 것으로 인식되었다. 학습자들은 심사원과의 상호작용이 있으면 자신의 진행과 능력을 보여줄 수 있는 더 많은 기회가 있다고 보았고, 평가 과정과 결과에 대한 통제력을 더 많이 느끼게 되었다고 지적했다. 이것은 인지된 부담을 낮췄다.

Furthermore, the opportunity to interact with the assessor (e.g. during an oral examination, or when an assessor would interact with the learner during direct observation) was perceived as a potential influence on the assessment outcome. Learners indicated that interaction with the assessor provided more opportunities to show their progress and abilities, and made them feel more in control over the process and the outcome of the assessment. This lowered the perceived stakes.


그러나 반대로, 평가자와의 상호작용이 인지된 부담을 높일 수도 있다. 학습자들은 이것이 특히 평가자가 위협적일 때라든가, 평가자가 중요한 역할 모델이라든가, 자신의 관심 분야에 종사할 때  체면을 잃을 위험이 있다고 생각했다

However, interaction with the assessor could also raise the perceived stakes: learners thought this carried the risk of losing face, especially when the assessor was intimidating, an important role model or worked in a discipline of interest. 


근거를 수집할 기회

Opportunities to collect evidence


모든 프로그램에서 학습자들은 자신의 진행 상황을 모니터링하고 보여주기 위해 포트폴리오 내에서 증거를 수집했다. 그러나 프로그램마다 학습자가 증거를 수집하고 선택하는 자유가 달랐다. 일부 프로그램은 (형성평가용 자가 테스트를 하거나, 학습자가 스스로 직접 관찰받을지를 결정하고 요청하도록 함으로써) 학습자에게 평가를 시작할 기회를 주었다. 이러한 통제의 느낌은 인식된 부담을 낮췄을 뿐만 아니라, 더 중요하게는 평가를 더욱 목적적합하게 만드는 것처럼 보였다.

In all programmes, learners collected evidence within a portfolio, with the aim of monitoring and showing their progress. However, programmes varied in the freedom learners had to collect and select evidence. Some programmes gave learners the opportunity to initiate an assessment, by taking formative self- tests or encouraging learners to ask for direct observation on the learners’ own terms. This feeling of control not only lowered the perceived stakes, but more importantly also seemed to make the assessment feel more relevant:


결과나 후속 조치에 다른 사람이 자동으로 접근할 수 없고, 어떤 내용을 공유할지 학습자가 통제할 수 있을 때, 부담 인식은 더 낮았다. 학습자들은 포트폴리오에 대한 자신의 증거를 선택할 기회가 주어졌을 때, 더 많은 선택권을 경험했고, 더 많은 통제권이 있다는 느낌을 받았다. 

The perceived stakes were lower when results or follow-ups were not automatically accessible to others and learners could control what was shared. Learners experienced more choice and felt more in control when given the opportunity to select their own evidence for the portfolio: 


개선의 기회

Opportunities to improve


불충분한 성능performance을 개선하기 위해 프로그램이 제공하는 절차는 각 개별 평가의 영향에 대한 학습자의 통제능력 인식에 영향을 미쳤다. 중요한 요소는 개선의 기회가 교육 프로그램에 통합되는지 여부였다. 이것이 정규 커리큘럼이나 평가 활동과 별도로 이루어져야 할 때, 개선에 필요한 시간 투자는 과부하처럼 느껴졌고, 부담은 높아졌으며 학습자들은 이를 피하고자 더욱 동기부여를 받았다.

The procedures offered by programmes to improve earlier insufficient performance influenced learners’ perceived control of the impact of each individual assessment. An important factor was whether or not opportunities for improvement were integrated into the educational programme. When this had to be done next to the regular curriculum or assessment activities, the time investment needed for improvement felt like an overload, the stakes became higher and learners were more motivated to avoid this:


대부분의 프로그램은 학습자가 진보와 개선을 보여줄 수 있는 더 많은 기회를 촉진하기 위한 다중 보완적 평가를 제공했다. 이로써 개별 평가의 부담이 낮아졌다. 한 개인의 '스냅샷'에만 의존하지 않는 것은, 특히 평가가 경향성이나 피드백 메시지에 초점을 맞추었을 때, 자신의 성과를 보여주고 개선할 수 있는 여러 기회 때문에 학습자가 더 많은 통제권을 갖는다는 느낌을 주었다.

Most programmes provided multiple complementary assessments that were meant to facilitate more opportunities for learners to show progress and improvement. This lowered the stakes of the individual assessment. Not being solely dependent on one individual ‘snapshot’ gave learners more feeling of being in control, because of multiple opportunities to show and improve on their performance, especially when the focus was on trends or reoccurring feedback messages:


보완적 평가의 수가 평가 이해에 긍정적인 영향을 미쳤지만, 이것이 너무 늘어날 경우, 평가가 무의미해지고 프로그램의 요건을 충족하기 위한 checkbox activity가 되는 소위 '오버킬'의 지점에 도달하기도 하였다.

Although the number of complementary assessments influenced the perception of assessment stakes positively, this also came with reaching a point of so-called ‘overkill’, in which the assessment became meaningless and a checkbox activity to meet the requirements of the programme:


그것은 거의 평가에 대한 사냥이 된다. 그리고 더 이상 품질이나 그 유용성에 관한 것이 아니라 그저 양에 관한 것이다.(B1)

It almost becomes a hunt on evaluations. And it’s not about the quality or their usefulness anymore, but just about the quantity. (B1)


점수를 개별 평가에 사용하고 학습자가 여러 결과를 평균하는 방법으로 불충분한 성과를 수정할 수 있을 때, 이는 학습자가 일관성coherence을 이해하는 데 기여했다. 하지만, 성적을 받는 것은 또한 학습자들 사이의 경쟁, 불안감 그리고 성적 지향에 기여했고, 이것은 부담을 높였다.

When grades were used for individual assessments, and learners could correct insufficient performance by ways of averaging multiple results, this contributed to learners’ understanding of the coherence. However, receiving grades also contributed to competition amongst learners, anxiety and a performance orientation, which raised the stakes.



통제능력에 대한 신념에 영향을 미치는 요인

Factors influencing learners’ believed ability to exercise control


학습자들은 통제력을 행사할 수 있는 능력이 있다고 믿었을 때, 평가 프로그램에서 제공한 기회를 통제용으로 사용했다.

Learners used opportunities provided by the assessment programme for control, when they believed they had the ability to exercise control.


경험과 자신감의 상호작용

The interplay between experience and confidence


과거의 평가 경험은 모든 프로그램에서 학습자의 부담 인식에 영향을 미쳤다. 대부분의 학습자들은 '성공'이란 최고가 되는 것이라고 정의하는 것에 익숙했고, 높은 점수나 성적을 받는 데 익숙했다.

Previous experience of assessments influenced the perceived stakes within all programmes. Most learners were accustomed to defining success as being top of their class and getting high scores or grades:


과거에 학생들은 종종 그러한 성과에 대해 보상을 받았고, 심지어 그런 성과를 필수품이라 여겨기도 했다. 의과대학에 입학하려면 높은 중등학교 성적 평균이 요구되었던 상황이 그 예다. 그 후 평가는 높은 성적에 대한 압박, 불안감, 실패에 대한 두려움과 연관되었다. 그러한 평가 경험은 강한 영향을 미쳤다. 이러한 연관성이 보다 학습 지향적인 평가 인식으로 대체되기 위해서는 새로운 경험이 필요했다. 학습자들은 저부담 평가의 의미와 결과에 대한 자신감을 얻어야 했고, 이는 부담에 대한 인식에 크게 기여했다. 최초의 저부담 평가는 모든 학생에게 고부담 평가로 인식되었고, 이는 특히 학습자들이 기대되는 사항이나 요구를 충족시킬 수 없을 때, 만약 그 요건을 충족하지 못하면 무엇이 일어나는지 완전히 이해하지 못했을 때 발생했다: '나는 [만약 우리가 나쁜 성과를 거둘 경우] 일어날 일을 정확히 알지 못함으로써 많은 불안이 야기되었다고 생각한다. ' (A1). 학습자들은 점차 친숙해져서, 그런 평가에 더 익숙해 질수록 불안감이 덜해졌다.

In programmes previously attended, this was often rewarded and even viewed as a necessity. An example is the situation when admission to a medical school required a high secondary school grade point average. Assessment was then associated with pressure for high performance, insecurities and fear of failing. Such assessment experiences had a strong impact. New experiences were required before these associations were replaced with a more learning-oriented perception of assessment. Learners had to gain confidence in the meaning and consequences of the low-stakes assessment, which contributed significantly to the perception of stakes. First-time experiences with low-stakes assessments were unanimously perceived as high stakes, especially when learners did not fully understand what was expected, or what could happen when they were unable to meet the demands: ‘I think a lot of the anxiety was caused by us not knowing exactly what was going to happen [if we would perform poorly on an OSCE]’ (A1). The more familiar learners became with such assessments, the less anxious they felt.



교사의 영향

The influence of teachers


통제력을 행사할 수 있는 능력과 그에 따른 저부담 관계라는 평가에 대한 인식은 학습자들과 교사들의 관계에 크게 의존하고 있는 것처럼 보였다. 학습자들이 교사가 자신의 옹호자라고 느끼고, 학습을 용이하게 하고, 실험과 통제를 할 수 있게 했을, 그들은 저부담 평가를 진정으로 저부담으로, 그리고 학습에 의미 있는 것으로 해석할 수 있었고 안전하다고 느꼈다. 그제서야 평가 환경은 안전한 학습 및 실험 장소로 이해되었다: '나는 멍청해 보여도 괜찮다' (A1) '실패의 공포를 느끼기 힘들 것 같다' (C1)

The believed ability to exercise control and therefore the perception of assessment as low stakes seemed strongly dependent on learners’ relationship with their teachers. When learners felt the teacher was their advocate, facilitated learning, and allowed them to experiment and to take control, they felt safe and able to interpret low- stakes assessments as low stakes and meaningful for learning. The assessment environment was then described as a safe place to learn and experiment: ‘I feel very comfortable looking stupid’ (A1) and ‘I think it’s hard to feel the fear of failing’ (C1).



그래서 그는 모든 힘을 가지고 있다. 그런 느낌이야. 그는 그것에 대해 할 말이 많다. 그가 중요하게 여기는 것들은, 그는 그것들을 골라서 그것에 초점을 맞춘다. 그리고 그들이 가지고 있는 결과는, 나는 그러한 시험이 실제로 가져야만 하는 결과보다 훨씬 더 크다고 생각한다. (B

So he [the teacher] has all the power. That’s how it feels to me. He has a lot to say about it. The things he considers important, he picks themout and focuses on them. And the consequence they have, I think are much bigger than the consequences such a test should actually have. (B1)


고찰

DISCUSSION


프로그램적 평가가 제안하는 평가부담연속체의 기초가 되는 이론적 가정은 저부담 평가들이 학습 기회를 창출하고, 학습자의 학습을 자기조절하는 데 사용될 수 있도록, 학습자에게 지속적인 정보의 흐름을 발생시킨다는 것이다.7,11 이를 위해서 평가는 저부담으로 의도되거나 설계되어야 하며, 학습자가 저부담으로 인식해주어야 한다.

The theoretical assumption underlying the proposed continuum of assessment stakes within programmatic assessment, is that low-stakes assessments create learning opportunities and generate a continuous flow of information for learners that can be used to self-regulate their learning.7,11 This requires assessment that is intended or designed to be low stakes, to be perceived as such by the learner.12–14


통제권을 갖는다는 느낌은 학습 및 평가 환경 내에서 행동, 통제 및 선택을 할 수 있는 학습자의 인식 능력이라고 불리는 기관의 개념과 강하게 연계된다.12,13,19

the feeling of being in control is strongly linked to the concept of agency, referred to as learners’ perceived ability to act, control and make choices within the learning and assessment environment.12,13,19


평가를 이용한 지속적인 개발을 위한 학습자의 agency의 중요성은 이미 다른 연구에서도 강조되었다.

The value and importance of learners’ agency for continuous development using assessment has already been highlighted by others1,8,12,19–21


표준화된 평가는 학습자에게 agency의 기회를 거의 제공하지 않는다. 필요하며 이해할 수 있지만, 표준화는 개별 학습자가 제어권을 행사할 수 있는 공간을 거의 남겨두지 않고 프로그램 레벨에서 통제한다. 이는 학습자가 학습 및 평가 경험으로부터 멀어지게 할 수도 있다.23,24

Standardised assessments provide little opportunity for learners’ agency. Although necessary and understandable, standardisation places the control at the programme level, leaving little space for the individual learner to exercise control. This might even alienate learners from their learning and assessment experience.23,24


그러나 프로그램에서 학습자에게 스스로의 평가를 시작할 수 있는 기회를 허용했을 때, 그리고 학습자가 progress의 증거를 선택할 수 있게 되었을 때, 주인의식agency이 장려되었다.

A sense of agency was, however, encouraged when the programme allowed learners to initiate their own assessment, and when learners were enabled to select evidence of progress.


그러나 일부 학습자들은 이 관계가 [불평등한 힘의 균형]으로 특징지어지며, 결국 평가 부담에 대한 인식을 악화시켰다고 느꼈다. 

However, some learners felt that the relationship was characterised by an unequal power balance thatinfluenced their perception of assessment stakes: 


표준화된 지식 시험을 사용하더라도, 학습자가 진보progress를 모니터하고 보여줄 수 있는 기회를 늘리는 것이 부담을 낮추는 또 다른 전략이 될 수 있다. 그러나 프로그램 설계자는 학습자와 교수진 모두에게 평가 과부하가 발생하지 않도록 주의해야 한다.

Increasing the number of opportunities for learners to monitor and show progress, even with standardised knowledge tests, can be another strategy to lower the stakes. Programme designers should take care, however, not to create an assessment overload for both learners and faculty members.


성적grades과 보상 기회를 사용하면 보완적 평가 간의 일관성coherence을 강조할 수 있지만, 이는 덜 바람직한 학습 전략과 행동을 장려하는 역효과를 가져올 수 있다.27 성적을 주는 방식은 지속적 개선에 초점을 둔 자극보다는 성과와 경쟁에 초점을 맞추도록 유도하는 암묵적 위험을 가질 수 있다..12,28 성적을 제공하지 않는 것은 학습자의 목표가 개선되는 것으로 설명되는 학습 지향점으로의 전환을 가능하게 하는 것으로 보였다.29,30

Although using grades and opportunities to compensate can highlight the coherence amongst complementary assessments, this may have the adverse effect of encouraging different, less desirable, study strategies and behaviours.27 Providing grades has the implicit risk of encouraging a focus on outcomes and competition rather than stimulating a focus on continuous improvement.12,28 Not providing grades seemed to enable a shift to a learning orientation, described as one in which the learner’s goal is to improve.29,30


초점은 [학습 진행 상황을 분석하고 반성하기 위해 저부담 평가에서 생성된 정보를 사용하는 것]과 이것이 [미래 학습을 어떻게 지시해야 하는지]에 초점을 맞추어야 한다. 우리는 학습자에게 단순히 quantity 요건을 설정하기 보다는, 진행률과 개선을 보여주기 위해 필요한 적절한 수의 평가를 제어할 수 있는 더 많은 기회를 주는 것을 고려할 수 있다. 이것은 평가 경험을 보다 personal inquiry로 만들 수 있고, 개선 계획에 대한 주인의식ownership을 창출할 수 있다.

The focus should be on using information generated by low-stakes assessment to analyse and reflect upon learning progress and how this should direct future learning. We could consider giving more opportunity for the learner to control the appropriate number of assessments needed to show progress and improvement, rather than setting up quantity requirements. This can make the assessment experience a more personal inquiry and create ownership over the plan of improvement.


이런 식으로 생각하는 것이 결과consequence가 불필요하다고 말하는 것은 아니다: 학습자들이 자신의 약점을 다루거나 자신의 장단점에 관한 정보에 따라 행동할 동기를 거의 느끼지 않았을 때, 저부담 평가는 좀처럼 개선에 초점을 맞추지 못했다. 그러므로 소위 사후 평가 프로세스(후속 활동 또는 성찰 작업)의 구현은 지원 프로그램 구조의 설계(즉, 개선의 여지가 용이함)와 교사의 역할(즉, 개선 대 성과 평가) 모두에서 필수적이다.

Thinking this way does not take away the need for some type of consequences: when learners perceived little incentive to address their weaknesses or to act upon information concerning their strengths and weaknesses, low- stakes assessment rarely led to a focus on improvement. The implementation of the so-called post-assessment process (the follow-up activities or reflective tasks) is therefore essential,31 both in the design of a supportive programme structure (i.e. facilitating room for improvement) and in the role of the teacher (i.e. valuing and stimulating improvement versus performance).


마지막으로, 학습자들의 자신감과 통제력을 행사할 수 있다는 능력에 대한 신념은 시간이 지나면서 증가하는 것처럼 보였다. 프로그램 평가 내의 초심자는 새로운 평가 접근법에 적응하고 익숙해지기 위한 시간이 필요했다. 고부담 평가와 관련된 경험은 차차 단계적으로 잊혀져야 하며, 교사는 학습자의 경험 수준으로 지도와 방향을 조정할 필요가 있다.32 또한 교사-학습자 관계가 안전하며 학습자의 자율성으로 특징지어질 수 있을 때 학습자는 평가를 사용하여 학습자를 지원support할 가능성이 더 높다. 프로그램적 평가 내에서 학습자는 평가 과정에 대한 독립성과 통제권을 허가받아야 한다. 그렇게 해야만 학습자들은 평가를 저부담으로 인식할 것이다.

Last, learners’ confidence and their believed ability to exercise control seemed to increase over time. Novices within programmatic assessment needed time to adjust to and get familiar with the new assessment approach. Associations and experiences with high-stakes assessment need to be phased out and teachers need to adjust the level of guidance and direction to the experience level of learners.32 Moreover, when the teacher–learner relationship can be characterised as safe and with autonomy for the learner, learners are more likely to use assessment to support their learning. Within programmatic assessment, learners should be allowed independence and control over the assessment process. Only then, will learners perceive assessment as low stakes.


우리의 결과는 평가 과정1,33 내에서 학습자와 교사가 공동의 책임을 지라는 요구와 잘 들어맞고, 학습자가 피드백과 평가를 통해 적극적으로 참여할 수 있도록 대화가 번창할 수 있는 학습 환경을 만들어야 한다.21,34

Our results fit well with the calls to create a shared responsibility between learners and teachers within the assessment process1,33 and with the need to create a learning environment where dialogue can flourish to engage learners actively with feedback and assessment.21,34


교사들은 이러한 안전한 학습 환경을 조성하고 프로그램적 평가의 잠재력을 활용하는데 있어 기본적이다.

Teachers are fundamental for creating this safe learning environment and utilising the potential of programmatic assessment.



한계
Limitations


이 연구는 몇 가지 한계가 있다. 첫째, 의학 교육 내 학습자는 일반적으로 엄격한 과정 입학 절차를 통해 선발되는 높은 성취도의 학생으로 특징지어진다. 평가 부담에 대한 인식이 저성취 학습자에게는 다르게 작용할 수 있다.

This study has several limitations. Firstly, learners within medical education are typically characterised as high achievers, selected through rigorous course admission procedures. The perception of assessment stakes might work differently for low- achieving learners.


마지막으로, 교사 역할의 중요성을 고려할 때, 미래 연구는 평가의 이해관계에 대한 교사들의 인식을 탐구함으로써 학생들의 자기 보고된 인식을 삼각측량화해야 한다.

Finally, given the importance of the role of the teacher, future studies should triangulate students’ self-reported perceptions by exploring the perceptions of teachers regarding the stakes of assessment.



결론

CONCLUSION


8 Altahawi F, Sisk B, Poloskey S, Hicks C, Dannefer EF. Student perspectives on assessment: experience in a competency-based portfolio system. Med Teach 2012;34 (3):221–5.


20 Watling C. The uneasy alliance of assessment and feedback. Perspect Med Educ 2016;5 (5):262–4.


31 Eva KW, Munoz J, Hanson MD, Walsh A, Wakefield J. Which factors, personal or external, most influence students’ generation of learning goals? Acad Med 2010;85 (10 Suppl):S102–5.







 2018 Jun;52(6):654-663. doi: 10.1111/medu.13532. Epub 2018 Mar 24.

Stakes in the eye of the beholder: an international study of learners' perceptions within programmatic assessment.

Author information

1
Faculty of Health, Medicine and Life Sciences, School of Health Professions Education, Maastricht University, Maastricht, the Netherlands.
2
Department of Educational Development and Research, Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, the Netherlands.
3
Department of Education, Utrecht University, Utrecht, the Netherlands.
4
Department of Pathology, Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, the Netherlands.

Abstract

OBJECTIVES:

Within programmatic assessment, the ambition is to simultaneously optimise the feedback and the decision-making function of assessment. In this approach, individual assessments are intended to be low stakes. In practice, however, learners often perceive assessments designed to be low stakes as high stakes. In this study, we explored how learners perceive assessment stakes within programmatic assessment and which factors influence these perceptions.

METHODS:

Twenty-six learners were interviewed from three different countries and five different programmes, ranging from undergraduate to postgraduate medical education. The interviews explored learners' experience with and perception of assessment stakes. An open and qualitative approach to data gathering and analyses inspired by the constructivist grounded theory approach was used to analyse the data and reveal underlying mechanisms influencing learners' perceptions.

RESULTS:

Learners' sense of control emerged from the analysis as key for understanding learners' perception of assessment stakes. Several design factors of the assessment programme provided or hindered learners' opportunities to exercise control over the assessmentexperience, mainly the opportunities to influence assessment outcomes, to collect evidence and to improve. Teacher-learner relationships that were characterised by learners' autonomy and in which learners feel safe were important for learners' believed ability to exercise control and to use assessment to support their learning.

CONCLUSIONS:

Knowledge of the factors that influence the perception of assessment stakes can help design effective assessmentprogrammes in which assessment supports learning. Learners' opportunities for agency, a supportive programme structure and the role of the teacher are particularly powerful mechanisms to stimulate the learning value of programmatic assessment.

PMID:
 
29572920
 
PMCID:
 
PMC6001565
 
DOI:
 
10.1111/medu.13532
[Indexed for MEDLINE] 
Free PMC Article


학부 임상맥락에서 전-시험 학습효과의 모델의 작동(BMC Med Educ, 2012)

A model of the pre-assessment learning effects of assessment is operational in an undergraduate clinical context

Francois J Cilliers1*, Lambert WT Schuwirth2 and Cees PM van der Vleuten3




배경

Background


평가와 학습에 관한 문헌은 많지만, "배움을 위한 평가" 노력에 대한 지원을 제공하는 만족스러운 이론이나 모델은 현재 없다.

While there is much literature relating assessment and learning, there is currently no satisfactory theory or model offering support to the “assessment for learning” endeavour.


평가 전(예: 연구 행동), 평가 중(예: 포트폴리오, 시험 효과) 및 평가 후(예: 피드백) 각각 학습에 영향을 미치는 평가 전, 순수 및 사후 학습 효과 사이에 차이가 있다.

A distinction is drawn between pre-, pure and post-assessment learning effects that respectively impact learning before (e.g., study behaviour), during (e.g., portfolios, testing effect) and after (e.g., feedback) assessment.


평가가 학습에 어떻게 영향을 미치는가를 설명하는 검증된 모델(설명보다는)을 통해 학습을 위한 평가의 설계 및 연구에 도움이 될 수 있다.

A validated model explaining (rather than describing) how assessment influences learning could benefit the design of, and research into, assessment for learning.


종합평가는 학습에 큰 영향을 미친다. 우리는 최근 종합 평가의 사전 평가 학습 효과를 설명하는 모델을 제안했다[11]. (그림 1)

summative assessment strongly influences learning. We recently proposed a model explaining the preassessment learning effects of summative assessment [11]. (Figure 1)


효과는 영향 평가, 대응 평가, 인지 기관 및 대인 관계 요인을 포함하는 메커니즘에 의해 매개된다. 따라서, 학생들은 다가오는 평가 이벤트를 고려할 때, 평가가 자신들에게 영향을 미칠 가능성(긍정적이든 부정적이든)과 그 영향의 크기가 얼마나 될 가능성이 있는지를 고려할 수 있다. 그들은 원하는 결과를 가져올 때 주어진 학습 응답의 효과, 그 학습 응답의 비용 및 원하는 결과 또는 가능한 결과가 그들의 가치와 어떻게 관련되는지를 고려할 수 있다. 특정 결과를 가져올 수 있는 능력에 대한 그들의 인식은 또한 그들의 학습에 영향을 미칠 수 있는데, 이는 강사나 동료 학생들과 같은 재학생들의 의견에 대한 그들의 인식과 그러한 인식에 따르려는 동기 부여가 그러할 것이다.

effects are mediated by a mechanism that involves impact appraisal, response appraisal, perceived agency and interpersonal factors. Thus, when contemplating an upcoming assessment event, students may consider the likelihood that assessment will impact them (positively or negatively) and what the magnitude of that impact is likely to be. They may consider the efficacy of any given learning response in bringing about a desired outcome, the costs of that learning response and how the desired or likely outcome relates to their values. Their perceptions of their ability to bring about a particular outcome may also influence their learning, as may their perceptions of the opinions of referents like lecturers and fellow students and their motivation to comply with those perceptions.


Additional File 1: Additional material_Illustrative quotes. pdf for more extensive information on the model.


양적 접근보다는 질적 접근도 적절해 보였다. 전통적인 양적 수단을 사용하여 검증을 시도하기에는 너무 많은 변수와 관계가 있다. 맥스웰[15,16]은 질적 연구가 인과 과정과 이해에서 맥락과 정신 과정의 필수적인 역할을 고려하는 데 적합하다고 주장한다. 그는 또한 인과관계를 이해하는 서비스에서 실험을 사용하기 위한 전제조건에는 결과에 대한 해석을 가능하게 하는 잘 발달된 이론과 "임시적이고 상황적인 변동성"이 없는 조작 가능하고 상당히 간단한 과정이 포함되어 있다고 주장한다[16]. 모델의 아직 잠정적 특성, 모델의 복잡성, 그리고 모델에서 관계의 시간적 및 상황적 가변성을 고려하여, 우리는 모델 개발에서 이 단계에서 정성적 접근법을 선택했다.

A qualitative rather than a quantitative approach also seemed appropriate. There are too many variables and relationships to attempt validation using traditional quantitative means. Maxwell [15,16] argues that qualitative research is well suited to taking account of the integral role of context and mental processes in causal processes and understanding. He further argues that prerequisites for the use of experiments in service of understanding causality include well-developed theory that allows interpretation of the results and a manipulable, fairly simple process free from “temporal and contextual variability” [16]. Given the as yet tentative nature of the model, its complexity and the temporal and contextual variability of the relationships in the model, we opted for a qualitative approach at this stage in the development of the model.



방법

Methods


맥락

Context


Respondents were South African medical students. Most students at this medical school enrolled directly after secondary school.


자료수집 및 분석

Data collection and analysis


Data was collected by conducting in-depth, unstructured, face-to-face interviews with individual medical students. Respondents determined the venue for and language (Afrikaans or English) in which interviews were conducted. Each interview lasted about 90 min, was audiorecorded and transcribed in full. Each respondent was interviewed once. All interviews were conducted by the same author, an educational adviser fluent in English and Afrikaans, with medical and educational qualifications and training in qualitative interviewing. He worked in the faculty but had little day-to-day interaction with students.


Interviews first explored how respondents learned and how they had been assessed across the course of their studies and then how they adapted their learning in response to assessment. The influence of assessment on learning in a theory teaching context was explored first, then that in a clinical teaching context. Interviews were not structured beyond addressing these three issues in these two contexts. Furthermore, in keeping with the grounded theory design of the study, later interviews were informed and influenced by preliminary data analysis of earlier interviews.


Respondents were asked throughout to provide concrete examples to illustrate how assessment influenced their learning. The influence of assessment on learning was thus explored in various and different contexts and across time, although data was collected at one time point. The dataset comprised over 700 pages of transcriptions.


Previously, an inductive analysis of the dataset was undertaken, utilizing the principles of grounded theory(for details, see [11,17]). This initial analysis drew only on those portions of the interviews relating to assessment in theoretical modules and yielded the model described earlier (Figure 1).


Thirty-two students volunteered for interviews.Interviews were conducted with the first 18 students who volunteered (Table 1). The remaining volunteers were thanked but not interviewed. This decision was taken when no new data emerged after interview 14,





결과

Results


결과 개요

An overview of findings


평가 요소와 학습 효과

Assessment factors and learning effects


The relationships between assessment factors and learning effects are summarized in Table 2



기전

Mechanism




모델에 새롭게 등장한 하위요소

A new subcomponent illustrates the operation of the model


The type of model component will be indicated as follows: 

  • 평가요인 AF = assessment factor; 

  • 기전요인 MF = mechanism factor; 

  • 학습효과 LE = learning effect.


규칙적 책무성

Regular accountability


응답자들은 환자에 대한 정보를 제공하고 환자에 대한 질문에 답해야 하는 결과(MF: 영향 가능성)가 지속적으로 임박했기 때문에(AF: Imminence) 임상 실습 모듈의 시작부터 매일의 노력을 학습(LE: 노력의 분배)에 할당하였다.

Respondents allocated daily effort to learning (LE: allocation of effort) from the start(LE:distribution of effort) of a clinical practice module because consequences (MF: impact likelihood) were constantly imminent (AF: imminence), as they presented information on and had to answer questions about patients.


응답자들의 학습은 더 멀리 떨어진 학업적 결과(예: 마크나 진행에 미치는 영향 또는 우수한 임상 치료를 제공할 수 있는 궁극적인 능력)보다 병동 라운드에 정기적으로 노출되는 동안 발생하는 즉각적이고 구체적인 결과(AF: 임미넌스, MF: 영향 가능성)에 더 많은 영향을 받았다. 이는 주기적인 "빈지-러닝"을 유도하는 이론 모듈보다, 정기적이고 균일하게 분포된 "스낵-러닝"(LE: 노력 분포, LE: 노력의 양)을 유도했다.

Respondents’ learning was influenced more by the immediate and concrete consequences (AF: imminence; MF: impact likelihood) that accrued during regular exposure on ward rounds (AF: pattern of scheduling) than by more distant academic consequences e.g., impact on marks or progression, or ultimate ability to deliver good clinical care. This elicited more regular and evenly distributed “snack-learning” (LE: distribution of effort; LE: quantity of effort) by respondents than did the more periodic assessments on theoretical modules that induced periodic “binge-learning”.



자기에게 미치는 영향

Personal consequences


병동 회진에서 질문을 받았을 때 만족스러운 답을 제공하지 못할 경우 심각한 부정적인 개인적 결과를 초래할 수 있다는 점을 고려할 때, 충격 크기(MF)의 평가도 응답자의 학습에 영향을 미쳤다(요약 7 참조).

Appraisal of impact magnitude (MF) also influenced respondents’ learning, given that not being able to provide satisfactory inputs when asked on ward rounds could result in profoundly negative personal consequences (see also Quote 7).


임상적 맥락에서 응답 효과성의 평가(MF)는 종종 평가-관련 성과 목표(즉 접근 목표)보다는, 자신에 대한 부정적인 결과(즉, 회피 목표)를 회피함으로써 자기 목표를 해결하는 것과 더 관련이 있다. 이것은 "내가 이렇게 하면, 내일 나를 '안전하게' 해줄까"의 경우보다 "내가 이렇게 하면, 내가 합격하는 데 도움이 될까"의 경우였다. 부담은 평가와 관련되어있기보다는 개인적인 것이었지만, 그럼에도 불구하고 고부담이었다.

Appraisal of response efficacy (MF) in the clinical context often related more to addressing self goals e.g., preserving esteem, through avoidance of negative intrapersonal consequences (i.e., avoidance goals) than to addressing assessment-related performance goals (i.e., approach goals). It was more a case of “If I do this, will it keep me ‘safe’ on the ward round tomorrow” than of “If I do this, will it help me pass (well)”. The stakes are personal rather than assessment related, but nonetheless high.


개인적인 결과personal consequence가 두드러지게 나타난 것은 다른 영향력의 원천이 부족해서가 아니었다. 학생들은 모듈 및 학년을 통과하기 위해 연속적이고 졸업 평가를 위해 만족스러운 점수를 얻어야 했다.

The prominence of personal consequences was not due to the lack of other sources of influence. Students had to achieve satisfactory marks for continuous and for exit assessment to pass the module and the year.


감정

Emotional valence


학습 환경의 정서적 밸런스(valence)는 개인적 결과와 밀접하게 연관되어 있었으나, 조금은 구별되어 있었고, preceptor들에 의해 발생되었다. 두 가지 극단은 학생들이 여기서 "폭군"와 "테디베어"라고 preceptor를 특징짓는 것에서 구별될 수 있었다.

The emotional valence of the learning environment was closely linked to, but distinct from, personal consequences and was generated by preceptors. Two extremes were discernable from characterizations by respondents of preceptors, called here “tyrants” and “teddy bears”.


폭군으로 특징지어지는 preceptor를 만나면, 배움은 자기 방어적 메커니즘이었으며, 성과 회피 목표 지향에 의해 추진되었다. 충격 가능성(MF)과 충격 크기(MF)의 평가 결과, 병동 라운드에 대한 질책을 피하기 위한 노력(LE: 노력의 할당)이 할당되었다(참고문 4 참조). 응답효과의 평가(MF)는 응답자가 "모든 것"(즉, 해당 병동 라운드의 "안전"에 필요한 모든 것)을 알고 병동 라운드로 와야 한다는 결론을 내리도록 유도하여, 학습에 여분의 노력(LE: 노력의 양)을 할당하였다. 

For preceptors characterized as tyrants, learning was a self-defence mechanism, driven by a performance avoid goal orientation. Appraisal of impact likelihood (MF) and impact magnitude (MF) resulted in effort being allocated (LE: allocation of effort) with a view to avoiding censure on ward rounds (see also Quote 4). Appraisal of response efficacy (MF) led respondents to conclude that they had to come to a ward round knowing “everything” (i.e., everything necessary to “stay safe” on that ward round), so they allocated extra effort (LE: quantity of effort) to learning. 


학생들은 인계student grapevine에 따라서(AF) preceptor가 듣고자 하는 내용을 기준으로 학습할 내용(LE: 콘텐츠 선택)을 선택했다. 컨설턴트의 분노를 피하는 것(MF: 영향 크기)은 좋은 임상의사가 되는 장기 목표와 무관하다고 인식되는 자료조차 학습하는 데 단기 효용(MF: 대응 가치)을 부여했다. 학습자료는 정신 모델(LE: 인지 처리 활동의 성질)에 편입되지 않고 단기 기억력에 전념한 다음, 병동 라운드가 끝나면 민첩하게 잊혀졌다. 

They selected content to learn (LE: choice of content) based on what the student grapevine (AF) indicated was what the preceptor wanted to hear. Avoiding the wrath of the consultant (MF: impact magnitude) gave short-term utility (MF: response value) to learning even material that was perceived as irrelevant to respondents’ longer-term goals of becoming good generalist clinicians. Material was committed to short-term memory, rather than being incorporated into mental models (LE: nature of cognitive processing activities), and then forgotten with alacrity once the ward round was over.


게다가 일단 병동 라운드가 끝나면 학습 의욕도 소멸되고, 더 이상의 보강(LE: 노력의 분배; 감시 & 조정)도 일어나지 않았다. 응답자들은 그들이 이미 알아야 할 것을 알지 못한다는 이유로 조롱당하거나 공격당할까봐 질문을 하지 않을 것이다.

 Furthermore, once the ward round was over, the motivation to learn dissipated, and no further reinforcement (LE: distribution of effort; monitoring & adjustment) took place. Respondents would not ask questions for fear of being ridiculed or attacked (MF: impact magnitude) for not knowing something they should already know.



테디베어로 특징지어지는 프리셉터의 경우, 응답가치의 평가(MF)가 더욱 두드러지게 특징지어졌다. 노력은 "당신의 일을 하는 것doing your bit"으로 보이도록 할당되었다. 학생들은 일반적으로 관련되었다고 볼 수 있는 것, 그리고 관심있는 자료를 학습할 가능성이 더 높았다(LE: 콘텐츠 선택).

For preceptors characterized as teddy bears, appraisal of response value (MF) featured more prominently. Effort was allocated (LE) so as to be seen to be “doing your bit”. Respondents were more likely to learn material of general relevance and of interest to themselves (LE: choice of content).


학습은 mastery approach 지향에 의해 추진되었으며, 자기조절적 강화는 병동 라운드 이후에 이루어진다(LE: 노력의 분배; 조정). 게다가, 감시와 응답자들은 테디베어를 자원으로 인식했다.

Learning was driven by a mastery approach goal orientation, with self-regulated reinforcement of learning taking place after the ward round (LE: distribution of effort; adjustment). Furthermore, monitoring & respondents perceived teddy bears to be resources.


그들은 아무것도 모른다면 병동 라운드의 테디베어에게 물어보고 배울 수 있을 것이라고 느꼈다. 그렇다고 해서 테디베어가 큰 기대를 하지 않았다는 뜻은 아니다. 그들은 그렇게 했다 (제6항 참조). 그러나 그들이 만든 학습 환경은 매우 달랐다.

They felt that if they did not know something, they could ask teddy bears on ward rounds (LE: choice of resources) and learn from them. This is not to say that teddy bears did not have high expectations. They did (see Quote 6). The learning environment they created was very different, however.



고찰

Discussion


우리는 또한 이러한 결과가 실험 조작이 없는 응답자들의 생생한 경험에서 도출된 생태학적 타당성[19]을 가지고 있다고 믿는다.

We also believe that these results have ecological validity [19], being derived from the lived experiences of respondents with no experimental manipulation.


우리의 결과는 모델이 엄격한 총괄평가 맥락의 바깥에서 작동한다는 것을 추가로 증명한다. 총괄 평가는 여기서 학습을 추진하는 핵심 구성 요소는 아니지만, 이 모델은 현재 일어나고 있는 상황에 대한 설명을 제공한다. 평가에 대한 성과에 따르는 결과consequence가 일차적인 고려사항은 아니었지만, 이곳의 조건은 분명히 "결과적consequential"이었다[6]. 따라서 이 모델은 결과적 평가consequential assessment의 사전 평가 학습 효과 중 하나로 더 잘 개념화된다.

Our results further demonstrate that the model is operational outside of a strictly summative assessment context. Summative assessment is not the key construct driving learning here, yet the model offers an explanation of what is happening. Conditions here were clearly “consequential” [6] even though consequences for performance on assessment were not the primary consideration. This model is thus perhaps better conceptualized as one of the preassessment learning effects of consequential assessment.


Preceptor의 역할은 뜻밖의 발견이었다. 슬프게도, 우리의 응답자들이 "폭군" 지도자를 특징짓는 것은 다른 유사한 발견들을 뒷받침한다. 지도자와의 불쾌한 상호 작용은 [20] 스타일이나 교육자 전문성[21]의 문제로 다양하게 특징지어졌으며 무례한 상호 작용, 경시, 굴욕, 괴롭힘, 학대를 수반한다[22-27].

The role of preceptors was an unexpected finding. Sadly, our respondents’ characterization of “tyrant” preceptors supports other similar findings. Adverse interactions with preceptors have variously been characterized as an issue of style [20] or educator professionalism[21] and as involving disrespectful interactions, belittlement, humiliation, bullying, harassment and abuse [22-27].


우리의 결과는 "배움을 위한 평가"의 설계에 대한 실무자들을 위한 지침을 제공한다. [높은 기대]와 [제한된 개인적 결과]로 특징지어지는 [지원적이고 낮은 위험의 학습 환경]은 더 깊은 인지 처리 활동을 낳았다. 이와는 대조적으로, [높은 기대]와 [부정적인 개인적 결과]로 특징지어지는 [부정적, 고위험 환경]은 피상적 인지 처리 전략과 저관여(예: 질문 없음)를 초래했다. 학습에 영향을 미치기 위해서는 평가가 결과적이어야 하며 추상적이고 사소한 것이 아니라 구체적이고 실질적인 결과를 낳아야 한다. 평가를 총괄평가화 하는 것은 평가를 결과적인consequential 것으로 만드는 한 방법이다. 그러나 예를 들어 개인적 부담(존중 또는 주체성)에 영향을 주는 것 또는 감정에 영향을 주는 것은 또한 (긍정적이고 부정적인) 학습 반응을 이끌어낼 수 있다. 즉각적인 결과도 역시 중요한데, 즉각적인 결과consequence가 지연된 결과보다 더 큰 영향을 미치기 때문이다.

Our results yield some guidance for practitioners about the design of “assessment for learning”. A supportive, lowrisk learning environment characterized by high expectations and limited personal consequences resulted in deeper cognitive processing activities. In contrast, a negative, high-risk environment characterized by high expectations and negative personal consequences resulted in surface cognitive processing strategies and low engagement e.g., no question asking. To influence learning, assessment should be consequential and yield consequences that are concrete and substantial rather than abstract and trivial. Making assessment summative is one way of making assessment consequential. However, influencing personal stakes e.g., for esteem or agency and influencing emotion can also elicit (positive and negative) learning responses. Imminence of consequences is also important, with immediate consequences having a stronger influence than more deferred consequences.


이 연구가 제기하는 한 가지 의문점은 어떻게 하면 학생들을 끊임없는 요구로 소진시키지 않고, 평가를 통해 학습 노력의 균등한 분배를 유도할 수 있는가 하는 것이다. 응답자들이 이론 모듈[11]의 평가에 어떻게 반응했는지를 고려할 때, 임상 실습 모듈의 [정기적인 책임감]이 학생들의 전반적인 학습 패턴을 결정하는 데 중심적인 역할을 했고, 후속 이론 모듈에서의 학습에 부정적인 영향을 미친 것이 분명하다. 이론 모듈에서, 응답자들은 모듈의 초반에는 놀다가, 후반부에 목숨을 걸고 "따라잡는다"고 설명했다. 임상 실습 모듈에서는 학습이 그렇게 열외로 취급될 길이 없었다.

One question this work raises is how to induce even distribution of learning effort with assessment without burning students out with unrelenting demands. Considered together with how respondents reacted to assessment in theoretical modules [11], it seems evident that regular accountability in clinical practice modules played a central role in determining students’ overall learning pattern and had a negative knock-on effect on learning in subsequent theoretical modules. In theoretical modules, respondents described taking time off at the start of a module to “catch up” with the rest of their lives. In clinical practice modules, there was no indication that learning could be side-lined like that.


인터뷰에서는 언급되지는 않았지만, 임상 세팅에서의 요구가 그렇게 광범위하게 분산되어있고, 연속적이있었기 때문에, 응답자가 비학업적 측면에 시간을 할애할 기회가 거의 없었을거라 추측할 수 있다. 그 결과 학생들은 임상 세팅이 끝나고 이론 모듈을 시작했을 때 지쳤을 것이며, 잠시 쉬어도 괜찮은 타이밍이 되자, 학생들은 공부를 쉬게 되었다. 물론 그렇게 하는 데 드는 '비용'은 임상 실습 모듈보다 이론적으로 덜 즉각적이었으며, likelihood of impact도 마찬가지였다. 그러나 응답자들은 이론 모듈에서 시험을 준비하는 과정에서 결국 더 높은 학습량의 형태의 '시간차 영향' 있다는 것을 깨달았다그러나 이러한 "시간차deferred" 비용조차 학생들에게는, 그 시간 동안 그들이 삶의 다른 측면에 시간과 관심을 쏟을 수 있는 기회가 주어졌기 때문에 감당할 만한 것으로 간주되었다.

Although not vocalized in interviews, it is tempting to speculate that the demands of the clinical setting were so pervasive and continuous that respondents had little opportunity to take time off to spend on non-academic aspects of their lives; that they were exhausted when they started the next theoretical module, and, being able to do so, took time off from their studies. The costs of doing so were less immediate in theoretical than in clinical practice modules, as was the likelihood of impact. Respondents did realize, though, that there was a deferred impact in the form of a higher workload in the run-up to assessment in theoretical modules. This “deferred” cost was deemed worthwhile, however, for the opportunity to devote time and attention to other aspects of their lives.



Conclusion








 2012 Mar 16;12:9. doi: 10.1186/1472-6920-12-9.

model of the pre-assessment learning effects of assessment is operational in an undergraduateclinical context.

Author information

1
Centre for Teaching and Learning, Stellenbosch University, Matieland 7602, South Africa. fjc@sun.ac.za

Abstract

BACKGROUND:

No validated model exists to explain the learning effects of assessment, a problem when designing and researching assessment for learning. We recently developed a model explaining the pre-assessment learning effects of summative assessment in a theory teaching context. The challenge now is to validate this model. The purpose of this study was to explore whether the model was operational in a clinical context as a first step in this process.

METHODS:

Given the complexity of the model, we adopted a qualitative approach. Data from in-depth interviews with eighteen medical students were subject to content analysis. We utilised a code book developed previously using grounded theory. During analysis, we remained alert to data that might not conform to the coding framework and open to the possibility of deploying inductive coding. Ethical clearance and informed consent were obtained.

RESULTS:

The three components of the model i.e., assessment factors, mechanism factors and learning effects were all evident in the clinical context. Associations between these components could all be explained by the model. Interaction with preceptors was identified as a new subcomponent of assessment factors. The model could explain the interrelationships of the three facets of this subcomponent i.e., regular accountability, personal consequences and emotional valence of the learning environment, with previously described components of the model.

CONCLUSIONS:

The model could be utilized to analyse and explain observations in an assessment context different to that from which it was derived. In the clinical setting, the (negative) influence of preceptors on student learning was particularly prominent. In this setting, learningeffects resulted not only from the high-stakes nature of summative assessment but also from personal stakes, e.g. for esteem and agency. The results suggest that to influence student learning, consequences should accrue from assessment that are immediate, concrete and substantial. The model could have utility as a planning or diagnostic tool in practice and research settings.

PMID:
 
22420839
 
PMCID:
 
PMC3375194
 
DOI:
 
10.1186/1472-6920-12-9
[Indexed for MEDLINE] 
Free PMC Article


의학교육의 평가 전환: 임상추론 평가에 불확실성 통합하기 (Acad Med, 2017)

Transforming Medical Assessment: Integrating Uncertainty Into the Evaluation of Clinical Reasoning in Medical Education

Suzette Cooke, MD, PhD, and Jean-Francois Lemay, MD



임상 추론의 기술이 의사 성과에 그렇게 필수적인 경우, 분명 이 핵심 역량은 의료 교육에서 형성 및 총괄 평가에서 엄청난 관심을 받아야 할 것이다. 하지만 그럴까?

If the skill of clinical reasoning is so essential to physician performance then surely this core competency receives targeted attention in formative and summative evaluations in medical education. But does it?


현재까지, 의료 연수생 평가는 주로 지식과 이해의 기초적 요소에 기초하고 있으며, 특히 자격시험이라는 맥락에서 그러하다. 임상 추론의 기술과 관련된 필수적이고 고차적인 기능의 형태적 또는 종합적 평가에 훨씬 적은 주의를 기울인다. 이와 같이 임상적 성과에 필요한 것과 현재 평가되고 있는 것 사이에는 차이가 존재한다.

To date, evaluation of medical trainees is based primarily on the foundational elements of knowledge and comprehension, especially in the context of certifying examinations. Much less attention is placed on the formative or summative assessment of essential, higher-order functions associated with the skill of clinical reasoning. As such, a gap exists between what we recognize is required for clinical performance and what is currently being assessed.


우리는 의학에서 임상 추론의 향후 평가에 철학적으로 가장 중요한 두 가지 개념을 제안한다: 

  • "불확실성"의 맥락에서의 평가(사용 가능한 모든 정보에도 불구하고, 최선의 진단, 조사 또는 치료에 대해 약간의 의심이 있을 때), 

  • 하나 이상의 정답이 완전히 가능하다는 것을 인정하고(심지어 합리적이라는) 것

We propose two concepts that are philosophically paramount to the future assessment of clinical reasoning in medicine: 

  • assessment in the context of “uncertainty” (when, despite all of the information that is available, there is some doubt as to the best diagnosis, investigation, or treatment), and 

  • acknowledging that it is entirely possible (and reasonable) to have more than “one right answer.”


불확실성의 맥락에서 평가

Assessment in the Context of Uncertainty


전통적으로 의학적 평가는 확실성의 맥락에서 이루어졌다. 훈련생들은 주로 상당한 수의 사실, 패턴, 연관성, 알고리즘을 기억할 수 있는 능력을 시험받는다. 예를 들어 

  • 다중 선택 질문(MCQ)은 하나의 정답을 가지고 있으며, 

  • 단답형 질문(SAQ)은 대개 하나의 의미를 갖는 것으로 해석되는 일련의 수용 가능한 답변을 가지고 있다. 

  • 객관적 구조화된 임상시험(OSCE)에서도 채점 마찰은 종종 정보 수집의 초기 단계에 대한 점수를 주고, 짧은 조사 목록을 생성하고, 패턴을 인식하며, 최종(흔히 직접적인 알고리즘 기반) 관리 단계를 생성하는 것과 관련이 있다.

Traditionally, medical assessment has taken place in the context of certainty. Trainees are primarily tested on their ability to remember a significant number of facts, patterns, associations, and algorithms. For example, multiple- choice questions (MCQs) have a single correct answer, and short-answer questions (SAQs) usually have a series of acceptable answers that are interpreted as having a single meaning. Even in objective structured clinical examinations (OSCEs), the scoring rubrics are often associated with either giving points for the initial steps of information gathering, generating a shortlist of investigations, pattern recognition, and the final (and often straightforward algorithm driven) steps of management;


OSCE에서 피평가자는 

  • working diagnosis 개발에 어떤 주요 기능을 사용하고 있는지, 

  • 검사를 통해 무엇을 배제하려고 하는지, 

  • 특정 진단, 조사 또는 치료에 대한 결정을 어떻게 종합했는지 

  • 그러한 정보를 어떻게 활용하고 있는지

...에 대해 거의 질문을 받지 않는다. 

Candidates in OSCEs are rarely asked how they are applying that information, including which key features they are using to develop a working diagnosis, what they are attempting to rule in and out from requested investigations, and how they have synthesized their decision about a particular diagnosis, investigation, or treatment. 


또한 지원자들은 질병의 유병률, 확률, 민감성, 특수성을 고려한 베이즈 정리의 원리를 어떻게 통합했는지를 일상적으로 보여줄 것으로 기대되지도 않는다.3 더욱이, 지원자들이 [의사결정에 영향을 미쳤을 수 있는 상황적 특징과 사건의 비정형적인 측면을 다루거나 관리하는] 사고 프로세스에 대해서도 거의 평가되지 않는다.

Similarly, candidates are not routinely expected to show how they have integrated the principles of Bayes’ theorem, which considers disease prevalence, probability, sensitivity, and specificity.3 Furthermore, candidates’ thinking processes are rarely probed with respect to contextual features that may have affected their decision making and how they intend to address or manage atypical aspects of the case.


또한 대부분의 평가 형식에 대한 현재 채점 키(MCQ, SAQ, OSCE, 캐나다 자격 검사 파트 1, 2 미국 의료 면허 시험)는 일반적으로 "골드 표준" 교과서 또는 저널 또는 기타 증거 기반 출처에서 도출된다. 간단히 말하면, 지식기반의 평가를 만드는 것이 훨씬 더 쉽다. 왜냐하면 확실성과 명확한 증거가 있기 때문이다. 그렇다면, 왜 지금 평가가 바뀌어야 하는가?

In addition, current scoring keys for most formats of assessment (MCQ, SAQ, OSCE, Medical Council of Canada Qualifying Examination Part 1 and 2, United States Medical Licensing Examination) are typically derived from “gold standard” textbooks or journals or other evidence- based sources . Put simply—it is much easier to create assessments for knowledge-based tests for which there is certainty and clear evidence. So, why should assessment change now?


현재의 평가 방법은 의학을 적용하기 위해서 요구되는 임상 추론 과정의 현실을 충분히 반영하지 못하기 때문이다. Durning et al4는 "현재 임상 추론을 평가하는 모델은 종종 실제로 이루어져야 하는 임상추론에 한참 미치지 못한다"고 관찰했다.

Current methods of assessment should change now because they do not sufficiently reflect the realities of clinical reasoning processes required in applied medicine. Durning et al4 have observed that “our current models of assessing clinical reasoning often fall short of what is actually occurring.”


일부 실제 임상 사례들은 "명확하게" 기본 지식, 이해력 및 적용만으로도 충분하지만, 여러 가지 변수와 상당한 수준의 불확실성을 포함하는 사례들이 많다. Fargason 등 6명은 "의료는 불확실성으로 가득 차 있다"고 진술했다. "많은 학생들에게 불확실성을 받아들이고 효과적으로 대처하는 능력은 '그들이 직면하는 가장 어려운 적응 과제'이다."7 2012년 헐 외 연구진 8은 "초심자를 일상적인 상황에서의 역량을 갖추기 위한 훈련만 하는 것은 불충분하다. 우리는 그들이 임상 실습에서 직면하게 될 무수하고 예측불가능하며 비루틴적인 상황들과 맞닥뜨릴 준비가 되어 있어야 함을 알아야 한다."

while some real clinical cases are “clear-cut” and that basic knowledge, comprehension, and application will suffice, there are many cases that contain multiple variables and a significant degree of uncertainty. Fargason et al6 have stated that “medicine is full of uncertainty.” “For many students, the development of the ability to accept uncertainty and to deal with it effectively is ‘the most difficult adaptational task confronting them.’”7 In 2012, Hull et al8 suggested, “Training novices for competence in routine situations is insufficient; we also need to know they are equipped to contend with the myriad, unpredictable, non-routine situations they will confront in clinical practice.”



불확실성에 대한 내과의사의 tolerance는 의사의 의료행위에 영향을 미친다. 불확실성에 대한 내성이 낮은 의사는 과도한 진단 테스트와 추가적인 경험적 치료를 지시할 가능성이 더 높다.9 이러한 행동은 의료 비용을 증가시키고 환자를 부작용 발생 위험에 빠뜨린다.10,11

A physician’s tolerance of uncertainty influences her or his clinical practice. Physicians who are less tolerant of uncertainty are more likely to order excessive diagnostic testing and additional empiric treatment.9 This behavior increases health care costs and places patients at risk for experiencing adverse events.10,11


임상 의학에서 많은 일반적인 상황들이 이 불확실성에 기여한다. 여기에는 다음과 같은 것들이 포함된다.

many common situations in clinical medicine, contribute to this uncertainty. These include


• 사례에 대한 "현재 이용 가능한" 정보의 양이 제한될 경우

• 키(중요) 정보가 누락된 경우

• 일부 정보가 기여적이지만 "discriminating"하지 않을 경우

• 일부 정보가 예상치 못한 것이며/또는 모순될 경우

• 이용 가능한 정보의 가중치가 달라질 경우

• 핵심 특징이 진단에 쉽게 "들어맞지" 않을 경우

• 특정 행동 방침에 대한 증거가 없거나 열악할 경우


• The amount of “currently available” information for the case is limited. 

• Key (critical) information is missing. 

• Some information is contributory but not “discriminating.” 

• Some information is unexpected and/ or may be contradictory. 

• The information available may be weighted differentially. 

• Key features available do not readily “fit” a diagnosis. 

• There is either no evidence or poor evidence for a particular path or course of action.



또한 사례의 맥락적 특징과 각 환자에게 고유한 인적 요인을 일상적으로 고려하고 명시할 것을 제안한다.

Furthermore, we propose that contextual features of the case and human factors that are unique to each patient be routinely considered and made explicit.



• 의사 결정과 매우 관련이 있을 수 있는 상황적 요인들도 성공적인 환자 치료를 위해 '방정식'에 포함되어야 한다. 여기에는 연령, 성별, 의료의 중요성 및 복잡성, 의료 팀과 환자의 지리적 위치, 가용 리소스(전문지식, 시간 및 물리적/재정적 자원 포함), 의료 시스템 요소, 시스템 언어 및 통신 문제, 문화적 믿음 및 사회적 환경이 포함된다.

• Contextual factors that may be highly relevant to decision making must enter the equation for successful patient care. These include age, gender, medical acuity and complexity, geographical location of the health care team and of the patient and family, available resources (including expertise, time, and physical and financial resources), health care system factors, system language and communication issues, cultural beliefs, and social circumstances.


• 인간에게는 내재된 가변성이 있다. 동일한 조건을 가진 두 명의 환자조차 정확히 같은 방식으로 나타날 가능성이 없으며, 또한 모든 환자가 동일한 치료에 동일한 방식으로 반응하지 않을 것이다. 의사는 환자 특유의 요인을 인식하는 법을 배워야 하며 이러한 요인의 통합에 기초하여 진단, 조사 또는 치료적 요인을 조정하는 것이 적절할 때 배워야 한다.

• There is inherent variability in human beings. No two patients with the same condition are likely to present in exactly the same way; nor will patients respond to treatment (i.e., albuterol or chemotherapy) in identical fashion. Physicians must learn to recognize patient-specific factors and when it is appropriate to adjust the diagnosis, investigation, or therapeutic regimen based on the integration of these factors.


따라서 임상 의사는 이용 가능한 정보, 가장 목적적합한 정보, 누락된 주요 부분을 식별할 수 있어야 한다. 그들은 상황별 특징뿐만 아니라 의료 데이터도 적용해야 한다. 또한 임상의사는 잠재적인 환자 고유 요인을 이해해야 한다. 주어진 시점에서 임상의사는 사례를 분석하고, (최종 진단이 아니더라도) 작업 진단을 종합하고, 조사와 치료에 관한 적극적인 결정을 내릴 수 있어야 한다.

Therefore, Clinicians must be able to discern what information is available, what is most relevant, and what key pieces are missing. They must apply medical data as well as contextual features. Clinicians must also appreciate potential patient-specific factors. At any given point in time, a clinician must be able to analyze the case, synthesize a working diagnosis (even if it is not the final diagnosis), and make active decisions regarding investigations and treatment.


이러한 불확실성의 상황을 인식하고 받아들이는 것은 의사의 능력에 필수적이다.

Recognizing and accepting these situations of uncertainty (after collecting and analyzing the best available knowledge, evidence, and experience) is essential to a physician’s ability


의학적인 전문지식은 임상적 추론과 진단적 성과에 있어서 개인의 성과와 밀접하게 연관되어 있다.14

medical expertise is closely linked to an individual’s performance in clinical reasoning and diagnostic performance.14


의료 교육자들은 응용, 분석 및 합성의 이러한 상위 임상 추론 기술을 교육과 평가에 모두 포함시키고 이를 현실 세계의 불확실성 맥락 안에서 수행할 도덕적 책임이 있다.

medical educators have a moral responsibility to embed these higher-order clinical reasoning skills of application, analysis, and synthesis into both teaching and assessment and to do this within real-world contexts of uncertainty.


정말로 유일한 정답만이 있는 것이 가능할까?

Can There Really Be More Than One Correct Answer?


임상 의학에서 어떤 상황에서는 환자에 대한 충분한 정보와 문헌(또는 전문가의 합의를 통해)에 진단, 조사 또는 치료의 단일하고 명확한 경로를 고수할 수 있다는 충분한 증거가 있을 때도 있다. 그러나 어떤 상황에서는, 이용 가능한 정보가 별로 없거나, 이용 가능한 정보와 사례의 맥락을 고려할 때, 한 가지 특정 선택을 지시할 증거가 불충분할 수 있다. 사례와 상황에 따라 진단 설정, 조사 계획 작성 또는 치료 처방을 위한 두 가지(또는 그 이상) 접근방식이 안전하고 합리적일 수 있다. 

In some situations in clinical medicine, there is enough information about the patient and sufficient evidence in the literature (or via expert consensus) to adhere to a single, clear path of diagnosis, investigation, or treatment. In other situations, the information available at the time may be weak, or, given the information available and the context of the case, there may be insufficient evidence to dictate one specific choice. Depending on the case and the context, two (or more) approaches to establishing the diagnosis, creating a plan for investigation, or prescribing treatment may be safe and reasonable. 


SCT(스크립트 Concordance Test)15

The Script Concordance Test (SCT)15


임상 예는 부록 1에 설명되어 있다.

A clinical example is illustrated in Appendix 1


Durning et al4는 "여러 개의 올바른 path가 있는 상황이 존재하며, 전문성이라는 것은 [경계 조건의 집합] 내에서의 성과로 정의된다"라고 기술하고 있다.

Durning et al4 state that “there are often multiple correct paths and what defines expertise is performance within a set of boundary conditions.”


요약하자면, "하나 이상의 정답"의 존재 가능성을 존중하는 것은 임상 현실을 반영하며 궁극적으로 임상 추론의 평가를 보다 타당하고 신뢰할 수 있게 할 것을 제안한다.

In summary, we propose that respecting the possibility of the existence of “more than one correct answer” reflects clinical reality and will ultimately make the assessment of clinical reasoning more valid and reliable.


불확실성의 맥락: 극복할 장애물

The Context of Uncertainty: Current Barriers


불확실성의 맥락에서 의사결정을 목표로 하는 평가의 생성에는 네 가지 다른 장벽이 있다.

There are four different barriers to creating assessments that target decision making in the context of uncertainty.


첫 번째 장벽은 평가에 관련된 모든 이해당사자들에 의해 임상 의학의 불확실성의 상황을 인정하는 것이다. 이것은 이러한 상황을 노출하고 강조함으로써, 우리는 회색 영역이 항상 존재할 것이라는 것을 받아들이는데 더 가까워지고, 이러한 상황들을 그것들로부터 벗어나기 보다는 형식적이고 종합적인 평가에서 인정하고, 직면하고, 관여하는 것이 더 낫다.

The first barrier is acknowledging situations of uncertainty in clinical medicine by all stakeholders involved with assessment. This By exposing and highlighting these situations, we come closer to accepting that gray zones will always exist, and it is better to acknowledge, confront, and engage these situations in formative and summative assessments rather than steering away from them.


두 번째 장벽은 임상 의사 결정에서 다양한 수준의 불확실성을 관리하는 데 필요한 임상 추론 기술의 발달progressive 수준을 식별하기 위해 명확한 프레임워크를 개발해야 한다는 것이다

The second barrier is that a clear framework must be developed to identify the progressive levels of clinical reasoning skills needed to manage varying degrees of uncertainty in clinical decision making. 


(1) 초기 단계에서 연습생은 사례에 포함된 "핵심 특징"을 식별할 수 있어야 한다. 그런 다음 특정 사례의 맥락 안에서 각 특징에 적절한 "가중치"를 적용해야 한다(일부 특징이 특정 시점의 사례에 더 큰 영향을 미치기 때문이다).

In the early phases, trainees need to be able to identify “key features” embedded within a case. Then they need to apply appropriate “weight” to each of these features within the context of the particular case (as some features will more heavily influence a case at any given point in time).


(2) 다음 단계: 가중치는 의사가 얻는 정보의 품질과 신뢰성에 영향을 받을 수 있다. 이 정보는 또한 베이스의 정리 원리를 적용하여 해석하고 우선 순위를 정할 수도 있다.3 사례 기능의 가중치는 가능한 인지적 편견(예: 고정, 확인 편향, 조기 폐쇄)에 대한 인식에 의해 더욱 강화될 수 있다.17 인지적 편견의 고려는 의사의 사고 과정에 기여할 수 있는 개인, 시스템 및 환경적 요인을 감사하는 데 도움이 되는 개인적 성찰 습관을 만드는 것을 말한다.

That weighting may be influenced by the quality and the reliability of the information being received. This information may also be interpreted and prioritized by applying the principles of Bayes’ theorem.3 Weighting of case features may be further enhanced by an awareness of possible cognitive biases (i.e., anchoring, confirmation bias, premature closure).17 The consideration of cognitive biases refers to creating a habit of personal reflection to help appreciate the personal, system, and environmental factors that may be contributing to a physician’s thought process.


(3) 다음 단계: 이 단계는 종종 부재하거나, 있더라도 과소평가된다. 의사는 환자의 의료 데이터뿐만 아니라 모든 임상 사례에 대해 "그림에 색칠"하는 상황적 요소도 평가해야 한다. 교과서의 사례는 "프로토타입"이지만, 각각의 실제 사례는 전형적이고 비정형적인 특징을 가진 "exemplar"이며, 고착되어 있고 반드시 고려해야 하는 추가적인 상황 변수들이다.18,19 특정 상황 인자의 기간 내에 특정 환자 사례 요소를 제거하려면 분석의 임상적 추론 기술이 필요하다.즉, 사례의 가장 관련성이 높은 의학적 측면과 상황적 측면을 선택할 수 있고, 어떤 측면이 우세할지 결정하고, 임상 의사 결정에 대한 의미를 종합할 수 있다.

The next step is often absent or, when present, underestimated. The trainee must evaluate not only the patient’s medical data but also the contextual factors that “color the picture” of every clinical case. The textbook case is the “prototype” case, but each real case is an “exemplar” with typical and atypical features, as well as additional contextual variables that are entrenched and must be considered.18,19 Teasing out the specific patient case factors within the milieu of specific contextual factors requires the clinical reasoning skill of analysis: being able to select the most relevant medical and contextual aspects of a case, determining which ones will predominate, and synthesizing the implications for clinical decision making.


세 번째 장벽은, 자격부여기관과 매우 관련이 있으며, 평가 방법의 불가능성과 관련이 있다. 구체적말하자면, "점수의 해석은 원하는 해석의 이성을 뒷받침하거나 반박하기 위해 제시된 이론, 가설 및 논리의 네트워크와 연결되어야 한다."21

A third barrier, that is real and extremely relevant to certification bodies, relates to the defensibility of the assessment method. More specifically, “the interpretation of scores must be linked to a network of theory, hypotheses, and logic which are presented to support or refute the reasonableness of the desired interpretations.”21


전통적으로, 하나의 정답의 합의되어 왔다. 더 최근에, SCT는 전문가 패널의 "누적 반응"을 고려할 수 있는 가능성을 보여주었다. Charlin과 Van der Vleuten15는 특히 불확실성의 영역에서 전문가 패널의 누적 응답은 모달 응답과 모달 응답에 가까운 응답을 포함하여 다양한 잠재적으로 허용가능한 응답을 조명하는 데 도움이 된다고 주장한다.15 우리는 이 일반 개념을 지지한다. 그러나 이 채점 방법에 대한 유효한 비판은 전문가가 제공한 응답에 대한 제한된 안전 점검조차 없다는 것이다.22 전문가도 질문을 잘못 해석하거나 오류를 범할 수 있다. 그들의 반응이 궁극적으로 점수 키를 형성하기 때문에, 평가 전에 그 키를 선별하는 것이 중요하다.

Traditionally, a consensus response has been sought, producing a single answer. More recently, SCT has demonstrated the potential to consider the “cumulative response” of a panel of experts. Charlin and van der Vleuten15 contend that, particularly in areas of uncertainty, the cumulative response of the expert panel helps to illuminate a variety of potential acceptable responses including modal responses and responses near to the modal response.15 We support this general concept. However, a valid criticism of this scoring method is the absence of even a limited peer review of the responses provided by the experts.22 Experts can also misinterpret a question  or make an error. Because their responses ultimately form the scoring key, it is vital to screen that key prior to the assessment.



네 번째 장벽은 실현 가능성과 관련이 있다. 불확실성의 맥락에서 임상 추론의 관련 평가와 관련된다.

A fourth barrier, facing relevant assessment of clinical reasoning in contexts of uncertainty, relates to feasibility.


• 평가 형식은? 특정 형식에 필요한 리소스(예: 컴퓨터, 표준화된 환자, 마네킹 등)는 무엇인가? 컴퓨터 기술에 의존하고 있는가? 믿을만해? 안전해?

• What will the format of the assessment be? What resources (i.e., computers, standardized patients, mannequins, etc.) does the specific format require? Is there a reliance on computer technology? Is it reliable? Is it secure?


• 누가 평가를 개발할 것인가? 어떤 전문지식이 필요한가? 어디서 어떻게 이런 일이 일어날까? 비용은 얼마인가?

• Who will develop the assessment? What expertise is required? Where and how will this occur? What is the cost?


• 평가는 어디에서 실시될 것인가? 해당 위치가 이용 가능하고, 접근 용이하며, 안전하며, 평가 방법에 적합한가? 그 장소에 많은 지원자가 들어갈 수 있을까? 시설비는 얼마인가?

• Where will the assessment take place? Is the location available, easily accessible, secure, and appropriate for the assessment method? Can the location accommodate a large number of candidates? What is the cost of the facility?


• 평가는 언제 실시되는가? 얼마나 걸리나요? 이는 후보자, 심사원 및 관리자의 가용성에 적합한가?

• When will the assessment take place? How long does it take? Does this fit reasonably well with the availability of candidates, examiners, and administrators?


• 평가 관리를 위해 응시자나 심사원이 여행 및 숙박과 관련하여 상당한 비용을 부담해야 하는가?

• Does the administration of the assessment require candidates or examiners to incur significant costs related to travel and accommodation?


• 시기, 위치, 응시자 수 및 응시자 수 때문에 두 개 이상의 시험을 생성해야 하는가(즉, 시험 A와 시험 B)? 의도하지 않은 시험 노출/오염에 대한 위험을 야기하는가? 후보자들에 대한 격리 조치가 필요한가?

• Does the timing, location, number of candidates, and number of examiners necessitate the creation of more than one examination (i.e., Exam A and Exam B)? Does this threaten/create risk for unintended test exposure/contamination? Is sequestering of candidates necessary?


• 평가 결과를 개발, 관리, 점수화, 배포하고 안전하게 저장하는 데 소요되는 시간과 재정적 비용은 얼마인가?

• What is the time and financial cost to develop, administer, score, distribute, and securely store results of the assessment?



SCT 방법은 실현가능성의 관점에서 몇 가지 장점을 제공한다. SCT는 안전하고 신뢰할 수 있는 인터넷 접속을 제공할 수 있는 임의의 시간과 장소에서 발생할 수 있다. SCT는 60~90분 안에 투여할 수 있으며 즉각적인 채점을 할 수 있다. SCT 형식은 시각적 영상(즉, X선, 래시, ECG), 비디오(즉, 발작), 오디오(즉, 심장 또는 폐음)의 통합을 지원한다. 이 형식은 임상적 사실성을 만드는 데 도움이 된다.

The SCT method offers several advantages from the perspective of feasibility. The SCT may take place at any time and in any location that can offer secure and reliable Internet access. SCT can be administered in 60 to 90 minutes and produces instantaneous scoring. The SCT format supports the integration of visual images (i.e., x-rays, rashes, an ECG), video (i.e., seizures), and audio (i.e., heart or lung sounds); this format helps to create clinical realism.


강력한 평가를 개발할 때 고려해야 할 또 다른 기준은 미래의 학습과 실습에 미치는 영향이다.4 의학 교육자들은 평가가 학습을 촉진한다는 것을 잘 알고 있다.27

Another criterion to consider, when developing a robust assessment, is the impact on future learning and practice.4 Medical educators are well aware that assessment drives learning.27


우리는 이러한 효과가 임상 추론 기술 개발, 불확실성 관리, 훈련 중 환자에 대한 더 나은 임상 의사 결정, 그리고 경력의 과정에 대한 경험 증대에 있어 연습생들에게 도움이 될 것이다.

We anticipate that these effects will aid trainees in developing clinical reasoning skills, managing uncertainty, making better clinical decisions for their patients during their training, and with increasing experience over the course of their career.


맺음말

Concluding Remarks


세계적으로 건강관리가 발전하면서 유아, 아동, 성인은 병에서 살아남고 점점 더 복잡한 건강관리 조건을 안고 살고 있다. 동시에 의학 연구는 우리의 임상 지식의 경계를 계속 밀어붙이고 있으며, 우리가 "새로운 길"을 불붙이면서 우리는 자연스럽게 미지의 영역과 불확실성에 직면하게 된다. 그러나 이 과정에서 우리는 종종 그 불확실성을 관리하기 위해 둘 이상의 안전하고 허용 가능한 접근법을 발견한다.

With advancements in health care worldwide, infants, children, and adults are surviving illness and living with increasingly complex health care conditions. Concurrently, medical research continues to push the boundaries of our clinical knowledge, and as we blaze “new trails” we naturally encounter uncharted territory and uncertainty. During this process, however, we often discover more than one safe and acceptable approach to managing that uncertainty.


4 Durning SJ, Artino AR Jr, Schuwirth L, van der Vleuten C. Clarifying assumptions to enhance our understanding and assessment of clinical reasoning. Acad Med. 2013;88:442–448.





 2017 Jun;92(6):746-751. doi: 10.1097/ACM.0000000000001559.

Transforming Medical AssessmentIntegrating Uncertainty Into the Evaluation of ClinicalReasoning in Medical Education.

Author information

1
S. Cooke is clinical associate professor, Department of Paediatrics, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada. J.F. Lemay is professor, Department of Paediatrics, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada.

Abstract

In an age where practicing physicians have access to an overwhelming volume of clinical information and are faced with increasingly complex medical decisions, the ability to execute sound clinical reasoning is essential to optimal patient care. The authors propose two concepts that are philosophically paramount to the future assessment of clinical reasoning in medicine: assessment in the context of "uncertainty" (when, despite all of the information that is available, there is still significant doubt as to the best diagnosis, investigation, or treatment), and acknowledging that it is entirely possible (and reasonable) to have more than "one correct answer." The purpose of this article is to highlight key elements related to these two core concepts and discuss genuine barriers that currently exist on the pathway to creating such assessments. These include acknowledging situations of uncertainty, creating clear frameworks that define progressive levels of clinicalreasoning skills, providing validity evidence to increase the defensibility of such assessments, considering the comparative feasibility with other forms of assessment, and developing strategies to evaluate the impact of these assessment methods on future learning and practice. The authors recommend that concerted efforts be directed toward these key areas to help advance the field of clinical reasoning assessment, improve the clinical care decisions made by current and future physicians, and have positive outcomes for patients. It is anticipated that these and subsequent efforts will aid in reaching the goal of making future assessment in medical education more representative of current-day clinical reasoning and decision making.

PMID:
 
28557933
 
DOI:
 
10.1097/ACM.0000000000001559


마일스톤을 활용한 역량 평가(Med Teach, 2015)

Assessing competencies using milestones along the way

ARA TEKIAN1, BRIAN D. HODGES2, TRUDIE E. ROBERTS3, LAMBERT SCHUWIRTH4 & JOHN NORCINI5

1University of Illinois at Chicago, USA, 2University of Toronto, Canada, 3Leeds Institute of Medical Education, UK,

4Flinders University, Australia, 5FAIMER, USA




도입

Introduction


2012년 프라하에서 열린 유럽 의학교육협회(AMEE) 회의에서, 심포지엄은 '역량'과 '마일스톤'에 대한 다양한 해석과 오해를 탐구하고, 이들의 보건 직업 교육에서의 응용과 유용성에 대해 토론하고, 그것들을 측정하는 데 내재된 논란을 조사하기 위해 조직되었다. 이러한 우려는 유럽, 미국, 캐나다 및 호주의 관점에서 검토되었다.

During the 2012 meeting of the Association of Medical Education in Europe (AMEE) in Prague, a symposium was organized to explore the different interpretations and misinterpretations of ‘‘competencies’’ and ‘‘milestones’’, debate their application and usefulness in health professions education, and probe the controversies inherent in measuring them. These concerns were examined from a European, American, Canadian and Australian perspectives.


배경

Background


현재 교육의 본질에 관한 두 가지 모델이나 의욕이 있다. 첫 번째는 교육이 정해진 기간 내에 이루어질 것이라고 가정하는 친숙한 시간 기반 모델이다.

There are currently two models or discourses concerning the nature of education. The first is the familiar time-based model which assumes that education will occur within fixed periods.



이와는 대조적으로, 지난 수십 년간 결과 기반 교육 모델에 대한 관심이 증가했다.

In contrast, the past few decades have seen growing interest in an outcomes-based model of education.


역량에 대한 캐나다적 관점

Canadian perspective on the competencies


캐나다에서는, 전 세계적으로 큰 영향을 미친 CanMEDS "flower"에 근거한 역량 운동이 있다.

In Canada, there is a competency movement based on the CanMEDS ‘‘flower’’ that has had significant impact around the world.


현재 외과 전문의 레지던트 프로그램이 완전히 역량 기반인 몇 가지 실험이 이루어지고 있다. 이러한 잠재적 이점에도 불구하고 역량 기반 모델에 대한 우려도 있다.

Several experiments are currently taking place in which residency programs in surgical specialties are fully competency-based. Despite these potential advantages, there are also concerns about the competency-based model:


  • 낮은 기준. 최소 또는 최저 공통 분모를 강조하며, 이는 일반적인 표준 저하를 초래할 수 있다.

  • 실용주의적 성향. 실무적인 문제에만 훈련을 집중하는 경향이 있다.

  • 복잡한 로지스틱스. 개별 페이싱은 스케줄링과 함께 물류 문제를 제시한다.

  • 루틴 기술이나 시험에 대한 가르침 강조. 원래 역량 기반 접근은 기술 및 직업 분야에서 시작되었는데, 이분야는 의료와 달리 의료 분야에 존재하는 복잡성이나 판단 기반적 측면이 없다.

  • 사회적 책임. 사회적 책임이 운영되고 평가될 수 있는가? 역량 기반 모델은 의학의 복잡하고 관계적인 측면을 다루기에는 충분하지 않을 수 있다.

  • Lower standards. It emphasizes the bare minimum or lowest common denominator, and this may lead to a general lowering of standards.

  • Utilitarian tendencies. It tends to focus training on practical concerns only.

  • Complicated logistics. Individual pacing presents logistical issues with scheduling.

  • Emphasis on routine skills or teaching to the test. Originally, the competency-based approach began in technical and vocational fields, which do not have the complexities or judgment-based aspects that are present in the medical field.

  • Social responsibility. Can social responsibility be operationalized and assessed? The competency-based model may be insufficient to address the complex and relational aspects of medicine.


역량을 구성하는 요소에 대한 재평가

Reevaluating components that constitute competency.


표준을 정의할 때 우리는 '역량'이라는 개념의 본질에 대해 생각할 필요가 있을 수 있다. 역량은 환원주의적 체크리스트 접근방식에 의해 결정될 수 없다는 개념이 점점 더 인정받고 있다. 역량은 목록 이상의 것이다. 이것은 "건강"이라는 개념과 유사성하다. "건강"은 체크리스트만으로 평가될 수 없다. 우리 중 MD인 사람들은 결코 실험실 가치만으로 환자를 진단하거나 치료하지 않고 오히려 인간의 판단을 통합하는 법을 배워왔다; 우리 자신의 판단뿐만 아니라 다른 전문가들(병리학자/방사선학자 등). 언어는, 즉 서술된 형태는, 환자의 건강 상태를 설명하고 평가하는 데 있어서 의사의 주요 도구다.

When defining standards we may need to think about the nature of the concept ‘‘competence’’. It is increasingly that recognized competence cannot be determined by a reductionist checklist approach; competence is more than a list. The analogy with a concept like ‘‘health’’ is obvious; ‘‘health’’ cannot be evaluated by checklists alone. Those of us who are MDs have been taught never to diagnose or treat a patient based on lab values alone but rather to incorporate human judgments; not only our own but also those of other experts (pathologists/radiologists, etc.). Language, or in the form of narrative, is the doctor’s main tool in describing and evaluating a patient’s health situation.


우리가 이 은유를 '역량'에 적용하면, 우리는 역량을 설명하기 위한 특별한 서술어의 개발과 사용을 탐구해야한다. – 그것들을 정의하기 위해서뿐만 아니라 교육자들이 학생들의 능력을 묘사하고, 평가하고, 향상시킬 수 있도록 한다. 여기에는 두 가지 중요한 의미가 있다.

If we apply this metaphor to ‘‘competence’’ it leads us to explore the development and use of narratives specifically to describe for competencies – not only to define them, but also to enable the educators to describe, evaluate and improve the competence of students. and there are two important implications:


첫째, 결과의 긴 목록은 도움이 될 수 있지만, 완성해야 할 항목의 목록으로서가 아니라, 서술적 구성을 위한 용어로만 사용될 수 있다. 환자가 완전한 의학 교과서의 모든 증상을 가지고 있지 않거나, 작가가 사전에 있는 모든 단어를 사용할 필요가 없듯이, 의학 교육자들은 학생들의 역량에 대한 관찰을 기술하고 평가하기 위해 단어와 개념을 다양하게 선택할 수 있다. 따라서 의료 교육자는 이정표, 결과물 또는 위탁 가능한 전문 활동을 완료해야 하는 단순한 활동 목록으로 생각하기 보다는 세부적인 목표를 "사전"으로 보고, 역량에 대해 서술narrate하는데 사용해야 한다.

First, long lists of outcomes may be helpful but only as terms to use to construct narrative, not as lists of items to be completed. Just as a patient will not have all of the symptoms of a complete medical textbook, or as a writer need not use all the words in the dictionary, medical educators can both employ a range and selection of words and concepts to describe and evaluate their observations of students’ competence. Therefore, instead of thinking of milestones, deliverables or entrustable professional activities as simple lists of activities that need to be completed, medical educators should consider detailed objectives as a ‘‘dictionary’’ that can be used to narrate competence.


둘째, 서술은 학생의 역량의 progress를 판단하기 위한 관찰, 판단, 시험 결과, 성찰의 조합을 허용한다. 이는 당뇨를 진단하기 위해서 주소, , 시각, 음향 및 구술 정보의 조합과 혈청 포도당 수치값을 조합하는 것과 마찬가지이다. 내레이션을 통해 우리는 교육에 대한 보다 통합적인 접근방식으로 나아가며, 평가에 대한 환원주의적 접근방식에서 벗어나게 된다.

Second, narrative allows for the combination of observations, judgments, results of tests, and reflections to be combined in order to determine a student’s progress towards competence, much like the combination of complaints, visual, acoustic, and palpatory information on physical examination and the numerical value of 35mmol/l for serum glucose can add up to a diagnosis of ‘‘diabetes mellitus’’. Narrative leads us toward a more integrative approach to education and away from a reductionist approach to assessment.



우리가 정의하고 측정하는 역량 재평가

Reevaluating how we define and measure competencies


전형적 평가 프로그램은 과제, 시험, 출석, 보고서 등으로 구성되며, 보통 이 값들을 가지고 각각의 항목에 백분율을 할당하고 모든 것을 합산하여 역량에 대한 결정을 내린다. 그러나 백분율은 자의적이며(일반적으로 모두 어림수치이다) 일반적으로 의미 있는 근거가 부족하다. 계약에 의해, 통합적 서술은 요소들을 집합적으로 취하여 그것들을 묘사하고 학생의 능력을 전체적으로 사용한다. 당뇨병의 예를 들자면, 우리는 말초동맥맥박을 찾아냈을 때, 그것이 진단에 30% 기여한다고 "가중"하지 않는다. 통합적 서술적 접근방식은 보다 의미 있는 결정을 가능하게 한다.

The typical assessment program consists of assignments, exams, attendance, and reports, and frequently the practice is to assign a percentage to each and add everything together to arrive at a decision about competence. The percentages, however, are arbitrary (typically they are all round figures) and generally lack a meaningful rationale. By contracts, an integrative narrative takes the elements collectively and employs them to describe and a student’s competence holistically. In our diabetes example we do not ‘‘weight’’ a finding of absent peripheral arterial pulsations as contributing 30% to the diagnosis. An integrated narrative approach enables more meaningful decisions.


평균

An average


점수를 집계하는 데 사용되는 전통적인 방법은 종종 평균을 사용하는 것이다. 그러나 건강의 측정은 평균으로 정의되지 않는다. 예를 들어, 우리는 사람에 대해서 합계점수를 얻기 위해 병력, 검사, 병리결과, 신체 검사에 대한 점수를 합산한 뒤, 그 사람이 '건강하다'인지 '건강하지 않다'인지를 판단하기 위해서 전 인구의 평균과 비교하지 않는다.

Conventional methods used to assemble scores often use an average. However, measurements of health are not defined as an average. For example, we do not add up a combination of scores on history, lab testing, pathology, and physical examination to get at a total score, which is then compared to the population average in order to define whether a person is ‘‘healthy’’ or ‘‘unhealthy’’.


우리는 역량에 대한 우리의 결정이 타당하고 유용하다는 것을 확실히 하기 위해 서로 다른 조치의 점수를 결합할 때 신중할 필요가 있다. 우리 분야에는 숫자가 서술보다 더 '객관적'이라는 일반적인 믿음이 있지만, 모든 정량적 연구 논문이 숫자보다 더 많은 단어를 포함하고 있다는 사실을 생각해 보라! 숫자는 정보를 제공하지만 단어는 의미를 제공한다.

We need to be careful in combining scores from disparate measures to ensure that our decisions about competence are valid and useful. There is, in our field, a general belief that numbers are more ‘‘objective’’ than narratives, but consider the fact that all quantitative research papers contain more words than numbers! Numbers provide information but words provide meaning.


마일스톤 재구성

Reconstructing the milestones


마일스톤은 때때로 간단한 작업으로 묘사된다: 혈압을 재는 능력, 관련 기록을 보는 능력, 복부 검사를 하는 능력. 그러나, (의료에는) 복잡성과 맥락에 뿌리를 둔, 더 높은 차원의 역량 영역이 있다.

Milestones are sometimes described as simple tasks: ability to take blood pressure, to take a relevant history, to perform an abdominal exam. However, there is a broader domain of higher order competencies rooted in complexity and context.


전문성

Expertise


서술의 풍부함은 작가의 전문성에 의해 영향을 받는다. 무엇을 찾아야 할지 모른다면, 그 사람은 그것을 볼 수 없을 것이다. 또한 보지 못할 뿐만 아니라 말로 그것을 표현할 수 없을 것이다. 내레이션을 통해 전체 역량을 유지하면서도 그것을 부품으로 분해하지 않고 기술할 수 있는 유일한 방법이 될 수 있다.

The richness of narrative is influenced by the expertise of the writer. If one does not know what to look for, then he or she will not see it, much less be able to capture it in words. Narrative may be the only way to maintain the whole of competence while describing it without deconstructing it into parts.



유럽 맥락에서의 역량과 마일스톤

Competencies and milestones in the European context


많은 사람들이 유럽을 하나의 실체로 보고 있지만, 각 개별 국가는 의학 훈련과 능력을 포함한 주제에 대한 고유한 견해를 가지고 있다.

Even though many view Europe as a single entity, each individual country has its own unique views about topics including medical training and competence.


영국에서 역량은 인지, 기능, 개인, 윤리, 메타-능력의 5가지 범주로 정의된다. 프랑스에서 역량은 인지, 기능, 행동의 세 분야로 분류된다. 독일에서, 역량은 주제, 개인적, 사회적 역량과 관련하여 여겨진다. 이러한 국가별 관점 및 기타 국가별 관점에 대한 보다 광범위하고 자세한 내용은 골드 가이드(2014년)에서 확인할 수 있다.

In the United Kingdom, competence is defined in five categories: cognitive, functional, personal, ethical, and meta-competence. In France, competence is classified into three areas: cognitive, functional, and behavioral. In Germany, competence is viewed with respect to subject, personal, and social competence. A broader and more detailed view of these and other country-specific perspectives can be found in the Gold Guide (2014).



수행능력, 투명성, 성과

Performance, transparency, and outcomes


역량이라는 것은 연습생들의 수행능력과 성과에 초점을 맞추지만 또한 교육 과정에 관련된 사람들에게 투명성과 책임감을 제공한다. 이 접근법은 측정 가능한 목표와 교육 결과를 제공하여 비용 편익 결정을 하는데 활용할 수 있다.

It focuses on the performance and outcomes of the trainees but also provides transparency and accountability to those involved in the educational process. This approach provides measurable goals and educational outcomes which can be utilized to make cost-benefit decisions.


단순화된 척도

Simplified measurements


이 모델을 통해 연습의 복잡성을 평가하는 것은 어려우며, CBME를 비판하는 사람들은 이것이 의대생과 레지던트들을 위한 더 단순화되거나 제한된 교육으로 이어질 수 있다고 경고한다.

it is difficult to assess the complexity of practice via this model, and critics warn that it may lead to a more simplified or limited education for medical students and residents.


언제 가장 유용한가?

When is it most useful?


역량 있는 행동은 상황에 따라 다르며, 맥락에 따라 크게 의존적이다. 이와 같이, 역량 기반 교육은 의료 교육의 초기 단계에서 더 적용가능하다.

Competent behavior describes responses that are situation-specific and depend heavily on context. As such, competency-based education may be more applicable at the beginning of medical education.


시간의 역할은?

What role does time play?


Frank에 따르면, "목표는 연습생들이 단순히 얼마나 시간을 들였느냐가 아니라, 이러한 이정표를 충족했음을 보여주는 것이다." (Frank et al. 2010)

According to Frank, ‘‘The goal will be to show that trainees met these milestones – not just that they put in the time’’ (Frank et al. 2010).


의대생들과 레지던트들은 실제 임상환경에서의 많은 다양한 측면을 이해하기 위해 훈련 내내 가능한 한 많은 기회와 경험에 노출되어야 한다. 상황을 처리하거나 과제를 수행하는 방법은 여러 가지가 있으며, 연습생들에게 이러한 지식과 노출을 제공하기 위해서는 시간이 매우 중요하다. 오늘날 세계에서 의사들은 종종 어려운 상황이나 엄청난 압박을 받는 희귀하고 낯선 상황에 신속하게 대처하고 대응해야 한다.

Medical students and residents must be exposed to as many opportunities and experiences as possible throughout their training in order to understand the many varied aspects of a real workplace. There is more than one way to handle a situation or perform a task, and time is crucial to provide trainees with this knowledge and exposure. In today’s world, doctors must act quickly and respond to rare and unfamiliar situations, often in difficult situations and under great pressure.


21세기에 의사가 필요로 하는 기술은 그 어느 때보다도 다르다.

The skills that a doctor needs in the 21st century are different than ever before.


미국 맥락에서의 마일스톤

Milestones in the US context


미국 대학원의료교육인증위원회(ACGME)는 미국에서 대학원 교육 프로그램을 인증하고, 1997년에 결과 프로젝트를 시작하고, 전문분야에 걸쳐 6개의 역량을 채택하였다.

The Accreditation Council for Graduate Medical Education (ACGME) accredits postgraduate training programs in the US and in 1997 they initiated the Outcomes Project and adopted six competencies across the specialties


각 전공과목에서는 우선 많은 하위 역량을 개발하여 이 여섯 가지 역량을 그들의 분야에 적응시켰다. 이것은 그것들을 평가하기 위한 도구들의 개발을 촉진시켰지만, 그것은 정확히 무엇을 측정해야 하는지 그리고 언제 측정해야 하는지를 불명확하기 때문에 혼합된 성공을 맞이했다.

The specialties first adapted these six competencies to their disciplines by developing a number of sub-competencies. This spurred development of tools to assess them, but it met with mixed success because it was unclear exactly what needed to be measured and when.


이러한 결핍을 해결하기 위해 이정표와 위탁 가능한 전문 활동(EPA)의 개념이 도입되었다.

To address this deficiency, the concepts of the milestones and entrustable professional activities (EPAs) were introduced.


환원주의

Reductionism


마일스톤은 본질적으로 환원주의적이다. 그것을 완성하는 것이 전체적인 역량 충족을 의미하지는 않으며 통합적인 훈련 경험, 평가 및 전체적인 피드백이 필요하다.

Milestones are reductionist by nature . Completing them does not imply overall competence and integrated training experiences, assessments,and holistic feedback are needed.


시간기반 교육과정과의 불일치

Mismatch with time-based curriculum


마일스톤은 결과 기반 커리큘럼을 위해 설계되었으며 시간/프로세스 기반 시스템에 강제 적용되고 있다. 시간은 개입이 아니라 개입이 작용하는 맥락이다.

Milestones are designed for an outcomes-based curriculum and they are being forced into a time/process-based system. Time is not an intervention, it is a context within which an intervention operates.


지속적 교육 시스템 부족

Lack of a system of ongoing education


이정표는 현재 진행 중인 전문적 발전이라는 맥락에서 가장 잘 설정된다. 이것은 "훈련 종료시점"에서의 능력에서부터 평생학습 활동으로 초점이 전환되는 것을 의미한다.

Milestones are best set in the context of ongoing professional development. This will require a shift in focus from competence at the ‘‘end’’ of training to lifelong learning activity.


마일스톤의 수

Number of milestones


프로그램 감독들의 주된 걱정은 이 많은 마일스톤을 어떻게 다 다룰 수 있느냐이다. 사실, 그렇지 않다. 평가는 표본 추출에 관한 것이므로, 연습생들은 매번 정확히 같은 것에 대해 평가될 필요가 없으며, 여러 평가가 서로 같은 역량의 측면에 초점을 맞출 필요도 없다.

A major concern expressed by program directors is how a large number of milestones can be addressed. In fact, they do not. Assessment is about sampling so trainees do not need to be assessed on exactly the same things every time they are assessed, nor do those assessments need to focus on the same aspects of competence as each other.


평가 양식

Assessment forms


프로그램 감독들은 종종 어떤 평가 양식을 사용해야 하는지 궁금해 한다. 사실, 평가 양식이 평가의 질에 미치는 영향은 미미하다. 이와 달리 교수가 누구냐와 어떤 상황encounter이냐가 큰 차이를 만든다. 형식은 평가해야 할 것과 잘 작성되어야 하지만, 길지 않아야 하고, 문구와 척도는 최소한의 영향만 미칠 것이다. 개별 등급 형태가 아닌 항목 풀을 개발하는 데 노력을 기울인다면 매우 유용할 것이다.

Program directors often wonder exactly which assessment forms should be used. In fact, rating forms make only a small difference in the quality of assessment – the faculty and the encounters make a big difference. Forms need to comport with what is to be assessed and be well written, but they need not be long and the wording and scaling will have only minimal impact. It would be very useful if efforts were aimed at developing item pools and not individual rating forms.



임상역량위원회
Clinical competency committee


너무 많은 데이터에서 개별 연습생에 대한 결론을 도출하는 것은 임상 역량 위원회의 사용을 통해 해결할 수 있는 문제다.

Reaching conclusions about individual trainees out of so much data is an issue that can be resolved through the use of clinical competency committees.


교수개발

Faculty development


이정표를 구현하려면 대부분의 평가가 관찰에 의존하기 때문에 교수진 개발이 필요하다. 그러므로 교직원은 측정 수단이다. 비록 이정표가 훈련을 더 쉽게 만들지만, 마일스톤이 있다고 교수개발을 대신할 수는 없다. 짧고 주기적인 훈련으로 충분해야 한다.

Implementation of the milestones will require faculty development, since most of the assessment will rely on observation. Therefore, faculty is the measurement instrument. Although, the milestones make that training easier, they are not a substitute for it. Short and periodic training exercises should be sufficient.





The Gold Guide – A Reference Guide for Postgraduate Specialty Training in the UK. 2014. [Accessed 29 September 2014] Available from: http:// hee.nhs.uk/2014/06/04/the-gold-guide-fifth-edition-is-now-available/.








 2015 Apr;37(4):399-402. doi: 10.3109/0142159X.2014.993954. Epub 2014 Dec 19.

Assessing competencies using milestones along the way.

Author information

1
University of Illinois at Chicago , USA .

Abstract

This paper presents perspectives and controversies surrounding the use of milestones to assess competency in outcomes-based medical education. Global perspectives (Canada, Europe, and the United States) and developments supporting their rationales are discussed. In Canada, there is a significant movement away from conceptualizing competency based on time, and a move toward demonstration of specific competencies. The success of this movement may require complex (rather than reductionist) milestones that reflect students' progression through complexity and context and a method to narrate their journey. European countries (United Kingdom, France, and Germany) have stressed the complexity associated with time and milestones for medical students to truly achieve competence. To meet the changing demands of medicine, they view time as actually providing students with knowledge and exposure to achieve various milestones. In the United States, milestones are based on sampling throughout professional development to initiate lifelong learning. However, the use of milestones may not imply overall competence (reductionism). Milestones must be developed alongside outcomes-based curriculum with use of faculty and competency committees. The perspectives outlined in this paper underscore emerging challenges for implementing outcomes-based medical education and call for new conceptualizations of competence.

PMID:
 
25523010
 
DOI:
 
10.3109/0142159X.2014.993954


평기는 학습에 좋은가? 학습은 평가에 좋은가? 둘 다인가? (Perspect Med Educ, 2015)

Is assessment good for learning or learning good for assessment? A. Both? B. Neither? C. It depends?

Francois J Cilliers




이번 호에서 덩 외 연구진[3]. 다른 몇몇 문헌과 함께, 그들의 연구결과는 인출연습retrieval practice을 사용하는 것과 같은 일반적인 학생 학습 행동(다중 선택 질문 검토 및 플래시 카드 사용)이 실제로 학생 수행의 형태로 학습에 대한 긍정적인 결과와 관련이 있음을 시사한다.

In this issue, Deng et al. [3]. In keeping with some other literature, their findings suggest that common student learning behaviours that equate to the use of retrieval practice—reviewing multiple choice questions and using flash cards—are indeed associated with positive outcomes on learning in the form of student performance.


연구자와 선생님의 관점에서, 시험 강화 학습에 대한 연구는 평가와 학습과 관련된 다소 당황스러운 일련의 발견들의 한 부분에 기여한다. 이러한 발견을 이해한다는 것은 평가와 학습에 관한 문헌에서 명확성의 결여되어 있음이 입증되며 더욱 더 어려웠다[4]. 저자들이 평가에 대해 글을 쓸 때, 정확히 무엇을 의미하는가? 형성 평가? 형성 평가의 일환으로 제공되는 피드백? 수업? 총괄평가? 사용되는 평가 방법? 그리고 그들이 학습에 대해 글을 쓸 때, 학생들이 학습을 위해 시간을 계획하거나 플래시 카드를 사용하는 것과 같은 학습 행동을 의미하는가? 그들은 지식, 기술, 기질을 습득하고 인코딩하는 두뇌 내 학습 과정을 의미하는가? 또는 그 과정의 결과, 즉 나중의 검색과 성능?

From a researcher’s and teacher’s perspective, research on test-enhanced learning contributes to but one segment of a somewhat bewildering array of findings relating assessment and learning. Making sense of these findings has been all the more difficult for the fact that the literature on assessment and learning has been bedevilled by a lack of clarity [4]. When authors write about assessment, what— exactly—do they mean? Formative assessment? Feedback as part of formative assessment? Coursework? Summative assessment? The assessment method being used? And when they write about learning, do they mean student learning behaviours like scheduling time for learning or using flash cards? Do they mean the in-the-brain process of learning i.e., of acquiring and encoding knowledge, skills, dispositions? Or the outcome of that process i.e., later retrieval and performance?


학생들이 다가오는 시험에 그들의 학습을 적응시키는 방법은 학습의 행동과 학습 과정 모두의 관점에서 사전 평가 학습 효과[4, 6]를 구성한다. 시험 중 검색 관행[7]과 후속 피드백[8]은 모두 수행 학습의 관점에서 유익한 사후 평가 학습 효과를 제공해야 한다.

The ways that students adapt their learning to the upcoming test constitute pre-assessment learning effects [4, 6] from the perspective of both learning - as- behaviour and learning-as-process. Retrieval practice [7] during the test and subsequent feedback [8] should both hopefully yield beneficial post-assessment learning effects from the perspective of learning-as-performance.


하지만 학생들의 관점은 어떤가? 결국, 실제로 연구 결과를 활용하려는 시도는 고립된 상태에서 이뤄지는 것이 아니라 기존의 교육 및 평가 맥락에서 발생할 것이다. 

But what about the students’ perspective? After all, any attempt to utilize research findings in practice will typically occur not in isolation but rather in the context of multiple existing teaching and assessment practices. 


내가 제안한 모델은 학생 학습의 평가 전 품질과 규제와 결과적 평가의 다양한 측면을 관련시킨다. 이 모델은 보건 행동 이론에서 도출된 영향 평가, 대응 평가, 기관 및 대인 관계 요인을 포함한다. 이것은 학생들이 이론과 임상 평가 양쪽의 다양한 요구와 변화하는 요구에 어떻게 반응했는지를 반영한다[4, 6, 13].

The model I proposed relates a range of aspects of consequential assessment to the pre-assessment quality and regulation of students’ learning. The model incorporates impact appraisal, response appraisal, agency and interpersonal factors, constructs derived from health behaviour theory. It reflects how students responded to varying and changing demands of both the assessment of theory and clinical assessment, relative to other aspects of their academic and personal lives [4, 6, 13]. 






↓ Full text

Is assessment good for learning or learning good for assessment? A. Both? B. Neither? C. It depends?

Cilliers FJ. Perspect Med Educ. 2015.

Abstract

No abstract available

PMID

 26498444 [] 

PMCID

 PMC4673068


의사결정 기준 설정: 의학교육은 Shared Decision Making에 준비가 되었나? (Med Educ, 2019)

Setting decision-making criteria: is medical education ready for shared decision making?

Suzanne Schut & Erik Driessen




인간의 의사결정은 편견, 오류 및 불합리성을 초래하기 쉽다.1 의료 및 교육과 같은 고부담 책임 시스템에서는 이 문제를 다루기 어려울 수 있다. [환자 관리]의 퀄리티와 [역량 기반 교육 및 평가]의 퀄리티은 ill-defined 문제를 다루고 있으며, 수많은 판단을 내리는 여러 전문가의 협력적 접근 방식에 달려있다. 두 가지 맥락 모두 도전적이고 높은 작업 수요와 최전방 전문가들이 수행하는 중요한 역할에 의해 특징지어지며, 둘 다 인간 의사결정의 질에 상당한 압력을 가한다.2

Human decision making is prone to bias, fallibility and irrationality.1 In high-stakes accountability systems, such as health care and education, this can be challenging to deal with. The quality of patient care and of competency-based education and assessment depends on the collaborative approach of multiple experts making numerous judgements while dealing with ill- structured problems. Both contexts are characterised by challenging, high-stakes work demands and by the crucial roles played by frontline professionals, both of which place substantial pressure on the quality of human decision making.2


휴리스틱스는 구조화되지 않은 환경에서 복잡한 의사결정을 처리할 때 몇 가지 지침과 지원을 제공한다. 그것들은 문제 해결의 과정을 안내하는 데 사용되는 정신적 지름길 또는 상호 관련 원칙 또는 지침으로 설명된다.3 알고리즘(즉, 적절하게 사용했을 때 문제에 대한 보장된 해결책을 약속하는 특정 목표를 달성하기 위한 단계별 처방)과 달리, 휴리스틱스는 해결책으로 이어질 수 있는 문제 해결 전략이다. 휴리스틱스의 한 예로, 해결책을 찾는 것을 당면한 상황과 비슷한 상황으로 제한하는 유추적 사고analogical thinking가 있다.

Heuristics offer some guidance and support when dealing with complex decision making in ill- structured settings. They are described as mental shortcuts or interrelated sets of principles or guidelines that are used to guide the process of problem solving.3 By contrast with algorithms (i.e. step-by-step prescriptions for achieving particular goals that, when used properly, promise a guaranteed solution to the problem), heuristics are problem- solving strategies that may lead to solutions. An example of heuristics is analogical thinking, in which one limits the search for solutions to situations that are similar to that at hand.


Feufel과 Flach4는 응급 부서에서 임상 의사 결정에서 확인한 공통적인 두 가지 휴리스틱스를 언급했다

  • '흔한 것'(증상과 의학적 이력, 현재 관찰을 고려할 때 가장 흔한 것), 

  • '최악의 경우'(감별 진단이 질병의 발생 가능성보다는 다른 증상과 관련된 잠재적 결과에 초점을 맞춘 경우)

Feufel and Flach4 present two commonly used heuristics they have identified in clinical decision making in the emergency department: 

  • Common Things’ (what is most common given the symptoms, medical history and current observations), and 

  • Worst Cases’ (in which the differential diagnosis is focused on the potential consequences associated with the different symptoms rather than the likelihood of a disease).


의료 교육에서 가장 고부담 결정 중 하나는, 교육자는 학습자가 '성공'했는지 여부에 대한 총괄적 판단이다.

In medical education one of the most high-stakes, summative decisions an educator is required to make concerns whether or not a learner has ‘succeeded’.


학습자의 성과 수준 또는 역량 개발 지표에 대해서는 이러한 휴리스틱스를 사용하면 더 쉽게 해석될 수 있다.

  • 흔한 것(행동 및 성과 지표로 볼 때 가장 흔하거나 가능성이 높은 것은 무엇인가?) 

  • 악의 상황(lapses in professional behavior와 같이, 재교육 또는 추가 감독에 교사가 초점을 둬야 하는 학생의 성과와 관련된 잠재적 결과의 경고지표).

Indicators of learners’ performance levels or competency development may be more easily interpreted by teachers or supervisors with the use of these heuristics: 

  • Common Things (what is most common or likely given the indicators of behaviour and performance), and 

  • Worst Cases (alarming indicators of potential consequences related to the student’s performance that focus the teacher’s support on the provision of remediation or more supervision, such as indications of lapses in professional behaviour).


결정의 품질을 개선하고 오류 가능성을 완화하기 위해, 저자들은 신호 탐지 이론, 이른바 '결정 기준'이라는 개념을 차용한다. 이것은 흔한 것에 환자 관리를 집중할 것인지 아니면 최악의 경우에 초점을 둘 것인지를 결정하는 데 사용되는 기준을 반영하며, 결정의 품질에 관한 핵심 매개변수다. '좋은good' 품질 또는 '만족스러운satisfactory' 기준을 결정하는 것은 도메인별 값과 오류의 잠재적 결과에 따라 달라진다. 

To improve the quality of the decision and to mitigate the likelihood of errors, the authors4 borrow a concept from signal detection theory, the so- called ‘decision criterion’. This reflects the criterion that is used to decide whether to focus patient management on a Common Thing or a Worst Case, and is a key parameter with respect to the quality of the decision. What determines ‘good’ quality or a ‘satisfactory’ criterion will depend on domain-specific values and the potential consequences of an error. 


대부분의 경우, 총괄평가에서 그러한 결정을 내릴 책임과 힘(또는 '결정 기준 설정')은 평가자, 기관, 규제 기관의 배타적 영역 내에 있으며, 아무도 그 책임과 힘에 대해 도전하지 않는다. 이것은 우리가 평가에 있어서 가지고 있는 규범과 가치를 보여주며, 그러한 고부담 결정을 내리기에 가장 적합한 사람을 누구라고 생각하는지에 대한 우리의 생각을 보여준다. 이 관행은 여전히 의료 교육 및 평가에 domain-specific values를 반영하고 있는가?

In summative assessment, the responsibility and power to make that decision (or to ‘set the decision criterion’) are, in most cases, within the exclusive domain of the assessor, institute or regulatory body – a practice that is rarely challenged. It reflects the underlying norms and values we hold to assessment practices and who we consider best placed to make those high-stakes decisions. Does this practice still reflect the domain-specific values in medical education and assessment?


스스로 규제하는 학습에 중점을 두고 평생 학습자를 의료 시스템에 전달하고자 하는 열망을 고려할 때, 의학 교육은 분명히 학습자의 역할과 책임을 중요시하는 것으로 보인다. 이러한 가치가 평가에서 반영되고 있으며 의사결정 기준 설정에 보다 구체적으로 반영되고 있는가? 여기서 중요한 질문은 역량기반 의학교육의 평가에서 고부담 결정을 내리기 위한 '만족스러운' 의사결정 기준을 누가 설정해야 하는가이다. 지금처럼 평가자가 일방적으로 기준을 결정하는 것이, 성찰적/자기조절적/역랴있는 전문직을 양성하려는 현대 교육 및 평가모델의 목적에 정말 부합하는가?

Given its emphasis on self-regulated learning and the aspiration to deliver lifelong learners to the health care system, medical education clearly seems to value the role and responsibility of the learner. Are these values mirrored in our assessment practices and more specifically in setting the decision criterion? The pivotal question here is: who should set the ‘satisfactory’ decision criterion to make high- stakes decisions in assessment within competency-based medical education? Isn’t the unilateral setting of the decision criterion by the assessor at odds with the objectives of modern education and assessment models, which aimto determine who is a reflective, self- regulating and competent professional?


만약 우리가 학습자가 복잡한 임상 의사결정 프로세스와 같이 [정보에 입각]하고 [성찰하는 방식]으로 어려운 결정을 내릴 수 있기를 원한다면,4 우리는 의사결정 기준 설정에 대하여 학생의 역할과 참여에 대해 재고할 필요가 있다. 역량 또는 책임성을 결정하는 데 사용되는 의사결정 기준을 설정하는 데 학습자를 참여시키는 것은 의사결정 프로세스에 엄청난 도움이 될 수 있다. 왜냐하면 그 자체로 의사결정과정을 향상시킬 뿐만 아니라, 그 결정에 대한 학습자의 수용acceptability, 그리고 무엇보다 일반적인 평가행위의 의미를 더해주기 때문이다. 일반적으로. 최근의 연구에서, 학습자들은 평가에서 의사결정의 과정에 영향을 주고 통제하는 기회를 부여받으면 주체성을 느끼고sense of agency, 학습과 평가 경험에 대한 학생의 공동 책임shared responsibility을 촉진한다고 주장했다. 또한 평가에서 학습자의 주체성agency는 평가를 자기조절학습의 기회로 사용할 수 있도록 한다.5

If we want learners to make difficult choices in an informed and reflective way, such as in the complex clinical decision-making process ,4 we need to reconsider learners’ roles and involvement in setting the decision criterion. Involving the learner in setting the decision criterion that is used to determine competence or entrustability might benefit the decision-making process tremendously, not only in terms of improving the decision-making process, but also by increasing the acceptability of the decision and, more importantly, the meaningfulness of assessment practices in general. In a recent study, learners argued that opportunities to influence and control the process of decision making in assessment stimulate a sense of agency and facilitate a shared responsibility for their learning and assessment  experience. Moreover, learner agency in assessment enables the potential to use assessment as a learning opportunity for self- regulated learning.5


우리는 학습자가 자신의 평가 기준을 완전히 정해야 한다고 주장하는 것이 아니며, 우리도 자기 평가 관행의 도전과 긴장을 모르는 것도 아니다.

We are not arguing that learners should set their own assessment criteria completely, and neither are we ignorant of the challenges and tensions of self-assessment practices.




 2019 Apr;53(4):324-326. doi: 10.1111/medu.13826. Epub 2019 Feb 27.

Setting decision-making criteria: is medical education ready for shared decision making?

Author information

1
Department of Educational Development and Research, Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, the Netherlands.


의학교육과 의료시스템의 조화: 사회적 책무성 접근법의 힘(Med Educ, 2017)

Coordinating medical education and health care systems: the power of the social accountability approach

Charles Boelen



도입

INTRODUCTION


1988년 에든버러 의학 교육 선언의 12가지 권고사항 중 하나는 '건강부, 교육부, 지역사회 보건 서비스 및 기타 관련 기관 간의 공동 정책 개발, 프로그램 계획, 구현 및 검토에 대한 협력을 장려하고 촉진하는 것'이었다.1

One of the 12 recommendations of the 1988 Edinburgh Declaration on Medical Education was to ‘Encourage and facilitate cooperation between the Ministries of Health, Ministries of Education, community health services and other relevant bodies in joint policy development, programme planning, implementation and review’.1


의료 교육 및 의료 시스템을 조정하기 위한 합의는 사람들의 일차적인 건강 요구에 대한 최적의 대응 야망과 그러한 요구를 충족시키는 의료 시스템의 도전에 의해 길러진다. 

The agreement to coordinate medical education and health care systems is nurtured by the ambition of providing an optimal response to people’s primary health needs and to challenges fora health care system in meeting those needs. 


한 쪽에는 의과대학, 그리고 다른 한 쪽에는 보건기관 사이에 강력한 협력적 연계를 구축함에 있어, 이제는 각각의 정부 기관(즉, 고등교육부 및 보건부) 사이에 연계를 구축하는 것이 훨씬 더 중요해 보였다. 이 관점 기사에서는 의학교육을 '미래 의사가 사회에서 제대로 기능할 수 있도록 준비하는 과학과 예술science and art로서, 이는 그들이 의료행위를 실천할 환경과 조건에 영향을 미칠 책임을 내포해야 한다"고 정의할 것을 제안한다.4

In establishing strong collaborative links between medical schools, on one side, and health organisations, on the other, it came to appear even more important to establish links between their respective governmental agencies (i.e., ministries of higher education and ministries of health). In this perspective article, it is proposed that medical education be defined as ‘the science and art of preparing future doctors to function properly in society, which should imply responsibility for influencing the circumstances and conditions under which they will practice’.4


암묵적인 것에서 명시적 조화로의 점진적 이동

PROGRESSIVE SHIFT FROM IMPLICIT TO EXPLICIT COORDINATION


몇몇 경우에 조화를 위한 헌신은 [모든 의사가 사회의 현재와 미래의 건강 요구에 대응하기 위해 보유해야 하는 능력]을 어떻게 정의하느냐에 대한 관심이 그 근거가 될 수 있다.

In several instances, a commitment to coordination can be evidenced by the concern to define competencies any medical doctor should possess to respond to the present and prospective health needs of society.


'내일 의사들'

세계보건기구와 '5성급 의사' 모델

캐나다에서, CanMEDS 프로젝트

미국과 유럽에서는 '의사 헌장'

...에서 전문성의 개념을 장려했다.7


The ‘Tomorrow’s doctors’

The WHO and the seminal model of the ‘5 star doctor’,

In Canada, the CanMEDS project

in the USA and Europe, promoted the notion of professionalism in the ‘Physician charter’.7


이들은 모두 미래의 의사를 생물의학 분야뿐 아니라 정신사회학 분야에서도 전문성을 갖춘 전문가로 그리고 있으며, '의사들은 가난한 사람들의 자연적인 변호사들이며, 사회적 문제는 그들의 관할권 내에 있다.'는 19세기 중엽 독일의 유명한 병리학자인 루돌프 비르초(Rudolf Virchow)의 진술을 되풀이하고 있다.

They all envisioned future doctors as professionals with expertise not only in biomedical disciplines but also in psychosocial ones, and echoed the statement of Rudolf Virchow, the famous German pathologist in the mid-19th century, that ‘the physicians are the natural attorneys of the poor, and social problems fall to a large extent within their jurisdiction’.8


마찬가지로, 에든버러 선언의 권고안 1은 학교가 '그저 병원 뿐만이 아니라, 지역사회의 모든 건강 자원을 포함하는 방향으로 교육 프로그램이 운영되는 범위를 확대'하도록 권장할 때 그러한 돌연변이가 바람직하다고 판단했다.1 실제로 학습자가 다양한 건강 결정 요소가 작용하고 있는 상황에 노출될 때, 학생들은 건강이 다양하고 조화된 개입의 결과라는 것을 더 쉽게 이해할 수 있으며, 그 중 일부는 사회, 교육 및 경제 시스템의 통제 하에 있다.

Likewise, recommendation 1 of the Edinburgh Declaration reckoned that such mutation is desirable when schools are encouraged to ‘enlarge the range of settings in which educational programmes are conducted to include all health resources of the community, not hospitals alone’.1 Indeed, when learners are exposed to situations wherein a range of health determinants are at work, they are more prone to grasp that health is the result of multiple and coordinated interventions, some of which are under the control of the social, educational and economic systems.


다양한 건강 환경에서 의료 교육을 실시함으로서, 졸업생들은 환자와의 상호작용에 사회적 차원을 통합하고 사회 각 수준에서 부딪히는 건강 문제에 대처할 수 있는 능력을 획득할 것으로 기대될 수 있다. 또한 다양한 의료 행위자들과의 좋은 협력은 의료 교육이 사람들의 건강 상태에 미치는 영향을 개선시킨다고 가정할 수 있다. 의료 시스템 제공의 주요 가치, 즉 품질, 형평성, 관련성 및 효과와 비교할 경우 그 영향을 적절하게 평가할 수 있다.

In conducting medical education in a variety of health settings, it is also assumed that graduates will integrate a social dimension into their interaction with patients and acquire an ability to cope with health issues encountered at different levels in society. It can be further assumed that good collaboration with a variety of health care actors improves the impact of medical education on people’s health status. The impact can be properly assessed if compared against the main values of health care system delivery, namely: quality, equity, relevance and effectiveness.


의과대학과 의학 교육 프로그램이 그러한 가치들을 암묵적으로 지켜낼 수도 있지만, 모든 사람들에게 그 함의를 더 잘 이해시키기 위해서는 각각에 대한 명확한 정의가 필요하다.9 그러한 가치들은 다음과 같이 정의되었다: 

Although medical schools and medical education programmes may implicitly adhere to those values, a clear definition of each is required for a better grasp of the implications for everyone.9 Those values have been defined as follows: 


    • '퀄리티란 [환자나 시민의 종합적인 요구를 충족시키기 위해] 개입이 relevant하고 coordinatede됨을 암시하는 개인-중심 관리다. 

    • 평등은 사회의 모든 사람에게 필수적인 건강 서비스로부터 이익을 얻을 수 있는 기회가 주어진다는 것을 의미한다. 

    • 관련성은 대부분의 만연하고 긴급한 건강 문제와 사회의 가장 취약한 개인과 집단에 우선순위가 주어질 때 존재한다. 

    • 효율성은 개인과 일반 국민 모두의 이익을 위해 가용 자원으로 최선의 사용을 할 때 달성된다.'10

    • Quality in health care is a person-centred care implying that interventions are most relevant and coordinated to serve the comprehensive needs of a patient or a citizen. 

    • Equity implies that each person in a given society is given opportunities to benefit from essential health services. 

    • Relevance is present when priority is given to most prevalent and pressing health concerns and to most vulnerable individuals and groups in society. 

    • Effectiveness is achieved when the best use is made of available resources to the benefit of both individuals and the general population’.10


분명히, 굳건한 파트너십이 보건 시스템의 주요 건강 이해당사자 사이에 연계되어야 한다.

Obviously, solid partnerships must be interwoven with key health stakeholders in the health system.


의과대학의 사회적 책임성은 1995년에 세계보건기구에 의해 정의되었다: 

The social accountability of medical schools was defined in 1995 by the World Health Organization as


'의과대학이 교육, 연구, 서비스 활동을 지역사회, 지역, 그들이 봉사할serve 의무가 있는 국가의 우선적인 건강 관심사를 다루도록toward 지향할direct 의무. 건강 문제의 우선순위는 정부, 의료 기관, 의료 전문가 및 대중이 공동으로 파악해야 한다.11

‘the obligation to direct their education, research, and service activities towards addressing the priority health concerns of the community, the region, or nation they have a mandate to serve. The priority health concerns are to be identified jointly by governments, health care organisations, health professionals and the public’.11



사회적 책무성 접근을 통한 연계성 강화

STRENGTHENING LINKS THROUGH THE SOCIAL ACCOUNTABILITY APPROACH


의과대학과 그 의과대학의 사회적 의무에 대한 주요 표현은 사람들의 일차적인 건강 요구에 효과적으로 대응할 수 있는 졸업생을 배출하겠다는 명시적인 약속이다. 그러한 사회적 의무를 이행하는 방법은 다양하다.

A major expression of the social obligation of a medical school and its medical education programme is the explicit commitment to produce graduates able to effectively respond to people’s primary health needs. There are different ways of fulfilling such a social obligation.


첫 번째 예는 가난과 건강의 불균형의 결정요인에 초점을 맞춘 일련의 인류학, 역학 및 공중 보건 과정을 학생들에게 제공하는 의과대학이다.

A first example is a medical school offering students a series of courses in anthropology, epidemiology and public health with a focus on determinants of poverty and disparity in health.


두 번째 예로는 첫 해부터 교육 과정 전반에 걸쳐 학생들을 지역사회 기반 활동에 참여시키는 학교가 있다. 왜냐하면 학교의 제도적 목표 중 하나는 모든 학생들이 가장 취약한 사람들을 돌보기 위해 잘 정의된 능력을 습득하도록 하는 것이기 때문이다.

A second example is a school engaging students in community-based activities from the first year onwards and throughout the curriculum, because one of the school’s institutional objectives is to ensure all students acquire well-defined competencies to care for the most vulnerable people.


세 번째 예는 공공 부문 또는 민간 부문에서 잠재적 고용주들과 상호 작용하여, 위의 약속을 뛰어넘는 학교 중 하나로서, 빈곤한 지역에서 일자리 기회가 창출될 것이며, 매력적인 근무 환경이 제공될 것이라는 기대를 가지는 학교이다

A third example is the one of a school going beyond the above-mentioned commitments by interacting with potential employers of their graduates, in the public or private sector, with the expectation that job opportunities are created in deprived areas and attractive working conditions are offered.


그러한 예들은 사회적 의무의 다른 구도를 반영한다. 

  • 첫 번째 예에서 학교는 건강 불균형 문제를 암묵적으로 인식할 때 사회적 책임을 보이는 반면, 

  • 두 번째 예에서는 사회적 반응성의 특성인 문제에 대해 명시적이고 의도적으로 행동하려는 욕구를 보여준다. 

  • 세 번째 예는 학교 졸업생들에게 그들이 배운 것을 실제 세계에서 실천할 수 있는 최고의 기회가 주어지도록 하기 위해 일련의 조치를 취하기 때문에 학교의 사회적 책임성을 반영한다.

Those examples reflect the different gradients of social obligation. 

  • In the first example the school shows social responsibility as it implicitly recognises health disparity issues, whereas 

  • in the second example the school demonstrates a desire to act explicitly and purposefully on the issues, a trait of social responsiveness

  • The third example reflects the social accountability of the school as it takes a set of actions to ensure its graduates are given the best chances to practise in a real world what they have been taught.


그림1

Figure 1



1. '사회적 책임' 하에서 교육 프로그램의 목적은 '선량한' 실무자를 배출하는 것이며, 주로 어떤 역량이 가장 적합한지를 규정하는 것을 학교에 맡기는 것이다.

Under ‘social responsibility’ the aim of the education programme is to produce a ‘good’ practitioner, leaving it mainly to the school to define which competencies are the most appropriate ones,


2. '사회적 반응성'에 따라, 교육 프로그램은 사람들의 건강 요구에 대한 객관적 분석에서 도출되고 일반적인 전문성 개념에 따라 분류된 명확한 능력을 얻는 것을 목표로 한다.

under ‘social responsiveness’, the education programme aims to attain clearly defined competencies derived from an objective analysis of people’s health needs and grouped under the generic concept of professionalism.


3. '사회적 책임' 하에서, 교육 프로그램의 목표는 보건 시스템 성과와 궁극적으로 사람들의 건강 상태에 더 큰 영향을 미치는 보건 시스템 '변화 요원'을 생산하는 것이다. 프로그램은 주어진 환경에서 건강을 개선하기 위한 필수적인 요소와 도전을 고려하여 '상황화'된다.

Under ‘social accountability’, the ambition of the educational programme is to produce health system ‘change agents’ with a greater impact on health system performance and ultimately on people’s health status. The programme is ‘contextualised’, taking into account essential factors and challenges to improve health in a given milieu.


공통의 목적: 영향력의 근거

A COMMON PURPOSE: THE QUEST FOR EVIDENCE OF IMPACT


사회적 의무 척도에 대한 점수가 높을수록 의료 교육과 의료 시스템의 협업이 강화된다는 점이 강조된다.

The point is made that the higher the mark on the social obligation scale, the stronger the collaboration of medical education and the health care system.


이 가정을 3가지 지표를 통해 검토해보자. 

  • 불리한 지역에 졸업생 유지, 

  • 1차 진료 전문가로서의 졸업생들의 직업 선택, 

  • 다직업 팀에서의 실습 기회 등

그러한 지표들은 의료 서비스 제공 시스템에 대한 영향력을 반영한다. 즉, 졸업생들의 밀도 및 공정한 지리적 분포, 보편적 커버리지를 향한 진전, 그리고 개인 중심의 관리를 위한 학제간 접근방식이다.

Let us examine this assumption through the lens of three indicators: the retention of graduates in disadvantaged areas, the career choice of graduates as primary care practitioners, and opportunities to practise in multiprofessional teams. Those indicators truly reflect an influence on the health care delivery system, namely by increased density and fair geographical distribution of graduates, progress towards universal coverage, and an interdisciplinary approach for person-centred care.


노던 온타리오 의과대학은 바로 사회적 책임의 원칙에 따라 2006년에 설립되었다. 그것의 의료 교육 프로그램은 지역 보건 필요를 충족하기 위해 최선의 선택이 이루어지도록 하기 위해 지역 당국 및 지역사회와 긴밀히 협의하여 개발되었다. 이것은 학생들의 세로적 공동체 몰입, 실생활 건강 문제에 대한 집단학습, 그리고 학교의 사명을 따르는 고도로 동기 부여된 교직원들의 개인교습으로 특징지어진다. 10년의 존속 후, 특히 가정의학 의사가 가장 필요한 분야에서 졸업생이 높은 수준으로 retention하고 있으며, 건강 커버리지가 높아졌고, 여러 서비스와 사업을 유치함으로써 지역 경제에 기여한다고 주장한다.12

The Northern Ontario School of Medicine was founded in 2006 on the very principles of social accountability. Its medical education programme is developed in close consultation with local authorities and communities to ensure best choices are made to meet local health needs. It is characterised by longitudinal community immersion of students, learning in groups about real-life health issues, and tutoring by highly motivated staff who follow the school’s mission. After 10 years of existence, the school claims a high level of retention of graduates, particularly family doctors, in areas where they are most needed, an increased health coverage and a contribution to the local economy by attracting several services and businesses.12


잠보앙가에 의과대학을 설립하는 것은 지역사회 책임자들뿐만 아니라 다양한 공공 및 종교 당국으로부터 강력한 지지를 받았다. 즉, 의과 교육 과정에서의 학생 모집과 지원에서, 졸업생이 보건시설이 드물고 건강지표가 좋지 않은 마을이나 소도시로 돌아갈 것이라는 기대를 받은 것이다. 교육 프로그램은 전적으로 지역의 긴급한 건강 요구에 대응하도록 구성되었다. 유역catchment 지역을 학습 기회의 주요 원천으로 사용하여, 건강의 결정요인을 다루고 매우 헌신적인 교직원과 효과적인 교육학적 접근법을 구현하였다. 20년 후, 이 학교는 유아 사망률을 90%까지 감소시키고, 졸업생의 80%를 지역 소외 지역에 유지하는 데 기여한 반면, 그렇지 않았다면 많은 수가 수도나 해외로 이주했을 것이라고 추정한다.13

The creation of the medical school in Zamboanga received strong support from various public and religious authorities as well as local community chiefs, namely in the recruitment of students and support during their medical education course, with the expectation that graduates would return to the villages or small towns where health facilities are rare and health indicators poor. The educational programme was entirely structured to respond to local pressing health needs, using the catchment area as a main source of learning opportunities, addressing determinants of health and implementing effective pedagogical approaches with very dedicated teaching staff. Two decades later, the school estimates that it contributed to decreasing infant mortality rates by 90% and to retaining 80% of their graduates in local underserved areas, whereas a great many would have migrated otherwise either to the capital city or abroad.13


2011년 '아랍 봄 혁명' 동안 튀니스의 의과대학은 보건 고등교육부와 긴밀히 협력하여 국가 대격변의 주요 원인 중 하나인 해안 거주자와 내륙 거주자 사이의 행복의 불균형을 다루기로 결정했다. 이 학교는 2백만 명의 주민이 살고 있는 북부 지역의 1차 진료의 성과를 향상시키고, 지역 보건 당국과 협력하여 건강 보장의 폭을 넓히고, 가정의학과 교육 프로그램의 개발을 우선시하기로 특별한 약속을 했다. 이 계획이 기대되는 결과와 영향을 미쳤는지 평가하기에는 너무 이르지만 약혼은 유망하다.

During the 2011 ‘Arab spring revolution’, the medical school in Tunis decided, in close collaboration with the Ministries of Health and Higher Education, to address one of the main causes of the national upheaval, namely the flagrant disparity in well-being between people living on the coast and those living inland. The school made a special commitment to improve the performance of the first level of care in the northern part of the country where two million inhabitants live, to work with local health authorities to enlarge health coverage and to prioritise the development of a family medicine education programme. It is too early to assess whether this plan produced the expected outcome and impact but the engagement is promising.



투르스 의과대학은 프랑스의 35개 의과대학 중 하나이다. 보건 당국에서 시민 협회에 이르기까지 이 지역의 모든 주요 보건 기관(지역 듀 센터 등 3백만 명의 주민을 포함한 지역 보건 기관)의 대표자들은 정기적으로 학교에 초대되어 학교가 그들을 위해 더 나은 일을 해야 하는지에 대해 질문한다. 각 경우에, 모든 이해당사자를 참여시키는 권고안을 작성하고, 진행상황을 감시하기 위해 임시 회의를 개최한다. 다시 한번 말하지만, 이 이니셔티브가 커버리지를 개선하고, 전문 의료 센터를 만들고, 보건 분야의 더 큰 형평성과 효과에 기여할 것인지 예측하는 것은 너무 이르지만, 모든 요소들이 목적적purposeful 의료 교육 프로그램을 설계하기 위해 조립된다.

The medical school in Tours is one of the 35 medical schools in France. Representatives of all major health agencies in the region (Region du Centre et du Val de Loire, including 3 million inhabitants), from health authorities to citizens’ associations, are regularly invited by the school to the school premises and asked what the school should do better for them. On each occasion, recommendations are drafted that engage all stakeholders and interim meetings are held to monitor progress. Again, it is too early to predict whether this initiative will lead to improved coverage, create multiprofessional health centres and contribute to greater equity and effectiveness in the health sector, but all the ingredients are assembled to design a purposeful medical education programme.



현재 북아메리카의 LCME(Liaison Committee of Medical Education)와 WFME(World Federation for Medical Education)가 사용하는 기준은 성과에 대한 관심과 의료 교육 프로그램의 영향은 별로 없고, 그보다는 프로세스에 중점을 두고 있다.14,15 의료 교육과 의료 시스템에 미치는 영향 사이의 격차를 해소하는 데 도움이 되는 사회적 책임의 측정 도구가 등장하기 시작하고 있다.

Currently, standards used by the LCME (Liaison Committee of Medical Education) in North America and the WFME (World Federation for Medical Education) put the main emphasis on processes, with limited interest in outcomes and the impact of medical education programmes.14,15 Measurement tools of social accountability are beginning to emerge that should help to close the gap between medical education and its impact on the health system




CPU 모델은 '개념화-생산-사용성'의 약어로서, 학교들의 다음에 대한 헌신을 포괄적으로 탐구하는 일련의 매개변수로 구성됨.

  • 획: (즉, 의사가 공정하고 효율적인 보건 시스템을 제공하는 데 필요한 이상적인 역량 집합에 동의) 

  • 구현: (이러한 역량을 획득하기 위해 조직된 훈련 및 학습)

  • 보장: 이러한 조치가 사회에 예상되는 영향을 미치는 것(즉, 후속 졸업생 및 의료 시스템 성과 향상에 도움이 되는 의료 환경을 advocate한다).

The CPU model is an example, an acronym for ‘Conceptualisation- Production-Usability’, made up of a sequence of parameters exploring more comprehensively the schools’ commitments to 

  • planning actions (i.e., agreeing on an ideal set of competencies needed for the medical doctor to serve an equitable and efficient health system), 

  • implementing those actions (training and learning organised to acquire those competencies) and 

  • ensuring the actions produce the anticipated effects on society (i.e., following-up graduates and advocating for a practice environment that is conducive to improving health care system performance).16



미래의 조화를 개선하기 위한 관점

PERSPECTIVES FOR IMPROVING COORDINATION IN THE FUTURE


의과대학의 사회적 책임에 대한 글로벌 컨센서스. 새로운 사고와 글로벌 수준의 의학적 교육의 우수성을 향상시키기 위한 효율적인 전략을 촉진하기 위한 전례 없는 노력.19 그림 2는 글로벌 컨센서스 문서의 10가지 전략적 방향을 종합한 것이다.

the Global Consensus for Social Accountability of Medical Schools, which is an unprecedented effort to stimulate new thinking and efficient strategies to improve excellence in medical education at a global level.19 Figure 2 is a synthesis of the 10 strategic directions of the Global Consensus document,


그림 2 글로벌 컨센서스의 10가지 전략적 방향

Figure 2 Ten strategic directions of the Global Consensus


1: 사회의 건강 요구 예측

2: 보건 시스템 및 기타 이해관계자와의 파트너십

3: 의사 및 기타 의료 전문가의 진화하는 역할에 적응

4: 성과 기반 교육 추진

5: 의과대학의 대응적이고 책임감 있는 거버넌스 조성

6: 교육, 연구 및 서비스 제공에 대한 표준의 범위 정립

7: 교육, 연구 및 서비스의 지속적인 품질 향상 지원

8: 인증에 대한 필수 메커니즘 설정

9: 상황별 특성과 글로벌 원칙의 균형 조정

10: 사회의 역할 정의


1: Anticipating society’s health needs

2: Partnership with the health system and other stakeholders

3: Adapting to the evolving roles of doctors and other health professionals

4: Fostering outcome-based education

5: Creating responsive and responsible governance of the medical school

6: Refining the scope of standards for education, research and service delivery

7: Supporting continuous quality improvement in education, research and service

8: Establishing mandated mechanisms for accreditation

9: Balancing global principles with context specificity

10: Defining the role of society


이와 유사하게, 국가 차원에서, 의과대학들은 국가 정책의 지원을 받는다면 의료 시스템과 의료 교육을 조정하는 경향이 더 많다. 예를 들어 캐나다에서는 연방정부 보건기관인 캐나다 보건부가 캐나다의 의과대학 협회와 관련하여 발표한 백서에서 의과대학에 대한 핵심 비전으로 사회적 책임을 제시했다. 

Similarly, at the country level, medical schools are more prone to coordinate medical education with health care systems if supported by a national policy. In Canada, for instance, a white paper published by Health Canada, the federal government health agency, in conjunction with the Association of Faculties of Medicine in Canada suggested social accountability as a core vision for medical schools: 


'사회적 책임과 책임감은 캐나다 의사들과 의학 협회의 역할을 뒷받침하는 핵심 가치들이다. 이러한 헌신은 개인 및 집합적으로 의사와 전문성이 캐나다 전역의 개인과 공동체의 다양한 요구에 대응하고 글로벌 커뮤니티에 대한 국제적 책임을 충족해야 한다는 것을 의미한다.20

‘Social responsibility and accountability are core values underpinning the roles of Canadian doctors and Faculties of Medicine. This commitment means that, both individually and collectively, doctors and faculties must respond to the diverse needs of individuals and communities throughout Canada, as well as meet international responsibilities to the global community’.20


결론

CONCLUSION


의료 교육과 의료 시스템의 조정은 1988년 에든버러 선언 이후 극적으로 발전했다.

The coordination of medical education and health care systems has evolved dramatically since the 1988 Declaration of Edinburgh.


지난 30년간 사회적으로 중요한 진화가 이뤄졌다.. 사람들은 환경 보호에 대한 더 큰 우려, 부족한 자원의 더 나은 사용, 공공 업무 수행의 투명성, 우선순위 설정에서 대중의 목소리에 대한 관심, 수직적 프로젝트에 대한 시너지 창출과 같은 그들의 복지에 대한 필수적인 요구들을 점점 더 많이 인식하게 되었다. 이 모든 것은 인간의 발전이 체계적이고 협력적인 접근에 의해 더 잘 제공된다는 것을 일반적으로 인정하는 인식이 자리잡는 데 기여했다.

The last three decades have been marked by important evolution in societies. People have increasingly become aware of essential requirements for their well-being, such as greater concern for environmental protection, better use of scarce resources, transparency in conducting public affairs, attention to the voice of the public in setting priorities, and creating synergies versus funding vertical projects. All this has contributed to a general state of mind acknowledging that human development is better served by a systematic and collaborative approach.







 2018 Jan;52(1):96-102. doi: 10.1111/medu.13394. Epub 2017 Sep 7.

Coordinating medical education and health care systems: the power of the social accountability approach.

Author information

1
Programme of Human Resources for Health, Sciez-sur-Léman, France.

Abstract

CONTEXT:

As the purpose of medical education is to produce graduates able to most effectively address people's health concerns, there is general agreement that coordination with the health care system is essential. For too long, coordination has been dealt with in a subjective manner with only few landmarks to ensure objective and measurable achievements. Over the last 30 years, since the Edinburgh Declaration on medical education, progress has been made, namely with the concept of social accountability.

METHODS:

The social accountability approach provides a way to plan, deliver and assess medical education with the explicit aim to contribute to effective, equitable and sustainable health system development. It is based on a system-wide scope exploring issues from identification of people's and society's health needs to verification of the effects of medical education in meeting those needs. A wide international consultation among medical education leaders led to the adoption of the Global Consensus on Social Accountability of MedicalSchools.

EXPERIENCES:

Benchmarks of social accountability are in the process of being conceived and tested, enabling medical schools to steer medical education in a more purposeful way in relation to determinants of health. A sample of schools using the social accountabilityapproach claims to have had a positive influence on health care system performance and people's health status.

CONCLUSION:

Improved coordination of medical education and other key stakeholders in the health system is an important challenge for medical schools as well as for countries confronted with an urgent need for optimal use of their health workforce. There is growing interest worldwide in defining policies and strategies and supporting experiences in this regard.

PMID:
 
28884465
 
DOI:
 
10.1111/medu.13394


보건전문직교육에서 사회적책무성 측정(Med Teach, 2013)

Measuring social accountability in health professional education: Development and international pilot testing of an evaluation framework

SARAH L. LARKINS1, ROBYN PRESTON1, MARIE C. MATTE2,3, IRIS C. LINDEMANN4, REX SAMSON5,

FILEDITO D. TANDINCO6, DAVID BUSO7, SIMONE J. ROSS1, BJO¨ RG PA´ LSDO´ TTIR8,

& ANDRE´ -JACQUES NEUSY8 on behalf of the Training for Health Equity Network (THEnet)




도입

Introduction


의사들을 포함한 세계적인 부족과 불균등한 의료 종사자들의 분포는 계속되는 건강 불평등과 밀레니엄 개발 목표에 도달하지 못하는 데 기여하는 요인 중 하나이다(Chen et al.). 2004; 세계보건기구 2010). 최근 몇 년 동안, 보건전문 교육 기관들이 졸업생들에게 일련의 전문적인 기준을 충족시키기 위해 훈련시키는 것 이상을 해야 할 책임이 있다는 인식을 증가시키고 있다. 보건 전문가를 양성하는 학교는 그들이 봉사serve하는 사회의 요구를 충족시킬 책임을 져야 한다는 국제적인 인식이 증가하고 있다.

A global shortage and uneven distribution of health practitioners, including doctors, is one of the contributing factors to persisting health inequalities and failure to reach the Millenium Development Goals (Chen et al. 2004; World Health Organization 2010). In recent years, there has been increasing recognition that health professional education institutions have a responsibility to do more than just train graduates to meet a set of professional standards. There is growing international recognition that schools training health professionals should be held responsible for meeting the needs of the societies they serve.


이러한 그룹은 우선적인 건강 요구를 해결하기 위해 보건 분야, 정책 입안자 및 지역사회와의 파트너십을 개발할 수 있도록 보장하는 데 필요한 역량과 태도를 가진 의료 졸업생들의 필요성을 점점 더 인식하고 있다(Rourke 2006; Sen Gupta et al. 2009; Frenk 등 2010;Sales & Schlaff 2010). 여기에는 리더십 기술을 잘 갖추고 있으며, 보건 시스템 내에서 'enlightened change agent' 역할을 할 수 있는 졸업생들이 포함된다(Frenk et al. 2010).

These groups increasingly recognize a need for medical graduates with the required competencies and attitudes to ensure they are able to develop partnerships with the health sector, policymakers and communities in order to solve priority health needs (Rourke 2006; Sen Gupta et al. 2009; Frenk et al. 2010;Sales & Schlaff 2010). This includes graduates well equipped with leadership skills, and who are able to function as ‘enlightened change agents’ within health systems (Frenk et al. 2010).


THEnet

Training for Health Equity Network


THEnet(The Training for Health Equity Network)은 교육, 연구 및 서비스 자원을 기준 인구의 우선적인 보건 및 보건 시스템 필요를 지향하도록 하기 위해 헌신한 7개 의과대(Palsdottir et al. 2008)에 의해 2008년에 설립되었으며, 이후 11개 학교로 성장하였다(그림 1). 

The Training for Health Equity Network (THEnet) was founded in 2008 by seven schools of medicine and health sciences committed to direct their educational, research and service resources towards the priority health and health system needs of their reference population (Palsdottir et al. 2008), and has since grown to include 11 schools (Figure 1). 



공동으로, THEnet 파트너 스쿨은 세계보건기구(WHO; Boelen & Heck 1995)의 사회적 책무성에 대한 정의를 채택했다.

Collectively, THEnet partner schools have adopted a definition of social accountability in health professional education (SAHPE) based on that from the World Health Organization (WHO; Boelen & Heck 1995).



사회적 책무성이란 교육, 연구, 서비스 활동을 지역사회, 지역 및/또는 국가(학교)가 의무적으로 봉사해야 할 우선적 보건 관심사로 orient해야 할 의무를 말한다. 이 때 우선순위는 정부, 보건 서비스 기관, 공공 및 특히 소외 계층에 의해 공동으로jointly 정의된다.

Social accountability is the obligation to orient education, research and service activities towards priority health concerns of the local communities,the region and/or nation (schools) have a mandate to serve. These priorities are jointly defined by government, health service organisations, the public and especially the underserved.


THEnet School은 '무조건 지역사회와 의료 시스템의 요구에 대응하고 이에 수반되는 양질의 보건 전문 교육, 서비스 및 조치 중심의 연구를 통해 의료 및 보건 결과의 형평성을 달성하기 위한 핵심 공약'에 합의했다(THEnetDean's Group 2010). 

THEnet schools have agreed to ‘a core commitment to achieving equity in health care and health outcomes through quality health professional education, service and action-oriented research responsive to the needs of and embedded in,undeserved communities and health care systems’ (THEnetDean’s Group 2010). 


각 학교의 맥락이 뚜렷하게 다르기 때문에, 용어의 정의에 있어서 명확성을 필요로 한다. 특히, [disadvantaged or underserved 인구집단]의 정의를 세계적으로 통용될 수 있도록 하는 것이 중요했다. 이들의 작업을 위해, 블루멘탈과 보엘렌(2001)에 따라 소외되거나 소외된 모집단을 개념화한다. 

The distinctively different contexts of each school necessitated clarity in the definition of terms. In particular, a definition of disadvantaged or underserved populations that applied globally was important. For the purposes of THEnet’s work, disadvantaged or underserved populations are conceptualized following Blumenthal and Boelen (2001) as 


  • (1) 일반적으로 '인구 대다수와 비교하여 건강 악화, 기회 감소 또는 서비스 접근 감소로 고통받는 국가 내의 집단 또는 인구'이다. 

  • (2) 선진국에 대하여: 모든 선진국에는 '전체적으로 봤을 때 불리한'는 그룹이 있다. 예를 들면 인종/민족, 빈곤, 지리 및 특별한 요구를 가진 다른 집단에 기초한다. 

  • (3) 개발도상국에 대하여: '사실상 가난한 나라의 전체 인구는 부유한 나라와 비교하여 불이익을 받는다.'

  • (1) Generally ‘groups or populations within a country who,compared with the majority of the population, suffer from poorer health, fewer opportunities or reduced access to services’. 

  • (2) Relating to developed countries – In every developing country, there are groups that are ‘disadvantaged relative to the whole’. Examples are based on: race/ethnicity, poverty, geography and other groups with special needs. 

  • (3) Relating to developing countries – ‘Virtually the entire population of the poor countries is disadvantaged by comparison to the wealthy countries’. 


목표

Objectives


따라서, THEnet이 선택한 행동의 첫 번째 우선 순위는 사회적 책임에 대한 우리의 progress를 비판적으로 반성하고, 이 목표를 달성하기 위해 고안된 전략의 효과를 평가하고, 전략이 공유됨에 따라 서로의 학습을 용이하게 하는 메커니즘으로서 종합적인 평가 프레임워크(프레임)를 개발하는 것이었다.

Thus, the first priority for action chosen by THEnet was to develop a comprehensive evaluation framework (the framework) as a mechanism to critically reflect on our progress towards social accountability, to evaluate the effectiveness of strategies designed to meet this goal and to facilitate learning from each other as strategies are shared.



방법

Methods


그 도구는 다른 보건전문직교육의 필요를 염두에 두고 보다 일반적인 것으로 설계되었다.

the tool was designed as more generic keeping in mind the need of other health professional schools.


Boelen과 Woollard(2009)는 인증 과정에 통합될 목적으로 교육 기관의 사회적 책임을 측정하는 프레임워크를 발표했다. 이 프레임워크는 '사회적 책무성'에 대한 세 가지 발현에 초점을 맞추었다. 

  • (i) 개념화: 어떤 종류의 전문직이 필요한지, 어떤 시스템이 그 스킬을 활용할 것인지에 대한 협력적 설계

  • (ii) 생산: 훈련과 학습의 핵심 요소

  • (iii) 사용가능성: 훈련된 전문가를 최고/최선으로 사용하기 위한 각 기관의 이니셔티브(CPU; Boelen & Woollard 2009, 페이지 890). 

CPU 모델은 사회의 요구를 확인하였고, 바람직한 전문적 규범이 기대되는 성과에 따라 요구를 충족시키기를 희망하였다(Boelen & Woollard 2009).

Boelen and Woollard (2009) published a framework to measure social accountability for educational institutions with the aim that this be integrated into accreditation processes. This framework focused on three ‘expressions of social accountability’: 

  • (i) conceptualization, or the collaborative design of the kind of professional needed and the system that will utilize his or her skills; 

  • (ii) production, or the main components of training and learning and 

  • (iii) usability, or initiatives taken by the institution to ensure that its trained professionals are put to their highest and best use (CPU; Boelen & Woollard 2009, p. 890). 

The CPU model identified the needs of society, with the desired professional norms meeting those needs as the desired outcome (Boelen & Woollard 2009).




회의 과정

Process of meetings

    • . What are the key elements of socially accountable medical education which THEnet wants to evaluate? These were agreed to as common aspirations and key components.

    • . What are the gaps in current evaluation practice (i.e. what is not being evaluated)?

    • . What is currently being evaluated in a way that is not effective or appropriate?

    • . Of these, which are common for all members of THEnet?

    • THEnet이 평가하고자 하는 사회적 책무를 갖는 의학 교육의 핵심 요소는 무엇인가? 이것들은 공통된 열망과 핵심 요소로 합의되었다.

    • 현재 평가 관행의 차이(즉, 평가되지 않는 것)는 무엇인가?

    • 효과적이지 않거나 적절하지 않은 방식으로 현재 평가되고 있는 것은?

    • 이 중, THEnet의 모든 구성원에게 공통적인 것은 무엇인가?


2단계 이행 계획은 다음 그룹에 의해 합의되었다.

A two-phase implementation plan was agreed upon by the group:


(1) 파트너 학교에서 프레임워크를 시험하기 위해

(2) 문맥 간 사용을 위한 프레임워크를 더욱 세분화한다.

(1) to pilot test the framework at partner schools and

(2) to further refine the framework for use across contexts.



프레임워크의 파일럿 구현

Pilot implementation of the framework



워크샵. 워크숍을 위해 워크북 가이드가 공동으로 작성되었으며 각 주요 구성 요소에 대해 교수진, 직원 및 지역사회 구성원에게 다음과 같은 질문을 했다.

Workshops. A workbook guide was collectively created for the workshop and for each key component asked the following questions to faculty, staff and community members:


인터뷰/포커스 그룹. 각 학교는 다음과 같이 일련의 포커스 그룹 토론이나 인터뷰를 실시했다.

Interviews/focus groups. Each school conducted a series of focus group discussions or interviews with:


문서 분석. 기존 근거 출처의 분석은 평가 프레임워크의 다양한 열망과 지표를 기준으로 진행 상황을 평가하기 위한 중요한 전략이었다. 문서의 이름과 가용성은 학교와 상황에 따라 다양했지만, 다음과 같은 중요한 정보 출처가 포함되었다.

Documentary analysis. Analysis of existing sources of evidence was an important strategy to assess progress against the various aspirations and indicators in the evaluation framework. The name and availability of documents varied across schools and contexts, however important sources of information included:




결과와 고찰

Results and discussion


평가 프레임워크는 학교가 서로 다른 지표에 걸쳐 접근방식이 크게 다를 수 있기 때문에 이의 제기에 사용하도록 설계되었다.

The evaluation framework is designed to be used in itsentirety, as schools may vary widely in their approach across different indicators.


(표 1). 세 섹션은 다음을 고려한다.

(Table 1). The three sections consider:


(1) 우리 학교는 어떻게 작동하고 있는가? 이 절에서는 [가치, 거버넌스 및 의사결정 프로세스 평가 및 보건 부문, 지역사회 그룹 및 정책 입안자와의 파트너십을 포함하여] 기존 평가 및 인증 프레임워크에서 종종 무시되는 학교의 조직과 계획의 중요한 측면을 다룬다. 또한 여기에는 학교에서 제공하는 reference population에 대한 문서화 및 이해를 포함하며, 여기에는 특별히 소외된 그룹도 포함된다.

(1) How does our school work? This section addresses important aspects of the organization and planning of the school, frequently neglected in existing evaluation and accreditation frameworks, including an assessment of values, governance and decision-making processes and partnerships with the health sector, community groups and policy makers. It also includes documentation and understanding of the reference population that the school serves, with particular note of underserved groups within this.


(2) 우리는 무엇을 하는가? 본 섹션은 학생, 교사, 커리큘럼 및 조각학, 연구, 서비스 및 자원 배분에 대한 고려사항을 포함하며, 일반적인 인증 절차와 보다 밀접하게 대응한다.

(2) What do we do? This section includes consideration of students, teachers, curriculum, andragogy, research, service and resource allocation, and corresponds more closely with usual accreditation processes.


(3) 우리는 실제로 어떤 차이를 만들어내는가? 이 대분류는 졸업성과(위치, 훈련 및 관행), 보건 서비스 및 지역사회 성과에 대한 참여 및 효과, 비용 효과 및 다른 학교와의 영향 평가를 포함한다. 다시 말해, 본 섹션은 대부분의 인증 조치에서 대체로 간과되고 있으며, 보건 전문 교육 기관의 범위 밖에서 고려되는 경우가 많다.

(3) What difference do we make? This section includes an assessment of graduate outcomes (location, discipline and practice), engagement and effect on health services and community outcomes, cost effectiveness and influence with other schools. Again, this section is largely overlooked in most accreditation measures, and is frequently considered outside the scope of health professional education institutions.



패널 1. 우리 학교는 어떻게 운영되니?

Panel 1. How does our school work?


1.1. 우리가 믿는 것은 무엇인가? (가치)

1.1. What do we believe in? (Values)


1.2. 우리가 누구를 위해 봉사하고 그들의 필요성은 무엇인가? (인구 및 보건시스템 참조)

1.2. Who do we serve and what are their needs? (Reference population and health system)


1.3. 우리는 다른 사람들과 어떻게 협력하는가? (파트너십)

1.3. How do we work with others? (Partnerships)


1.4. 우리는 어떻게 결정을 내리는가? (거버넌스)

1.4. How do we make decisions? (Governance).



패널 2. 우리는 무엇을 하는가?

Panel 2. What do we do?


2.1. 우리는 리소스를 어떻게 관리하는가? (현장 운영)

2.1. How do we manage our resources? (Field operations)


2.2. 우리는 어디서, 무엇을, 어떻게 가르치나? (교육 프로그램)

2.2. What, where and how do we teach? (Education programme).


2.3. 우리는 누구를 가르칩니까? (학습자)

2.3. Who do we teach? (Learners)


2.4. 누가 가르치고 있는가? (교육자)

2.4. Who does the teaching? (Educators)


2.5. 우리의 연구 프로그램은 우리의 임무와 가치와 어떻게 관련되어 있는가? (연구).

2.5. How does our research programme relate to our mission and values? (Research).


2.6. 우리는 의료 서비스 제공에 어떤 기여를 하는가?

2.6. What contribution do we make to delivery of health care? (Service).


패널3. 우리는 어떤 차이점을 만드는가?

Panel 3. What difference do we make?.


3.1. 우리 졸업생들은 어디서 무엇을 하고 있을까? (인적자원)

3.1. Where are our graduates and what are they doing? (Human resources)


3.2. 기준 인구 및 기준 보건 시스템에 어떤 차이를 만들어냈는가? (파트너십 및 보건 결과에 미치는 영향)

3.2. What difference have we made to our reference population and reference health systems? (Partnerships and effects on health outcomes)


3.3. 우리는 어떻게 아이디어를 공유했으며, 다른 사람에게 영향을 미쳤는가? (발언/촉진 및 지속 가능성/변혁 변화)

3.3. How have we shared our ideas and influenced others? (Dissemination/promotion and sustainability/transformational change)


3.4. 우리는 다른 학교에 어떤 영향을 미쳤나? (피어 지원 및 복제)

3.4. What impact have we made with other schools? (peer support and replication).


local benefits 중 하나는 시간이 지남에 따라 새로운 교직원과 지도자들에게 사회적 책임 활동의 명확한 의사소통을 허용하는 것이었다. 

One of the key local benefits was to allow clear communication of social accountability activities to new faculty and leaders joining the school over time. 


이 프레임워크는 다음과 같이 세 가지 수준에서 사용(그리고 유용하게)하도록 설계된다. 

The framework is designed to be used (and useful) at three levels, as follows: 


(1) 개별 학교 수준: 개별 학교 수준에서 목표는 합의된 기준에 따라 SAHPE, 연구 및 서비스에서 학교 성과를 검증하고 지속적으로 평가하고 다른 학교에서 배운 교훈을 적용하는 것이다.

(1) At individual school level: At individual school level the goal is to validate and continually assess and improve schools’ performance in SAHPE, research and service according to agreed standards and to apply lessons learned from other schools.

(2) 네트워크 수준: 네트워크 수준에서 목표는 자기성찰과 리뉴얼에 관여하고, 집단 경험을 공유하고, 다른 사람들로부터 배우고, 결과적인 중요한 데이터 덩어리를 지속적이고, 변환적인 개선을 위해 사용하는 것이다.

(2) At network level: At a network level the goal is to engage in self reflection and renewal, share collective experience and learn from others and use the resulting critical mass of data for continuous, transformational improvement.

(3) 더 넓은 수준: 더 넓은 수준에서 목표는 사회적 책임을 지는 보건 전문 학교의 가치/영향력을 입증함으로써 보건 서비스와 결과의 지속 가능한 개선을 촉진하고 옹호하는 것이다. 추가적인 목표는 학교와 정부가 무엇이 효과가 있고 그렇지 않은지를 결정하는 것을 통해 자원 배치를 안내하는 것을 돕고, 지역, 국가 및 국제적 수준에서 다른 단체와 정설에 도전하는 것을 포함한다.

(3) At a wider level: At a wider level the goal is to facilitate, and advocate for, sustainable improvement in health services and outcomes through demonstrating the value/impact of socially accountable health professional schools. Additional goals include helping guide resource deployment by schools and governments through determining what works and what does not, and challenging other bodies and orthodoxies at local, national and international levels.


기대하는 것

An aspirational tool


이 프레임워크는 미리 정해진 합격점을 가진 종합 연습으로 고안된 것이 아니라 학교들이 그들의 성과, 진보, 지식, 기술, 사회적 책임에 대한 능력을 비판적으로 볼 수 있도록 돕고 학교들이 개선을 위한 우선순위 영역을 확립하는 데 도움을 주기 위한 형식적인 연습으로 설계되었다. 

The framework is not designed as a summative exercise with a pre-determined pass mark, but rather a formative exercise to help schools take a critical look at their performance, progress,knowledge, skills and capacity towards social accountability,and assist schools in establishing priority areas for improvement. 



우리의 프레임워크는 의학 교육 표준을 평가하거나 인가를 위한 '틱 박스'로 사용하기 위한 것이 아니라, 중요한 개방적이고 정직한 품질 개선과 보건 전문 학교에 대한 상호 학습의 사용을 위한 희망적인 평가 도구라는 점에 주목해야 한다.

It is important to note, our framework is not designed to assess a medical education standard, or to use as a ‘tick box’ for accreditation, but is an aspirational evaluation tool for the use of critical open and honest quality improvement and mutual learning for health professional schools.




결론

Conclusions


SAHPE의 THEnet 평가 프레임워크는 보건전문학교가 사회적 책임에 대한 진행 상황을 평가하고 개선 영역을 식별할 수 있도록 하는 협력적인 작업이다.

The THEnet evaluation framework for SAHPE is a collaborative piece of work that allows health professional schools to evaluate their progress towards social accountability and identify areas for improvement.



Strasser R, Neusy A-J. 2010. Context counts: Training health workers in and for rural and remote areas. WHO Bull 88:777–782. 


Global Consensus for Social Accountability of Medical Schools. 2011. Global consensus for social accountability of medical schools. [Accessed 11June 2011] Available from http://www.healthsocialaccountability.org. 









 2013;35(1):32-45. doi: 10.3109/0142159X.2012.731106. Epub 2012 Oct 26.

Measuring social accountability in health professional educationdevelopment and internationalpilot testing of an evaluation framework.

Author information

1
School of Medicine and Dentistry, James Cook University, Australia. sarah.larkins@jcu.edu.au

Abstract

BACKGROUND:

Health professional schools are responsible for producing graduates with competencies and attitudes to address healthinequities and respond to priority health needs. Health professional schools striving towards social accountability founded the Training for Health Equity Network (THEnet).

AIM:

This article describes the development of THEnet evaluation framework for socially accountable health professional education, presents the framework to be used as a tool by other schools and discusses the findings of pilot implementation at five schools.

METHODS:

The framework was designed collaboratively and built on Boelen and Woollard's conceptualization, production and usability model. It includes key components, linked to aspirational statements, indicators and suggested measurement tools. Five schools completed pilot implementation, involving workshops, document/data review and focus group discussions with faculty, students and community members.

RESULTS:

Three sections of the framework consider: How does our school work?; What do we do? and What difference do we make? Pilottesting proved that the evaluation framework was acceptable and feasible across contexts and produced findings useful at school level and to compare schools. The framework is designed as a formative exercise to help schools take a critical look at their performance and progress towards social accountability. Initiatives to implement the framework more widely are underway. The framework effectively aids in identifying strengths, weaknesses and gaps, with a view to schools striving for continuous self-improvement.

CONCLUSION:

THEnet evaluation framework is applicable and useful across contexts. It is possible and desirable to assess progress towards social accountability in health professional schools and this is an important step in producing health professionals with knowledge, attitudes, and skills to meet the challenges of priority health needs of underserved populations.

PMID:
 
23102162
 
DOI:
 
10.3109/0142159X.2012.731106


커넥티비즘: 디지털 시대의 지식학습이론? (Med Teach, 2016)

Connectivism: A knowledge learning theory for the digital age?

John Gerard Scott Goldie

Section of General Practice and Primary Care, Division of Community Based Sciences, Glasgow University, Glasgow, Scotland, UK



도입

Introduction


인터넷의 출현, 특히 웹 2.0은 공식적인 교육 기관 내외부의 새로운 형태의 의사소통 및 지식 형성을 위한 기회를 열어주는 광범위한 개인의 견해와 의견에 대한 접근을 제공했다. 사용 가능한 정보를 탐색하고 필터링하는 이전의 방법은 이러한 새로운 맥락에서 효과적이지 않다는 것을 입증되었다. 관련 정보에 접근하고 다른 사람의 견해와 의견이 제공하는 자원을 활용하는 능력은 특히 평생 학습의 필요성으로 인해 중요한 기술이 되었다. 공식적으로든 비공식적으로든 이 능력은 모두 개인, 조직 및 기관에서 점점 더 인정받고 있다(Ceston et al. 2013; Flynn et al. 2015).

The emergence of the internet, particularly Web 2.0, has provided access to the views and opinions of a wide range of individuals opening up opportunities for new forms of communication and knowledge formation inside and outside of formal educational institutions. Previous ways of navigating and filtering available information are likely to prove ineffective in these new contexts. The ability to access relevant information and harness the resources offered by the views and opinions of others have become important skills particularly as the need for lifelong learning, both formal and informal is increasingly recognized by individuals, organizations and institutions (Cheston et al. 2013; Flynn et al. 2015).


연결주의는 e-러닝 환경을 위해 개발된 가장 두드러진 네트워크 학습 이론 중 하나이다. 지멘스(2005년)가 온라인 출판물 '연결주의: Downes가 개발한 디지털 시대를 위한 학습 이론'(2005년, 2006년, 2012년)을 발표하면서, 디지털 기술을 사용하여 가르치고 배우는 것이 더 잘 이해되고 관리될 수 있는 렌즈를 제공한다고 주장하였고, 이후 의학 교육자(Sandars & Haythornthwaite 2007; Sandars & Morison 2007; Lau 2011; Mehta et al. 2013; Downes 2015)에게도 인정받기 시작하고 있다.

Connectivism is one of the most prominent of the network learning theories that have been developed for e-learning environments. It first appeared in Siemens (2005) on-line publication ‘‘Connectivism: A learning theory for the digital age’’, ideas which have been developed by Downes (2005, 2006, 2012). It is beginning to be recognized by medical educators (Sandars & Haythornthwaite 2007; Sandars & Morrison 2007; Lau 2011; Mehta et al. 2013; Downes 2015; Flynn et al. 2015) due to its claim to provide a lens through which teaching and learning using digital technologies can be better understood and managed.



커넥티비즘/연결주의

Connectivism


연결주의는 [학습을 기술과 사회화에 영향을 받는 네트워크 현상]으로 보는 개념적 프레임워크다(Siemens 2006). 혼돈, 네트워크, 복잡성, 자기 조직 이론에 의해 탐구된 원리에 뿌리를 두고 있다(Siemens 2005). 다운스(2012년)는 그것이 연결주의, 연관성, 그래프 이론에 의해서도 지지된다고 주장한다.

Connectivism is a conceptual framework which views learning as a network phenomenon influenced by technology and socialization (Siemens 2006). It is claimed to have roots in principles explored by chaos, network and complexity and self-organization theories (Siemens 2005). Downes (2012) asserts it is also supported by connectionism, associationism and graph theory.


연결주의의 인식론적 틀은, '분산된 지식distributive knowledge'의 개념(Downes 2006)에 근거하고 있으며, 객관주의, 실용주의, 해석주의의 인식론적 전통과는 구별되는 것으로 여겨진다. 지멘스(2005)는 이러한 기존의 전통을 학습에 대한 intrapersonal한 관점, 기술과 조직 내에 위치한 학습을 다루지 못함, 지식-풍요 환경에서 이루어져야 할 가치 판단에 대한 기여 부족으로 인해 제한적이라고 간주한다.

Its epistemological framework, based on the concept of distributive knowledge (Downes 2006), is considered distinct from the epistemological traditions of objectivism, pragmatism and interpretivism. Siemens (2005) considers these existing traditions limited due to their intrapersonal view of learning, their failure to address the learning that is located within technology and organizations and their lack of contribution to the value judgments that need to be made in knowledge-rich environments.


Siemens에 따르면 연결주의의 원칙은...

The principles of connectivism, after Siemens (2005) are:

  •   학습과 지식은 의견의 다양성에 달려있다.

  •   학습은 전문화된 노드나 정보 소스를 연결하는 과정이다.

  •   학습은 비-인간 도구존재할 수 있다.

  •   Capacity to know은 지금 무엇을 아는가보다 더 중요하다.

  •   지속적인 학습을 용이하게 하기 위해서는 연결을 강화하고 유지하는 것이 필요하다. 

  •   분야, 아이디어, 개념 간의 연결을 보는 능력이 핵심이다.

  •   정확한 최신 지식(최신성currency)은 모든 연계 학습 활동의 목표다.

  •   의사결정은 그 자체로 학습 과정이다.

  •   Learning and knowledge rest in diversity of opinion.

  •   Learning is a process of connecting specialized nodes or information sources.

  •   Learning may reside in non-human appliances.

  •   Capacity to know is more critical than what is currently known.

  •   Nurturing and maintaining connections is needed to facilitate continual learning. 

  •   Ability to see connections between fields, ideas, and concepts is a core skill.

  •   Accurate, up-to-date knowledge (currency) is the aim of all connectivist learning activities.

  •   Decision-making is a learning process in itself.


연결주의에서 학습의 출발점은 [학습자가 학습 커뮤니티에 연결되고 참여함으로써 지식이 작동될 때] 발생한다. 학습 공동체(Learning Community)는 "상호작용, 공유, 대화 및 사고를 함께 허용하는 유사한 관심 영역의 집합"으로 정의된다(Siemens 2005). 학습자들과 더 많은 지식을 가진 다른 사람들을 포함한 지역사회 구성원들 간의 대화에 참여하게 된다.

In connectivism the starting point for learning occurs when knowledge is actuated by learners connecting to and participating in a learning community. Learning communities are defined as ‘‘the clustering of similar areas of interest that allows for interaction, sharing, dialoguing and thinking together’’ (Siemens 2005). Participation results in conversations between learners and other members of the community including more knowledgeable others.


연결주의자 모델에서 학습 커뮤니티는 하나의 노드로서, 항상 더 큰 네트워크의 일부이다. 노드는 네트워크에서 발견되는 연결 지점에서 나온다. 이 때 노드는 조직, 라이브러리, 웹 사이트, 저널, 데이터베이스 등의 다양한 정보 소스일 수 있다(Siemens 2006). 네트워크는 자원을 공유하기 위해 연결된 2개 이상의 노드로 구성된다.

In the connectivist model the learning community is described as a node, which is always part of a larger network. Nodes emerge from the connection points found on a network. Nodes may also be organizations, libraries, web sites, journals, databases or any other sources of information (Siemens 2006). Networks comprise two or more nodes which are linked in order to share resources.


성공적인 네트워크는 다음과 같은 특성을 가진다(Downes 2006, 2012).

Successful networks are considered to have the following characteristics (Downes 2006, 2012):

  •   다양성 – 가능한 가장 넓은 범위의 관점.

  •   참가자의 자율성.

  •   개방성 – 시스템에 새로운 관점이 추가가능하게 만드는 메커니즘

  •   연결성 – 노드 간의 연결

  •   Diversity – the widest possible spectrum of points of view.

  •   Autonomy of participants.

  •   Openness – mechanisms which allow perspectives to be entered into the system.

  •   Connectivity – connections between its nodes.


학습자가 접속하는 네트워크는 작고 지역적이거나 광대하고 글로벌할 수 있다.

The networks learners connect to can be small and local or vast and global.


결주의는 지식과 지식을 배우는 것은 분산적distributive이라고 주장한다. 즉, 지식은 특정 장소에 위치하는 것이 아니라, 대신에 개인, 사회, 조직과 그것들을 연결하는 기술들 사이의 경험과 상호작용에서 형성된 연결망으로 구성된다. 지식은 인간과 그 유물의 네트워크를 통해 흐르는 과정, 유동적이고 역동적인 흐름으로 간주된다. 그것이 흘러들어 네트워크의 일부가 되면서 그것은 여러 해석과 변화에 개방된다. 어떤 개인도 혼자서 지식을 소유하고 있지 않으며, 지식은 네트워크 내에 존재하고, 그것은 다양한 디지털 형식으로 저장될 수 있다.

Connectivism asserts that knowledge and learning know-ledge are distributive, i.e. they are not located in any given place, but instead consists of networks of connections formed from experience and interactions between individuals, societies, organizations and the technologies that link them. Knowledge is viewed as a process, fluid and dynamic flowing through networks of humans and their artifacts. As it flows through and becomes part of the network it is open to multiple interpretations and change. Knowledge resides within networks, without any individual necessarily possessing it, and it can be stored in a variety of digital formats.


개인들이 같은 개념을 다르게 해석할 때 지식은 personal한 것으로 간주된다. 그것은 독자적인 상징적 표현이 아니라, 풍부한 세계관, 이전의 경험, 그리고 그것이 포함된 틀 안에서만 이해할 수 있는 맥락-민감한 것이다. 이용가능한 지식이 점점 복잡해짐에 따라 무언가를 이해하는 데 가장 중요한 것은 개별적인 요소가 아니라 각 요소들이 연결된 패턴이다.

Knowledge is viewed as personal as individuals may interpret the same concept differently. It is context sensitive not a stand-alone symbolic representation, but comprehensible only within the rich set of world views, previous experiences and frames in which it is embedded. As the available knowledge becomes increasingly complex it is the patterns of connections rather than the individual elements that become most important in gaining understanding.


학습은 네트워크의 구축과 횡단을 통해 이루어진다. 네트워크 활동에 참여하게 되면 연결을 생성하거나 제거하게 되고 또는 연결의 강도를  조정하게 된다. 학습을 구성하는 네트워크상의 지각에 의한 패턴의 민감성을 인식한다. 이러한 연결은 상호작용을 통해 뇌 바깥과 개인의 뇌 안에서 집합적으로 나타난다. 연결주의적 관점에서는 학습이 기술에 의해 저장되고 조작될 수 있는 "비인간 기기"에도 존재할 수 있다고 제안한다(Siemens 2006). 연결주의에서는 지식을 전수하거나, 지식을 만들거나, 지식을 쌓는다는 개념이 없다. 대신에 지식이란 네트워크 활동 중에 형성되는 연결에서 나온다. 인지, 감각 및 의미 제작 및 필터링을 인적 및 기술적 [노드의 네트워크에 분산하는 것]은 가용 지식의 급속한 확장에 대처하는 데 도움이 된다(Siemens 2006). 다운스(2006)는 지식의 출현을 네 가지 요소의 연결로 설명한다.

Learning occurs through the construction and traversing of networks. Participation in network activities results in the creation, removal or adjustment in strength of connections. It is recognition of the salience of patterns by perceivers in the network which constitutes learning. These connections emerge collectively outside the brain through interaction and within the brains of individuals. Connectivism proposes that learning may also reside in ‘‘non-human appliances’’ where it may be stored and manipulated by technology (Siemens 2006). In connectivism there is no real concept of transferring knowledge, making knowledge, or building knowledge. Instead it emerges from the connections that are formed during network activity. Distributing cognition, sense and meaning making and filtering to networks of human and technological nodes helps cope with the rapid expansion of available knowledge (Siemens 2006). Downes (2006) explains the emergence of knowledge as the conjunction of four elements:


  •   맥락(컨텍스트) – 네트워크의 정보 소스 현지화.

  •   돌출(샐리언스) – 네트워크에서 패턴이 반복됨. 신호가 이전에 활성화된 연결 집합의 활성화를 생성하는 경우, 이 신호는 두드러진 것으로 간주된다.

  •   출현(이머전스) – 네트워크의 패턴 개발. 패턴이 지각자에게 두드러지면 그것은 네트워크에서 나타난다.

  •   기억(메모리) – 중요한 신호 또는 인식에서 비롯되는 연결 패턴의 지속성.

  •   Context – the localization of information sources in a network.

  •   Salience – the recurrence of a pattern in the network. If a signal creates activation of a set of connections that were previously activated, it is considered salient.

  •   Emergence – the development of patterns in the network. When a pattern is salient to a perceiver it emerges in the network.

  •   Memory – the persistence of patterns of connectivity that result from, and in salient signals or perceptions.


학습 과정은 반복적cyclical한 것으로, 학습자들은 네트워크에 연결하여 새로운 정보를 찾고 공유하며, 새로운 학습의 관점에서 그들의 믿음을 수정한 다음, 그들의 새로운 이해를 공유하고 더 많은 정보를 찾기 위해 다시 연결한다.

The learning process is cyclical, learners connect to a network to find and share new information, modify their beliefs in terms of their new learning then reconnect to share their new understandings and find further information.


커넥티비즘의 적용

Application of connectivism


주요 교육적 방법은 대규모 공개 온라인 강좌(MOOC)의 형태를 취하였다. 이것들은 Siemens와 Downes(2008, 2009)에 의해 학습자들이 학습을 설계하고 지시하기 위해 접근하고 사용할 수 있는 연결된 사람들과 자원의 거대한 네트워크로 개념화되었다.

The main pedagogical method has taken the form of massive open online courses (MOOCs). These were conceptualized by Siemens and Downes (2008, 2009) as huge networks of connected people and resources that learners can access and use to design and direct their learning.


Siemens와 Downes의 MOOC에서 모든 과정 콘텐츠는 RSS 피드를 통해 이용할 수 있었고, 학습자들은 그들이 선택한 도구, 즉 무들에서의 토론, 블로그 게시물, Second Life 및 동기식 온라인 미팅에 참여할 수 있었다. 학습자는 블로그, 위키, 소셜 미디어 플랫폼과 같은 디지털 플랫폼을 사용하여 콘텐츠, 학습 커뮤니티 및 기타 학습자와 연결하여 지식을 만들고 구축한다.

All course content was available through RSS feeds, and learners could participate with their choice of tools: threaded discussions in Moodle, blog posts, Second Life and synchronous online meetings. Learners use digital platforms such as blogs, wikis, and social media platforms to make connections with content, learning communities and other learners to create and construct knowledge.


이러한 MOOC는 대학 기반 플랫폼에서 제공되며 대부분 전통적인 과정 자료, 학습 이론 및 교수 방법을 모델로 한다. 퀴즈나 토론 포럼 등 대화형 요소가 포함되는 경우가 많지만, 주로 플랫폼에 게시되는 사전 녹화된 비디오 강의를 중심으로 편성된다. 컴퓨터 표시 MCQ와 같은 전통적인 평가 방법이 주로 활용된다. 대부분의 MOOC는 과정에 등록한 사람들(그리고 대부분의 상업적 MOOC가 지불한)에게만 이용 가능하기 때문에 "열린" 것이 아니다. 다운스는 cMOOC와 xMOOC라는 용어를 만들어 두 유형을 구분했다. cMOOC의 "c"는 MOOC의 연결론적connectivist 특성을 나타내는 반면, xMOOC는 대학 과정의 확장extension으로 간주된다.

These MOOCs are offered on university based platforms and most often modeled on traditional course materials, learning theories and teaching methods. They are usually organized around pre-recorded video lectures, which are posted on the platform, although interactive elements including quizzes and discussion forums are often included. Traditional assessment methods such as computer marked MCQs are mainly utilized. Most MOOCs are not ‘‘open’’ as they are only available to those who have signed up (and in most commercial MOOCs paid) for the course. Downes has coined the terms cMOOC and xMOOC to differentiate the two types. The ‘‘c’’ in cMOOC represents the connectivist nature of the MOOC, whereas the xMOOCs are seen as extensions of university courses.


연결주의에 대한 비판

Criticism of connectivism


네트워크 학습을 위한 새로운 이론이라는 연결주의의 주장은 그것의 기본 원리의 많은 부분이 여전히 목적에 적합하다고 여겨지는 전통적인 인식 패러다임, 특히 구성주의 이론에서 도출될 수 있기 때문에 의문시되었다.

Connectivism’s claim to be a new theory for network learning has been questioned as many of its underlying principles can be drawn from theories from the traditional epistemological paradigms, particularly constructivist theories, which are still considered fit for purpose


예를 들어, 비고츠키의 사회구성주의 공식화, Engestruroom의 활동론, 반두라의 (1987) 사회인식론, 라베와 벵거의 (2002) 상황학습론, 파퍼트의 구성론(Papert & Id 1991) 및 클라크의 (1997년) 모두 사회적 상황 및 지식과 학문의 관계적 측면을 강조하고 있다. 

For example, Vygotsky’s (1987) formulation of social constructivism, Engestr€om’s (1987) Activity theory, Bandura’s (1986) social cognitive theory, Lave and Wenger’s (2002) Situated Learning theory, Papert’s theory of constructivism (Papert & Idit 1991) and Clark’s (1997) theory of embodied action cognition all emphasize the social, situational and relational aspects of knowledge and learning.


커넥티비즘의 지식에 대한 설명도 개인을 중심으로 한 것으로 보이는데, 이는 전통적인 인식 패러다임에서 나온 기존 이론에 대한 지멘스의 주요 비판 중 하나였다(Clara & Barbera 2013).

Connectivism’s explanations of knowing also appear to focus on the individual, which was one of Siemens major criticisms of existing theories from traditional epistemological paradigms (Clara & Barbera 2013).


경험적 시험의 부족도 비판을 받았다(Bell 2011).

The lack of empirical testing has also been criticized (Bell 2011).


그것의 한계에도 불구하고 대부분의 저자들은 디지털적으로 포화되고 연결된 세계에서 학습이 어떻게 일어날 수 있는지에 대한 유용한 관점을 제공하는 연결주의의 가능성을 인정한다(Verhagen 2006; Foster 2007; Ker 2007; Kop & Hill 2008; Bell 2011; Lange 2012; Clara & Barbera 2013). Verhagen(2006년)은 통제권이 튜터에서 보다 자율적인 학습자로 전환되는 환경에서, 연결주의가 커리큘럼 수준에서 유용할 수 있다고 본다.

Despite its limitations most authors recognize connectivism’s potential to provide a useful perspective as to how learning might occur in the digitally saturated, connected world we live in (Verhagen 2006; Foster 2007; Kerr 2007; Kop & Hill 2008; Bell 2011; Lange 2012; Clara & Barbera 2013). Verhagen (2006), e.g. views its relevance at the curricular level contributing to new pedagogies in environments where control is shifting from the tutor to more autonomous learners.


의학교육에서 잠재적 적용가능성

Potential application in medical education


일상 생활에서 연결주의를 수용하는 데 관심이 있는 교사들은 다음과 같은 제안을 고려하기를 원할 수 있다(Bell 2009 이후).

Teachers interested in embracing connectivism in their day to day practice may wish to consider the following suggestions (after Bell 2009):


  •    교육 기술로 혁신하는 사람들의 블로그를 팔로우하라.

  •    Follow the blogs of those who innovate with educational technologies.

  •    실습에서 교육과 학습을 풍부하게 할 수 있는 웹 서비스 및 도구를 사용하여 (편안한 영역 내에서) 실험하라.

  •    Experiment (within your comfort zone) with web services and tools that might enrich teaching and learning in your practice.

  •    학생들이 웹을 학술적 자원으로 사용할 것을 권장한다. 즉, 비판적이고 선택적이며, 출처를 밝히게 하는 것이다. 교사들은 발판과 지원을 제공할 수 있고 성찰의 기회를 제공할 수 있다.

  •    Encourage students to use the web for scholarly resources – being critical and selective, and attributing sources. Teachers can offer scaffolding and support and provide opportunities for reflection.

  •    블로그, 위키, 사진 및 비디오 공유 사이트를 통해 리소스 사용, 게시 및 공유. 이는 예를 들어 문제 및 사례 기반 자료를 사용하여 집합적 자원을 구축하고 모범 사례를 공유하는 등 진정한 맥락을 통합하는 유연한 기울기 환경을 조성하는 데 도움이 될 수 있다.

  •    Use, publish and share resources through blogs, wikis, photo and video sharing sites. This can help in the creation of flexible leaning environments that incorporate authentic context, e.g. using problem and case-based material to build collective resources and share best practice.

  •    프로세스를 보고하기 위해 미디어를 효과적으로 사용할 수 있는 학생 활동과, 상황에 따라 성과도 할당하십시오.

  •    Assign student activities that enable effective use of media to report process and, where appropriate, outcomes.

  •    소셜 미디어를 사용하여 온라인 커뮤니티를 만드는 것은 소셜 모션의 연결성을 높인다. 의학 교육의 미디어가 학습자의 참여, 피드백 및 협업, 전문성 개발을 촉진한다는 연구 결과가 나왔다(Ceston et al. 2013; Hollinderbaumer et al. 2013). 그러나, 그것은 그것의 도전들이 없는 것은 아니다. Cheston 외 연구진(2013년)의 리뷰에서는 학생과 교사 모두 소셜 미디어 플랫폼, 가변 학습자 참여 및 프라이버시, 전문성 및 환자 기밀성 문제가 특히 안전하지 않은 네트워크에 있는 경우 발생하는 것으로 나타났다.

  •    Creating online communities using social media prousing social motes connectivity. Studies have shown media in medical education promotes learner engagement, feedback and collaboration, and the development of professionalism (Cheston et al. 2013; Hollinderbaumer et al. 2013). However, it is not without its challenges. Cheston et al.’s (2013) review found both students and teachers experienced technical problems with social media platforms, variable learner participation and issues with privacy, professionalism and patient confidentiality particularly if on unsecured networks.

  •    온라인 학습 커뮤니티를 구축할 때, 파킨슨병 환자에 대한 다원적 관리 제공을 촉진하기 위해 설립된 네덜란드의 파킨슨넷 프로그램(Nijkrake et al. 2010)과 같이 인정된 모델을 살펴보는 것이 유용하다.

  •    When establishing online learning communities, it is useful to look at recognized models, e.g. the ParkinsonNet programme from the Netherlands (Nijkrake et al. 2010), which was established to promote the provision multidisciplinary care for patients with Parkinson’s disease.

학부 의학의 맥락에서 Siemens와 Downes에 의해 고안된 MOOCS를 운영하는 것은 불가능할 수 있는데, 왜냐하면 학습이 더 구조화되어있어야 하고 그들이 진정으로 '개방된open' 것이 될 수 없기 때문이다.

To run MOOCS as conceived by Siemens and Downes would not be possible in the context of undergraduate medical education as learning needs to be more structured and they could not be truly ‘‘open’’.


예를 들어 다운즈(2012년)는 효과적인 학습을 위해 다음과 같이 권고한다.

For example, Downes (2012) advises for effective learning the content should be:

  •   상호작용성 – 관심 영역이 같은 학습자가 참여하도록 함

  •   사용가능성  – 사용자가 복잡하고 풍부한 정보를 탐색할 수 있어야 한다.

  •   관련성 – 이것은 정밀성과 단순성에 의해 촉진된다. 예를 들어 각 수업을 각 페이지에 배치하고, 검색자를 콘텐츠로 유도하는 단어와 구를 포함하고, 관련 콘텐츠의 논리적으로 설계된 디렉토리에 배치하여 학습자가 필요한 것을 정확히 찾을 수 있도록 하는 것이다. 이것은 효과적인 검색 엔진을 필요로 한다.

  •   Interactive – involving learners who share the same area(s) of interest.

  •   Usable – users need to be able to navigate through complex and rich information.

  •   Relevant – this is promoted by precision and simplicity, e.g. placing each lesson on its own page, making sure the page contains words and phrases that would lead a searcher to its content and placing it in a logically designed directory of related content ensure that learners find exactly what is needed. This requires effective search engines.


교육과정을 과정과 지식의 발달로 보는 연결주의적인 관점은 명확한 방향성의 결여, 교사 통제 상실, 평가의 어려움으로 인해 비판으로 이어질 가능성이 높다. 방향은 학습 성과를 명확하게 명시함으로써 제시가능하다. 학생들이 점점 더 자율적이 되어감에 따라 교사의 역할은 '촉진자'가 되겠지만, 교사들은 여전히 그 과정에서 중추적인 역할을 한다. 연결주의 접근법에서 학습은 개별적인 지식 이득의 관점에서뿐만 아니라 학습 프로세스의 평가를 통해서도 평가될 것이다. 

The connectivist view of curriculum as process and knowledge gain developmental is likely to lead to criticism due to perceived lack of clear direction, loss of teacher control and difficulty with assessment. Direction is provided by having clearly stated learning outcomes. Teachers have a pivotal role in the process although as students become increasingly autonomous their role would be more facilitative. In the connectivist approach learning would be assessed not only in terms of individual knowledge gain, but also through evaluation of the learning process. 


예를 들어, 학습자가 다른 사람과 연결하여 공동 작업을 하고 지식의 생성과 학습 자원의 소비뿐만 아니라 생산도 있다. 온라인 네트워크에 의해 생성된 데이터의 양은 그러한 평가를 위한 기회를 제공한다. 학습을 개선하기 위해 학습자에 대한 데이터의 분석 및 표현인 학습 분석은 교육자가 학습을 이해하고 학생들에게 피드백을 제공할 수 있는 새로운 렌즈다. 학습자에 대한 데이터의 양이 급격하게 증가한 데 뿌리를 두고 있으며, 정량적 지표에 초점을 맞춘 경영 접근방식과 연계되어 있다(Clow 2013).

For example, the ways learners connect with others to collaborate and share the creation of knowledge and also the production as well as consumption of learning resources by students. The amount of data generated by the online networks provides opportunities for such evaluation. Learning analytics, the analysis and representation of data about learners in order to improve learning, is a new lens through which educators can understand learning and provide feedback for students. It is rooted in the dramatic increase in the quantity of data about learners, and linked to management approaches that focus on quantitative metrics (Clow 2013).


Conclusions






 2016 Oct;38(10):1064-1069. Epub 2016 Apr 29.

Connectivism: A knowledge learning theory for the digital age?

Author information

1
a Section of General Practice and Primary Care, Division of Community Based Sciences , Glasgow University , Glasgow , Scotland, UK.

Abstract

BACKGROUND:

The emergence of the internet, particularly Web 2.0 has provided access to the views and opinions of a wide range of individuals opening up opportunities for new forms of communication and knowledge formation. Previous ways of navigating and filtering available information are likely to prove ineffective in these new contexts. Connectivism is one of the most prominent of the network learningtheories which have been developed for e-learning environments. It is beginning to be recognized by medical educators. This article aims to examine connectivism and its potential application.

CONTENT:

The conceptual framework and application of connectivism are presented along with an outline of the main criticisms. Its potential application in medical education is then considered.

CONCLUSIONS:

While connectivism provides a useful lens through which teaching and learning using digital technologies can be better understood and managed, further development and testing is required. There is unlikely to be a single theory that will explain learning in technological enabled networks. Educators have an important role to play in online network learning.

PMID:
 
27128290
 
DOI:
 
10.3109/0142159X.2016.1173661


역량, 웰니스, 참여의 교차점에서의 충돌(Med Educ, 2019)

Collisions at the intersections of competence, wellness and engagement

Abigail Ford Winkel1 & Helen K Morgan2




헬리콥터 부모들은 의미 있고, 사랑스럽고, 성취 지향적인 부모로 대중 문학에 묘사되어 왔는데, 이 부모들의 '지나친 관여 수준, 통제력, 문제 해결'은 결국 아이의 성장, 자율성, 지배력을 억제한다.1 그런데 우리 medical educator도 미래의 의사를 황폐한 training 환경의 영향으로부터 보호하려는 본능이 있어서, 이것이 연습생들을 적절하게 준비시지 못하는 유사성을 가질 수 있다. 그 보호적 충동은 이해할 수 있다: 의사의 증가하는 기진맥진 및 정신 건강 문제에 관한 믿을 수 없는 통계는 이러한 조건들이 환자뿐만 아니라 그들의 간병인에게도 부정적인 영향을 미친다는 경고와 함께 온다.2,3

Helicopter parents have been described in popular literature as well-meaning, loving, achievement-oriented parents, whose ‘excessive levels of involvement, control, and problem solving’ ultimately backfire, inhibiting the child’s own growth, autonomy and mastery.1We can draw a parallel with medical educators, whose instincts to protect future doctors from the effects of a caustic training environment may undermine efforts to adequately prepare trainees. The protective impulse is understandable: staggering statistics about rising burnout and mental health problems in physicians come with warnings that these conditions have negative impacts on patients, as well as their caregivers.2,3


그러나, 의료를 실천실천한다는 것은 불가피하게 도전적일 수 밖에 없다. 의사의 일이 쉽게 보여서 이 분야에 발을 들여놓은 사람은 아무도 없다.

By contrast, the work of practising medicine is unavoidably challenging. No one enters the field of medicine because it looks easy.


Trainee에게 있어서 회복탄력성의 성장은 전문직 정체성과 연관되며, 장애물을 극복하는 과정에서 역량이 발달한다는 근거들이 있다. 그렇다면 우리는 '헬리콥터 교육자'가 되고 있지는 않은가?

Resilience grows in some trainees as they connect to their professional identity and see evidence of their own developing competence through their navigation of obstacles.5 Are we becoming ‘helicopter educators’?


'밤의 죽음에서 일하는 것: 퇴근 후 업무로의 전환 탐구'에 따르면...

‘Working in the Dead of Night: Exploring the Transition to After-Hours Duty’,6 Walzak et al.


  • 학생들은 잠을 자고 자신을 돌보도록 격려받으면서도 진정한 engagement를 갈망하고 있으며, 레지던트는 날이 밝아 supervision이 가능해질 때까지 감독이 없는 상태에서 복잡한 임상 상황을 가까스로 헤쳐나가며 일하고 있다고 설명한다. 

  • 이러한 당직은 레지던트들이 낮까지 그저 자신과 환자들을 살려두려고만 하는, [학습이 없는 영역]이 되어 환자들을 돌보는 데 필요한 일을 중심으로 배울 기회를 잃게 된다.

  • Students long for authentic engagement even as they are encouraged to sleep and care for themselves, and residents describe working through complex clinical situations without the supervision that would be available by the light of day. 

  • The work becomes a territory devoid of learning in which residents just try to keep themselves and their patients alive until daytime, losing the opportunities to learn around the work required to care for patients.


멘델존 외.7은 적합치 및 정량적 조사 도구를 사용하여 근무 시간, 수면 및 웰빙 사이의 상관 관계를 탐구했다. 이 연구는 더 나은 휴식과 더 활동적인 의사들이 더 나은 성과를 내고 더 나은 느낌을 줄 것이라고 생각했던 작가들을 놀라게 하는 결과를 낳았다. 그러나 잠을 적게 잔 레지던트가 exhaustion 척도에서는 더 높은 점수를 받았음에도 불구하고, 이것은 overall burnout 상태와 관련이 없다.

Mendelsohn et al.7 explored the correlation between work hours, sleep and well-being, using a Fitbit and quantitative survey instruments . The study yielded results that surprised its authors, who had thought that better rested and more active doctors would perform better andfeel better. However, although residents who slept fewer hours did score higher on measures of exhaustion, this did not correlate to overall burnout.


적절한 휴식이 반드시 필요하긴 하지만, 번아웃을 해소하기 위해서는 단순히 작업을 더 적은 시간으로 압축하는 것이 아니라, quality of work experience를 살펴봐야 할 것이다. 이 중요한 논문은 복잡한 의사 웰빙 매트릭스에 빛을 비춘다: [역량 개발과 상호관계를 맺으려는 요구]는 [휴식을 취하고 직장을 벗어난 삶을 살려는 요구]와 균형을 이뤄야 한다.

Although adequate rest is certainly essential, addressing burnout will require looking at the quality of the work experience, not merely compressing the work into fewer hours. This important paper7 casts light on the complex matrix of physician wellness: the need to develop competence and make connections must be balanced with the need to rest and to engage with life outside work.


카네기 재단이 '의사 교육: 의과대학과 레지던트 개혁을 위한 요구' 보고서를 발표한 지 8년이 지났다.8 의학계는 의과대학과 레지던트 수준 모두에서 학습 성과의 정의에서 진전을 이루었지만, 여전히 학습자의 발달 요구에 초점을 맞춘 개별화/맞춤화된 접근방식은 요원하다.

It has been 8 years since the Carnegie Foundation released its report: ‘Educating Physicians: A Call for Reform of Medical School and Residency’.8 The medical community has made strides in the definition of learning outcomes at both the medical school and residency levels, but we are far from having an individualised approach that focuses on the developmental needs of learners.


학부교육과 졸업후교육의 연속체는 학생에서 의사로의 transition을 원활하게 만들어야 한다 –  극심한 긴장 상태와 아무런 긴장이 없는 상태 사이에는 중간지대가 있어야 한다.

The continuum of undergraduate and graduate medical education must try to smooth the transition fromstudent to doctor – there must be a middle ground between extreme strain and no strain.


역량을 키우기 위해서는 진정한 참여가 필요하고, 회복탄력성을 키우려면 진정한 도전과제가 필요하다. 부모가 아이로 하여금 요리를 배우게 하려면 불 가까이 다가가도록 해야 한다. 비록 우리가 그들이 다치는 것을 결코 원하지는 않을지라도, 우리는 약간의 화상을 입는 것은 어떤 요리사에게도 통과 의례의 일부라는 것을 안다.

Growing competence requires real engagement, and developing resilience requires authentic challenges. As parents, we must let our children approach the fire if they are going to learn to cook. Although we would never want themhurt, we know that a few burned fingers are part of the rite of passage of any cook.


불필요한 긴장을 제거하는 것 - 예컨대, 번거로운 의무기록, 굳이 훈련이 없어도 되는 일들 - 은 우리 환자 치료에 더 긴요한 도전과 함께 건강한 참여를 지원하는 데 큰 도움이 될 것이다.

Eliminating sources of needless strain – a cumbersome medical record, work that does not require a physician’s training to perform– will go a long way towards supporting healthy engagement with the challenges germane to the care of our patients.



 2019 Mar;53(3):214-216. doi: 10.1111/medu.13797. Epub 2019 Jan 25.

Collisions at the intersections of competencewellness and engagement.

Author information

1
Department of Obstetrics and Gynaecology, New York University Langone Health, New York, New York, USA.
2
Department of Obstetrics and Gynaecology, University of Michigan, Ann Arbor, Michigan, USA.
PMID:
 
30680788
 
DOI:
 
10.1111/medu.13797


임상적 TRIAD교육의 위험성(Med Educ, 2019)

The perils of teaching medical triads

Fizza Manzoor1 & Donald A Redelmeier1,2,3





과포화된 커리큘럼과 증거 기반 교육의 환경에서, Medical Triad(MT)는 비록 전통적인 가르침의 한 특징임에도 불구하고 최근의 변화에서도 살아남았다. MT는 특정한 constellation에서 동시에 함께 발생하는 세 가지 임상적 특징의 그룹으로 정의되며, 진단 정확도가 triangular geometry의 법칙에 따를 수 있다고 가정한다.

In a setting of overhauled curricula and evidence-based education, however, one aspect of traditional teaching has survived recent transformations: namely, the medical triad. A medical triad is defined as a group of three clinical features that occur together in a specific constellation, and presumes that diagnostic accuracy might obey the laws of triangular geometry.


MT는 여전히 의과대학에서 가르치고 있는 영원한 전통을 나타낸다. 쿠싱의 Triad같은 것이다.

The triad represents a lasting tradition that is still taught in medical schools. Consider Cushing’s triad,


3종류의 변화는 CREST 증후군과 같은 테트라드와 5종류까지도 확장될 수 있다.

Variations of triads may extend to tetrads and pentads such as the CREST syndrome


특정 질병에 대한 특징을 함께 묶으면 그 상태에 대한 원형이 생성되기 때문에 의료 3종류는 단순한 소형 교습 보조기구가 아니다. 그러나 모든 환자가 전형적인 세 가지가 모두 확인되는 것은 아니다. 실제로, 어떤 환자들은 3가지 징후를 전혀 보이지 않는다. 그 결과, triad는 혼란을 야기하고, 학생들의 common presentation에 대한 이해를 왜곡시킬 수 있다.

Medical triads are not merely compact teaching aids because grouping features together for a specific disease creates an archetype for the condition. However, not every patient will have the classic findings. Indeed, some patients exhibit none of the signs in a triad. The net result creates confusion and can skew students’ understanding of common presentations.


또한 Triad는 진단에 대한 과도한 자신감을 유발할 수 있다. 이러한 오류를 피하기 위해, 교육자들은 종종 학생들에게 감별진단을 광범위하게 실시하도록 권장한다. 그러나, 한 연구에 따르면 의대생들은 1/4의 사례에서는 상충하는 추가 정보를 제공하였음에도 초기 진단을 재고하지 않았다는 것을 보여주었다.3 따라서 3종류는 지나친 자신감과 진단의 조기 종결premature closure를 초래하는 피상적인 패턴인식을 장려할 수 있다. 

Triads may also lead to overconfident diagnostic reasoning. To avoid this error, educators often encourage students to brainstorm a broad differential diagnosis; however, one study showed that in almost one in fourcases, medical students did not reconsider their initial diagnosis even when provided with conflicting additional information.3 Therefore, triads may encourage superficial patternrecognition that results in overconfidence and premature closure. 


MT는 다른 인지적 편견을 조장할 수도 있다.4 Triad는 발병 가능성을 판단할 때 질병의 전반적인 유병률을 무시함으로써 base rate를 생각하지 않는 결과로 이어질 수 있다. 예를 들어 [환자가 두통, 두근거림, 땀]이 날 때, 의대생들은 Triad가 더 흔하게 나올 수 있는 것(예: 공황발작)은 생각하지 않고 pheochromocytoma를 고려할 수 있다. 또한, Triad는 가장 덜 흔한 한 가지 feature보다도 세가지가 조합으로 나타날 가능성을 과대평가하게 하여 conjunction fallacy에 빠지게 한다. 따라서 의료 3종류는 잘못된 확률 판단과 잠재적 오진으로 이어질 수 있다.

Medical triads may also foster other cognitive biases.4 Triads can lead to base rate neglect by ignoring the overall prevalence of a disease when judging its likelihood. When a patient presents with headaches, palpitations and sweating, a medical student might instantly consider pheochromocytoma instead of a common condition that lacks a popular triad (e.g. panic attacks). Additionally, triads may lead to the conjunction fallacy by implying that a joint combination (triad) is more likely than the least common individual feature. Thus, medical triads may lead to faulty probability judgements and potential misdiagnoses.


MT의 사용에 찬성하는 한 가지 논쟁은 그것들이 앞으로 궁극적으로 임상 노출을 통해 더 발전할 학습자들에게 단지 일시적인 보조 도구 역할만을 한다는 것이다. 그러나 수많은 연구들은 unlearning이란 대단히 어려운 것이어서, 경험의 양이 엄청나게 늘더라도, 원래 하던 불완전한 추리에 대한 면역이 생기지 않는다는 것을 입증했다.6 Traid를 지지하는 또 다른 진술은 MT가 진단의 유일한 기준을 형성하는 경우가 거의 없으며, 그저 대부분 confirmatory testing을  안내하는 역할을 한다는 것이다. 그렇다고 하더라도 불행하게도 specificity가 결여된 triad는 불필요한 시험과 급격한 비용상승을 촉진할 수 있다.

One argument in favour of the use of medical triads is that they serve as temporary aids for learners who will ultimately progress further by clinical exposure. However, numerous studies have demonstrated that extensive experience does not immunise clinicians against faulty reasoning because unlearning is so difficult.6 Another statement cited in defence of triads is that medical triads rarely form the sole basis of a diagnosis and mostly serve to guide confirmatory testing. Unfortunately, triads that lack specificity may promote unnecessary testing and steep financial costs.


비록 일부 교육자들이 학생들에게 triad의 한계에 대해 주의를 주지만, 종종 시험에 있어서, 그리고 교수들에게 triad는 종종 그 가치가 과대평가된다. 의사라는 휴머니티를 깊이 중시하는 전문직에 있어, 학습자들이 분별없는 triad를 설파하게 가르치기보다는, 신중한 성찰적 사고를 할 수 있또록 돕는 데 더 신경을 써야 할 것이다.

Although some educators caution students about the limitations of triads, their value is often overstated in examinations and teaching rounds. A profession that values humanity so deeply might do more to help learners become cautious reflective thinkers rather than mindless triad preachers.






 2019 Feb;53(2):110-112. doi: 10.1111/medu.13637. Epub 2018 Nov 26.

The perils of teaching medical triads.

Author information

1
Department of Medicine, University of Toronto, Toronto, Ontario, Canada.
2
Institute for Clinical Evaluative Sciences, Toronto, Ontario, Canada.
3
Evaluative Clinical Sciences, Sunnybrook Research Institute, Toronto, Ontario, Canada.
PMID:
 
30478908
 
DOI:
 
10.1111/medu.13637


신뢰할 시간: LIC와 EPA(Acad Med, 2014)

Time to Trust: Longitudinal Integrated Clerkships and Entrustable Professional Activities

David A. Hirsh, MD, Eric S. Holmboe, MD, and Olle ten Cate, PhD



환자는 유능하고 숙련된 임상의가 치료하기를 기대하며, 이 표준을 충족하지 않는 의사는 최소한 자격을 갖춘 동료의 감독을 받아야 한다. 학생과 레지던트들은 '훈련자'라는 딱지가 붙어 있는 한 적절한 감독을 받아야 한다.

Patients expect to be treated by competent, experienced clinicians, and any physician not meeting these standards should, in the very least, be supervised by qualified colleagues. Students and residents must receive appropriate supervision as long as they are labeled as “trainees.”


대부분의 젊은 의사들은 아직 감독되지 않은 의료행위에 대하여 [완전한 책임에 가까운 그 어떤 것]도 경험하지 못했다. 레지던트 훈련 중에도 일부 영역에서는 완전히 독립적으로 의료행위를 할 수 있도록 완전히 신뢰받지는 않는다.

most young physicians have not yet experienced anything close to full responsibility for unsupervised practice. Even during residency training, in some domains, trainees are not completely trusted to practice fully independently.


그러나 [훈련 중 환자에 대한 돌봄 책임을 온전히 부담할 수 있는 기회]를 제한한다면, registration이후에 안전한, 고품잊릐 의료행위에 대한 어려움을 겪을 수 있다.

Limiting opportunities for trainees to experience full responsibility for care during their training could lead to difficulties after registration in their provision of safe and high quality care.



방어적 의료의 구조

Structures of Defensiveness


"방어적 의료행위"라는 것이 의사가 [환자가 의료과오 소송을 거는 것을 막기 위해서] 과연 가치있는지 [의심스러운 검사, 프로시져, 상담을 수행하는 것]이라고 한다면, 같은 맥락에서 "방어적 수련"도 존재할 수 있고, 이것은 교육 설계에도 영향을 미칠 수 있다고 생각한다. 방어적 수련은 품질과 안전의 실수lapse를 피하기 위한 시도로서, 과도한 슈퍼비전을 초래할 수 있다. 이러한 상황에서 "과도한-감독"을 받는 것은 수련을 더 길게, 고비용으로, 비효율적으로 만들고, 연습생의 완전한 책무성 개발을 저해한다.

If “defensive medicine” is the practice of ordering medical tests, procedures, or consultations of doubtful clinical value to protect the prescribing physician from malpractice suits, we suggest that, in the same spirit, “defensive training” may also exist and may affect educational design. Defensive training may lead to the practice of abundant supervision in an attempt to avoid lapses in quality and safety. In this circumstance, the “over-oversight” makes training lengthy, costly, and inefficient and undermines the trainees’ development of full responsibility.


방어적 수련은 교육에 불필요한 중복성을 유발한다. 연습생의 결정적 약점을 놓치지 않기 위해 과잉된 불필요한 구조가 발생한다.

Defensive training also drives unnecessary redundancy in education because close oversight may be lacking. Redundant structures arise to ensure that a trainee’s critical weaknesses are not missed.


필요한 Redundancy는 그렇다고 치더라도, 과도한 redundancy는 그것이 효율성이 부족하고 비용이 증가로 이어진다면 문제가 된다.

Necessary redundancy aside, excessive redundancy should be worrisome, especially if it lacks efficacy and increases cost.


LIC

Longitudinal Integrated Clerkships


LIC는 전통적인 로테이션 임상실습의 대안으로 의대생들이 시간에 따라 환자의 종합적인 치료에 참여할 수 있도록 한다.

As alternatives to traditional rotation-based clerkships, LICs allow medical students to participate in the comprehensive care of patients over time


LIC는 전통적인 짧은 로테이션 방식의 약점을 다루기 위해 설계되었다.

LICs were designed to address weaknesses of traditional short- block rotations.


교육적 연속성과 퀄리티

Educational Continuity and Quality


LIC 모델은 교육적 연속성을 회복한다.6 이것은 Trainee-환자 관계와 Trainee-감독자 관계 둘 다에 대해서 그렇다. LIC의 교육적 연속성은 또한 trainee-trainee 팀워크와 trainee-system work에 대해서도 보다 강력한 종단적 효과를 가지며, 이는 의료 퀄리티와 환자안전의 핵심이다.

LIC models restore educational continuity,6 both in trainee–patient relationships and trainee–supervisor relationships. The educational continuity in LICs should also foster more robust longitudinal trainee–trainee teamwork and trainee–system work—cornerstones of quality and safety.1,7 


UME 임상실습과 많은 레지던트 프로그램에 널리 퍼져 있는 전통적인 단기 로테이션식 의료 교육 방식은 일련의 의료 분야에서 "dwell time드웰 타임"을 기반으로 짜여진 훈련이 가장 원만한 의사를 배출할 것이라는 믿음에 근거를 두고 있다.8 그러나 이러한 믿음은 교육 이론과 증가하는 경험적 증거에 의해 심각하게 도전받고 있다.8,9 무엇보다도, 전문성 개발을 위해서는 종단적 평가와 피드백을 제공할 수 있는 코치 및 멘토와의 지속적인 관계가 중요하다.10

The traditional short-rotation approach to medical education, which is prevalent in UME clinical clerkships and many residency programs, is grounded in the belief that training organized in “dwell time” experiences in a series of medical disciplines will produce the most well-rounded physician.8 However, this belief is seriously challenged by both educational theory and growing empiric evidence.8,9 First and foremost, ongoing relationships with coaches and mentors able to provide longitudinal assessment and feedback are critical for development of expertise.10


둘째, 이제 환자에게 안전하고 양질의 치료를 제공하는 데 있어 전문직 간 팀워크의 중요성을 명확히 인식한다.12 교사-훈련자-실습자-환자 연속성 외에, trainee-interprofessional team의 연속성도 중요하다.113,14

Second, there is now a clear recognition of the importance of interprofessional teamwork in delivering safe and high- quality care to patients.1,12 In addition to teacher–trainee and trainee–patient continuity, trainee–interprofessional team continuity is also important.1,13,14


한 연구에서 베르나베오와 동료11은 세 개의 내과 레지던스에서의 로테이션 trainsition을 조사했다. 그들은 간호사, 의료원, 케이스 매니저를 포함한 레지던트와 비의사 직원이 관계의 중요성에 대해 인정하면서도, 새로운 로테이션이 시작될 때 레지던트와 비의사 직원이 모두 [거의 공식적으로 소개가 없었고 서로 고립되었다]고 느꼈으며, 뭔가 되게 하려면 불필요하게 dysfunctional work-around해야 한다는 것을 인정했다11 이러한 현 상황은 전문직간 업무에 필요한 효과적인 사회적 정체성 형성의 기회를 감소시킨다.8 

In one study, Bernabeo and colleagues11 examined rotational transitions in three internal medicine residencies. They found that residents and nonphysician staff, including nurses, medical clerks, and case managers, acknowledged the critical importance of relationships yet admitted that residents and nonphysician staff were rarely formally introduced at the start of new rotations, felt isolated from each other, and often had to engage in dysfunctional work-arounds to get things done.11 This current state of affairs diminishes the opportunity for effective social identity formation needed for interprofessional work.8 


아마도 베르나베오와 동료들이 발견한 가장 심각한 사실은, 교수를 제외하면(교수는 rotational transition의 영향을 가장 인지하지 못한 집단이었다), 모두가 로테이션 시기의 환자 치료가 고통받았다는 것을 인식했다는 것이다. 이것은 우리의 전통적인 전문성과 "적어도 해는 가하지 말아라"라는 윤리관에 대한 anathema일 뿐만 아니라, (위에서 언급된) 대중의 기대와도 정면으로 충돌한다. 레지던트들은 로테이션 중에 일이 잘못될 것을 예상하고 받아들이고 있으며, 이 스트레스를 어떻게 적응하고 처리하는지를 배웠다는 것을 분명히 공유했다.11

Perhaps the most sobering finding from Bernabeo and colleagues11 was that all participants except faculty, who admitted to being the least aware of the effects of rotational transitions, recognized that in many instances patient care suffered during rotational transitions. This is not only anathema to our traditional views of professionalism and “primum non nocere” ethic but is also in direct conflict with the expectations of the public noted above. Residents explicitly shared that they expect and accept that things go wrong during transitions and that they have learned how to adapt and deal with this stress.11


역량이란 것을 [감독supervision이 점차 줄어드는 상황에서의 발달적 progression]으로 본다면, 현재 임상 훈련의 짧은 로테이션 구조는 [성과에 초점을 맞춘 역량 기반 교육 모델의 목표]와 전혀 효과적으로 일치하지 않는다. 기관 환경과 프로그램 커리큘럼은 훈련생들에게 적절한 수준의 의사에 대한 평가와 정확한 결정을 용이하게 하기 위해 어느 정도의 의미 있는 환자, 교사, 대인 관계 및 전문 팀간 연속성을 제공해야 한다. 그렇게 함으로써 우리는 환자들이 안전하고 양질의 진료를 받을 수 있도록 보장해야 한다.

If competence is viewed as a developmental progression under decreasing levels of supervision, then it is hard to envision how the current short-rotation structure of clinical training can effectively align with the goals of competency- based educational models that focus on outcomes.9 The institutional environment and program curriculum have to provide for the trainees some level of meaningful patient, teacher, interpersonal, and interprofessional team continuity to facilitate assessment and the accurate determination of the appropriate level of entrustment. in doing so we must ensure that patients receive safe and high-quality care.


EPA

Entrustable Professional Activities


EPA는 교육자가 적절한 능력을 획득한 후, 교직원이 훈련생에게 감독 받지 않고 실행하도록 위임하는 전문 관행의 단위다.

EPAs are units of professional practice that faculty entrust to a trainee to execute unsupervised, once he or she has obtained adequate competence to do so.


감독자가 타당한 위임 결정을 내리기 위해서 중요한 요소는 preceptor와 trainee가 충분히 서로를 아는 것이다. 교육자가 수련자를 잘 알지 못하는 경우, 수련자가 능력이 있다고 한다 하더라도 환자에게 감독받지 않고 일하는 것을 쉽게 신뢰하지 않을 수 있다.18 짧은 로테이션에 기초한 임상실습은 감독의사가 학생 사이에서 [위임 결정에 필요한 장점과 한계를 인식할 만큼의 충분한 관계]를 구축하지 못하게 할 수 있다.

For supervisors to make valid entrustment decisions, a critical factor is sufficient acquaintance of preceptors with their trainees. If preceptors do not know their trainees well, they may not readily trust them to work unsupervised with patients, even if the trainees are reportedly competent.18 It follows that short rotation-based clerkships may not allow clinicians to build sufficient relationships with students to acknowledge their strengths and limitations, which is essential for entrustment decisions.11


임상 훈련에서 효율적인 역량 기반 진행을 가능하게 하기 위한 책임의 점진적 증가는 연습생과 그 감독관 사이의 상호 지지가 필요하다. 교육적으로 제한적이고 단편적인 감시는 임상 훈련의 전통적인 순환형식의 구조에 내재된 약점이다.8 종방향 참여는 EFA와의 역량 기반 교육에 더 도움이 된다.

 The gradual increase of responsibility to enable efficient competency-based progression in clinical training requires mutual acquaintance between trainees and their supervisors. Educationally, limited and fragmented oversight is an inherent weakness of the structure of the traditional rotation format of clinical training.8 Longitudinal engagement is more conducive to competency-based education with EPAs.


이제는 신뢰할 시간

Time to Trust


훈련의 어느 시점에서는 훈련생에 대한 자신감과 신뢰를 쌓기 위해 감독을 점차 줄여야 한다. 짧은 로테이션은 가장 진지한 위탁 결정을 내릴 수 있는 감독자의 능력을 약화시킨다. 감독관은 연습생을 신뢰하는 시간이 필요하고, 연습생은 신뢰받을 수 있는 시간이 필요하다.

At some point in training, supervision must gradually decrease to build self-confidence and trustworthiness in trainees. Short rotations undermine supervisors’ capacity to make serious entrustment decisions. Supervisors need time to trust trainees, and trainees need time to be trusted.


지금의 시간은 보다 효과적인 전문 개발에 필수적인 결정적 연속적 관계 개선을 위하여, 더 효과적으로 배분되고, 더 나아가 근본적으로 재설계되어야 한다.6, 8,10 의사-환자 연속성이 품질을 향상시킨다는 점을 고려할 때, 그리고 코칭과 피드백이 전문적 발전에 필수적이라는 것을 고려한다면, 교직원-훈련자의 연속성이 매우 중요하다는 것은 지극히 논리적이다.

The current time available needs to be better distributed and radically redesigned to enhance the critical continuity relationships essential to more effective professional development.6,8,10 Given that physician– patient continuity enhances quality,19 and that coaching and feedback are essential to professional development, it is logical that faculty–trainee continuity is critically important.6,10


종단적 관계는, 시간을 보다 효과적으로 활용하게 만든다. 짧은 로테이션이 겉으로는 시간을 절약하는 것처럼 보이지만, 종단적 관계가 초기의 신뢰 개발을 가능하게 할 수 있다.

Longitudinal relationships, by design, proportion time more effectively and thus may enable the earlier development of trust, compared with short rotations that superficially appear to save time.




 2014 Feb;89(2):201-4. doi: 10.1097/ACM.0000000000000111.

Time to trustlongitudinal integrated clerkships and entrustable professional activities.

Author information

1
Dr. Hirsh is associate professor in medicine and cofounder and director, Cambridge Integrated Clerkship, Harvard Medical School, Boston, Massachusetts. Dr. Holmboe is chief medical officer and senior vice president, American Board of Internal Medicine, Philadelphia, Pennsylvania. Dr. ten Cate is professor of medical education and director, Center for Research and Development of Education, University Medical Center Utrecht, Utrecht, Netherlands.

Abstract

Medical education shaped by the learning sciences can better serve medical students, residents, faculty, health care institutions, and patients. With increasing innovation in undergraduate and graduate medical education and more focused attention on educational principles and how people learn, this era of educational transformation offers promise. Principles manifest in "educational continuity" are informing changes in educational structures and venues and are enriching new discourse in educational pedagogy, assessment, and scholarship. The articles by Myhre and colleagues and Woloschuk and colleagues in this issue, along with mounting evidence preceding these works, should reassure that principle-driven innovation in medical education is not only possible but can be achieved safely. In this commentary, the authors draw from these works and the wider literature on longitudinal integrated educational design. They suggest that the confluences of movements for longitudinal integrated clerkships and entrustable professional activities open new possibilities for other educational and practice advancements in quality and safety. With the advent of competency-based education, explicit milestones, and improved assessment regimens, overseers will increasingly evaluate students, trainees, and other learners on their ability rather than relying solely on time spent in an activity. The authors suggest that, for such oversight to have the most value, assessors and learners need adequate oversight time, and redesign of educational models will serve this operational imperative. As education leaders are reassessing old medical school and training models, rotational blocks, and other barriers to progress, the authors explore the dynamic interplay between longitudinal integrated learning models and entrustment.

Comment in

PMID:
 
24362396
 
DOI:
 
10.1097/ACM.0000000000000111


졸업생을 전공의로 신뢰하려면: 무엇이 필요한가? (J Grad Med Educ. 2014)

Trusting Graduates to Enter Residency: What Does It Take? 

Olle ten Cate, PhD




이 논문의 제목에 있는 간단한 질문은 학부 의학교육(UME)의 기본적 기능을 반영한다. 지난 세기 동안, 의료 훈련의 목적은 독립적인 의료행위에 대한 준비에서 전공의 수련에 대한 준비로 옮겨갔다. 이를 위해서는 UME에서의 전환을 위한 새로운 벤치마크가 필요하다.

The simple question in the title of this piece reflects the fundamental function of undergraduate medical education (UME). In the past century, the purpose of medical training has moved from readiness for independent medical practice to readiness for postgraduate training. This requires a new benchmark for the transition from UME.


여러 전공의 프로그램이 역량을 소위 위임 가능한 전문 활동(EPA)과 관련시키고 있다.

An increasing number of postgraduate programs have now started to link competencies to so-called entrustable professional activities (EPAs),1–4


전공의 교육이 훈련 후 첫날부터 감독되지 않은 연습을 준비하는 경우, 학부 훈련에서는 무엇을 준비해야 하는가? 대부분의 학부 훈련은 일터에 기반을 두고 있으며 다음과 같은 추론을 사용하는 것은 논리적인 생각이다. 레지던트 첫날부터 직장에서 의사가 어떤 책임을 져야 하는가? 그것은 '의과대학 학생들이 이론 및 실기 시험에서 반드시 어떤 성적을 얻었어야 하는가?'와 같은 질문이 아니다. 레지던트가 슈퍼비전이 제한적인 상황(즉, 시행되고 있는 모든 것을 검사하지 않음)에서 하는 의료행위를 신뢰하는 것은 환자 안전에 영향을 미치는 숙고적deliberate 결정이다.

If postgraduate training prepares for unsupervised practice from the first day after training, for what does undergraduate training prepare? Much of undergraduate training is workplace-based and it is a logical thought to use the same reasoning: What responsibilities are expected of the physician in the workplace from the first day of residency? That is not the same question as ‘‘What grades must medical students have attained in their theoretical and practical exams?’’ Trusting residents to work with limited supervision (ie, not checking everything that is being done) is a deliberate decision that affects patient safety.


지난 수십 년 동안 많은 문서들은 의사가 학부 의료훈련이 끝날 때 어떤 자질과 역량을 보유해야 하는지를 설명하려고 시도했다.7–9 하지만, 훈련 첫날부터 정확히 레지던트가 안전하게 무엇을 해야 하는지를 살펴보는 것은 일반적인 방법이 아니었다.

Many documents during the past decades have attempted to describe what qualities or competencies physicians should possess at the end of undergraduate medical training.7–9 However, looking at what exactly residents are expected to do safely from the first day of training has not been the general method,



"전공의 진입을 위한 핵심 전문 활동" (CEPAER)

‘‘Core Entrustable Professional Activities for Entering Residency’’ (CEPAER),


저자들은 여러 가지 이유로 이 시책에 대해 칭찬을 받아야 한다.

The authors are to be commended on this initiative for several reasons.


첫째는 그것의 일반적 특성 때문이다. 전공의 교육을 위해 정의된 EPA 개념이 UME에서 대두되고 있기 때문에 각 의과대학들은 이것들을 스스로 정의하기 시작할 수 있다. 그러나 훨씬 더 좋은 전략은 모든 학부 및 대학원 프로그램의 국가 및 국제 표준으로 학교 전체에 걸쳐 일반화가 가능한 EPA를 정의하기 위한 공동의 노력이다.

The first is its generalized nature. As the EPA concept, defined for postgraduate education, is now emerging in UME, schools may start defining these by themselves. However, a much better strategy is a concerted effort to define generalizable EPAs across schools, as a clear benchmark for any undergraduate and postgraduate program nationally and internationally.


둘째, EPA의 수가 제한적이다. 상세 활동의 긴 목록은 체크리스트로 변환되어 그 위력을 상실하는 경향이 있다. 의대생들에게 훈련을 마칠 때까지 제한된 감독으로 할 수 있는 가장 중요하고 포괄적인 행동에 초점을 맞추는 것은 현명한 결정이다.

Second, the number of EPAs is limited. Long lists of detailed activities tend to transform to checklists and lose power. It is a wise decision to focus on the most important and comprehensive acts medical students should be entitled to do with limited supervision by the end of training.


셋째, 핵심 EPA를 정의하는 것은 선택적 EPA를 위한 여지가 있음을 암시한다. 커리큘럼의 국지적 차이를 위한 공간을 제공하는 것 외에도, 그것은 [고정된 시간과 유연한 표준]에서 [고정된 표준과 유연한 시간]으로 이동하고 있는 현재의 교육 이니셔티브의 유연한 역량 기반 특성을 매우 많이 반영한다.12

Third, defining core EPAs implies there is room for elective EPAs. Next to providing space for local differences in curricula, it also very much reflects the flexible competency-based nature of current training initiatives, which are moving from fixed time and flexible standards to fixed standards and flexible time.12



a. 모든 EPA가 그 자체로 EPA가 되는가?

a. Are All EPAs Really Stand-Alone EPAs?


EPA는 trainee에게 (UME EPA라고 본다면) 간접적인 감독만 받고도 수행할 수 있는 업무를 명확히 하도록 설계되어야 한다. EPA는 시작과 끝을 가진 전문적인 행위로서, 구체적인 지식과 기술을 요구한다. 감독 수준을 낮추기 위한 위임결정은 훈련을 위해 EPA를 사용하는 데 있어 핵심이다. 또한 EPA는 독립적으로 실행 가능해야 한다(예: 더 큰 EPA의 필수 부분이 아님). 이러한 개념은 제안된 EPA가 그러한 역할을 할 수 있는지 여부를 결정하는 데 유용해야 한다. 

EPAs should be designed to make clear what trainees are entitled to do with—for UME EPAs—indirect supervision only. EPAs are professional acts with a beginning and an end, and require specific knowledge and skills. Entrustment decisions to decrease the level of supervision are key in using EPAs for training. In addition, an EPA should be independently executable (eg, not be a necessary part of a bigger EPA). These notions should be helpful to determine whether the suggested EPAs can serve as such. 


예를 들어, 검사를 오더하는 것과 처방전을 쓰는 것(EPA 4)은 두 개의 EPA를 정당화할 수 있을 정도로 다른 것일 수 있다. 반대로, 검사를 권고하는 것(EPA 3)은 검사를 오더하는 것(EPA 4)과 쉽게 분리하지 못할 수 있다. 또한 검사를 권고하는 것은 진정한 EPA가 아닐 수 있는데, 왜냐하면 이러한 '권고하는 행위'는 "환자 치료에 대한 책임"을 포함하지 않을 수 있기 때문이다. 일반인이나 심지어 환자조차 검사를 "권고"할 수는 있지만, 간접적인 슈퍼비전 상태에서도 이를 책임지고 수행할 수 있는 것이어야 EPA라 할 수 있다.

Ordering diagnostic tests and writing prescriptions (EPA 4), for instance, may be such different things that they may justify 2 EPAs. Conversely, recommending diagnostic tests (EPA 3) may not be easily separable from ordering tests (EPA 4). Further, recommending tests (EPA 3) may not be a true EPA if it does not include a responsibility for patient care with only indirect supervision. A layperson or patient could also recommend a test, but only the responsibility to do this with only indirect supervision makes it an EPA.


EPA 10은 "긴급하거나 긴급한 치료가 필요한 환자의 평가 및 치료"로 수정한다면 그 자체로 훌륭한 EPA가 될 것이다." 물론 현재 기술된 EPA에서 recognition을 하는 부분은 매우 중요하며, 도움을 언제 구해야 하는지를 인정하는 것고 마찬가지이다. 그러나 이러한 세부 사항은 EPA가 아니라 EPA의 설명에 속한다.

EPA 10 would be an excellent stand-alone EPA if formulated as ‘‘initiating evaluation and treatment in patients requiring urgent or emergent care.’’ Of course the recognition part of this EPA is crucial, as well as acknowledging the need to seek help in most cases. This level of detail belongs to the description of the EPA rather than to its title.


b. 모든 EPA에 대해서 간접적 감독만으로 충분한가?

b. Is Acting With Indirect Supervision Adequate for All of the EPAs?


"간접적 감독indirect supervision"은 13개 모든 EPA의 초점이다. '간접적 감독'이란 것은 [감독관이 patient encounter의 장소와 물리적으로는 떨어져있지만, 즉시 병원에서나 전화나 다른 매체를 통해 물리적으로 available한 감독]으로 정의된다. 다만 불확실 한 것은, 이 때 [간접적 감독]이란 것이 의료행위 후에 그 일을 모두 점검해야 한다는 것을 의미하는지, 아니면 일부sample만을 점검해도 되는지 여부이다. 일부 EPA의 경우, 특히 시험(EPA 3 및 EPA 4), 의약품 처방(EPA 4) 및 수행 절차(EPA 12)에 대해서는, 이것이 명확히 기술되길 권한다.

‘‘Indirect supervision’’ is the focus of all 13 EPAs. This is defined as supervision that is away from the site of the patient encounter, but immediately available physically in the hospital or by telephone or other media. Not stated is whether indirect supervision means that a supervisor should check the work afterward, or a sample of it. For some EPAs, notably recommending and ordering tests (EPA 3 and EPA 4), prescribing medication (EPA 4), and performing procedures (EPA 12), I suggest that this must be specifically addressed.


c. 이 EPA의 한계는 무엇인가?

c. What Are the Limitations of These EPAs?


대부분의 EPA에 대한 설명은 그들의 범위를 정확히 밝히지 않는다. 예를 들어 EPA 3에서 언급된 "공통 테스트"와 EPA 12의 "일반 절차"는 어느 것인가? EPA 4도 마찬가지다. 전공의는 어떤 시험, 처방 및 치료법을 오더할 수 있어야 하며 그렇지 못하는 것은 무엇인가? 투명성을 위해서라면, 모든 관련 검사와 프로시져의 목록을 이 EPA의 설명에 포함시키는 것이 중요하다.

The descriptions of most EPAs do not exactly reveal their scope. For instance, which are the ‘‘common tests’’ mentioned in EPA 3 or the ‘‘general procedures’’ in EPA 12? The same holds for EPA 4: Which tests, prescriptions, and therapies may the graduate order and which not? It is important for the sake of transparency to include listings of all relevant tests and procedures in the description of these EPAs.


d. 의미와 간결성

d. Sense and Simplicity


교육의 복잡성과 반드시 단순화되지는 않는 많은 유용한 이론과 운영에도 불구하고, 만약 무언가가 교사들에게 울림을 주고, 기억될 수 있는 단순하고 명확한 용어로 제시될 수 있다면, 많은 혁신의 힘은 크게 증대될 것이다. 이것은 또한 EPA에도 적용된다.

Despite the complexity of education and many useful theories and operations that are not necessarily simplistic, the power of many innovations is greatly enhanced if they can be presented in simple and clear terms that resonate with teachers and can be remembered. This will also hold true for EPAs.


"1일차 인턴이 감독 없이 수행하거나 주문할 것으로 예상되는 테스트 및/또는 절차에 대한 사전 통보된 동의 획득" (EPA 11)은 "검사와 프로시져에 대한 informed consent 획득"이라고 수정할 수 있다.

One example, ‘‘Obtain informed consent for tests and/or procedures that the day 1 intern is expected to perform or order without supervision’’ (EPA 11), could just as well be called ‘‘Obtain informed consent for tests and procedures,’’


또한 EPA에 걸쳐 언어를 정렬align하는 것은 단순성을 제공할 수 있다. 예를 들어, "clinical encounter"(EPA 5)가 "patient encounter"(EPA 6)가 서로 다른 단어일 필요가 없다.

Aligning language across EPAs would also serve simplicity, for example, ‘‘clinical encounter’’ (EPA 5) or ‘‘patient encounter’’ (EPA 6) don’t need to be different words.


UME EPA 제목은 다음과 같이 간단히 읽을 수 있다: 

UME EPA titles could simply read as follows: 

  • standard history and physical examination (EPA 1); 

  • prioritized differential diagnosis following a patient encounter (EPA 2); 

  • ordering and prescribing tests and therapies (EPAs 3 and 4); 

  • documentation of clinical encounters in the patient’s record (EPA 5); 

  • oral patient presentation (EPA 6); 

  • giving and receiving patient handovers (EPA 8); 

  • initiating evaluation and treatment in patients requiring urgent or emergent care (EPA 10); 

  • obtaining informed consent for tests and procedures (EPA 11); and 

  • general medical procedures (EPA 12).



몇 가지 일반적 관찰 
Some General Observations


현재 EPA 설명은 장황하다.

The EPA descriptions are lengthy.


나의 권고는 EPA를 짧게 유지하고, 무엇이 포함되고 무엇이 포함되지 않은지 명확히 설명하고, 대부분의 텍스트는 지식/술기/태도의 rubric을 가지고 "활동에 대한 설명description of the activity"아래로 옮기는 것이다.

My recommendations are to keep the EPAs short, clearly state what is included and what is not, and move most of the text under ‘‘description of the activity’’ to a rubric of Knowledge Skills and Attitude (or ‘‘curriculum’’).6


마지막으로, 언어에 대해서 한 마디만 하겠다. 이 문서의 저자들은 'entrustable'이라는 단어의 의미를 확장했다. EPA 문헌에서 entrustable이라는 단어는 연습생이나 전문가에게 위임되는 속성을 가지는 [업무나 책임]을 묘사하는 형용사로 사용되어 왔다. 사람에 대해서 trustworthy할 수 있지만, 사람을 entrustable하거나 pre-entrustable할 수는 없다. 나는 trustworthy를 entrustable로 대체하려는 강한 경향을 이해한다. trustworthy하지 않다는 것은 dishonesty를 함축하기 때문이다. Pre-entrustable은 not yet trustworthy보다 더 친근하게 들린다.

Finally, a word about language. The authors of this document have extended the meaning of the word entrustable. In the EPA literature, the term has been used as an adjective that pertains to tasks or responsibilities that have the property of being entrusted to trainees or professionals. People themselves may be trustworthy, but not entrustable or pre-entrustable. I understand the strong tendency to replace trustworthy with entrustable, as being not trustworthy connotes dishonesty. Pre-entrustable may sound friendlier than not yet trustworthy.


그러나 trustworthiness는 단순히 정직함honesty그 이상이다. 캠브리지의 철학자 오노라 오닐15는 최근 [신뢰성trustworthiness은 역량, 정직, 신뢰성의 세 가지 특징을 필요로 한다]고 설명했다. 케네디와 동료16은 기본적으로 의학 연수생들에게 동일한 특징, 즉 지식/기술, 진실성, 양심성, 그리고 한계를 분별하는 것을 발견했다. 따라서, honest하고 reliable한 사람조차도 EPA에 대해서는 아직 trustworthy하지 않을 수 있다.

Trustworthiness, however, is more that honesty. Cambridge philosopher Onora O’Neill15 recently explained that trustworthiness requires 3 features: competence, honesty, and reliability. Kennedy and colleagues16 found basically the same features for medical trainees: knowledge/skills, truthfulness, conscientiousness, and also discernment of limitations. Thus, even honest and reliable persons may not yet be trustworthy for an EPA.


당연히, 이러한 각 EPA에 대해 무엇이 포함되고 무엇이 제한되는지 명시해야 한다. 임상 질문을 작성하고, 전문가 간 작업을 하며, 환자 안전에 기여하는 것은 그 자체로 EPA가 아니라 중요한 EPA의 일부일 수 있다.

Naturally, for each of these EPAs it must be specified what is included and what are its limitations. Forming clinical questions, working interprofessionally, and contributing to patient safety may be part of important EPAs rather than EPAs in their own right.








 2014 Mar;6(1):7-10. doi: 10.4300/JGME-D-13-00436.1.

Trusting graduates to enter residency: what does it take?

PMID:
 
24701302
 
PMCID:
 
PMC3963798
 
DOI:
 
10.4300/JGME-D-13-00436.1


모든 EPA가 정말 EPA인가? (Med Teach, 2016)

Are all EPAs really EPAs?

Ara Tekian

Department of Medical Education, College of Medicine, University of Illinois at Chicago, Chicago, IL, USA




EPA는 "필요한 역량을 입증하는 즉시 이 활동을 감독하지 않고 수행할 수 있는 전문적 실무의 단위"로 정의된다(10 Cate et al. 2015). EPA는 (정의된 시작과 끝을 가진) 프로세스 및 결과라는 측면에서 독립적이고, 관찰 가능하며, 측정 가능한 단위다. "역량"은 총체적으로 훌륭한 의사를 정의하는 개인의 능력이지만, "EPA"는 전문가의 일상 업무를 나타내는 단위로서, 그 업무의 성과를 인식recognize할 수 있다.

An EPA is defined as “a unit of professional practice that can be fully entrusted to a trainee, as soon as he or she has demonstrated the to necessary competence execute this activity unsupervised” (ten Cate et al. 2015). EPAs are independent, observable, and measurable units of work in both process (with a defined beginning and end) and outcome. While “competencies” are abilities of individuals that in the aggregate define a good physician, “EPAs” are units of work that represent the day-to-day work of the professional, which can lead to a recognized outcome.


EPA는 다양한 훈련 단계에서 정의될 수 있으며 의료 교육과 작업장의 기대치 사이의 차이를 메울 수 있다. 이러한 역량을 정의하고 적용하려는 움직임과 함께, EFA를 학부 의료 교육(UME)으로 확대하기 위한 논의가 있었다(Chen et al. 2015).

EPAs can be defined at different stages of training and can bridge the gap between medical education and the expectations of the workplace. With the movement to define and apply these competencies, there has been discussion to expand EPAs into undergraduate medical education (UME) (Chen et al. 2015).


첸 외 에 따르면, AAMC가 발행한 13개 핵심 EPA는 모든 전공에 대해 대학원 수준에서 EPA를 지원할 수 있는 "기준 활동"을 개략적으로 기술하고 있다.

According to Chen et al., the 13 Core EPAs published by AAMC outlines “baseline activities” that can support EPAs at the postgraduate level for all specialties.


핵심 EPA가 미국의 UME 커리큘럼에 공식적으로 도입될 것으로 예상되기 때문에 이러한 교육 요구사항은 정책, 자원 및 프로그램적 함의를 포함하여 큰 이해관계가 있다.

As Core EPAs are expected to be formally introduced to the UME curricula in the United States, these educational requirements have heavy stakes, including policy, resource, and programmatic implications.


구체적으로는 다음과 같은 여섯 가지 문제와 관련된다. 

(1) 개별적인 작업이 아니므로 포커스된 위탁 의사결정에 적합하지 않은 EPA 

(2) 다른 EPA와 분리할 수 없는 EPA 

(3) 실제로는 교육 목표에 가까운 EPA

(4) 숙련도 수준을 나타내는 형용사를 포함하는 EPA 

(5) 너무 넓은 EPA 

(6) 개별적인 업무이지만, 위탁 결정에 적합하지 않은 EPA (10 Cate 등, 2015)


Specifically, they relate to six problems: 

(1) EPAs that are not discrete tasks and so are unsuitable for focused entrustment decisions; 

(2) EPAs that are inseparable from other EPAs; 

(3) EPAs that are really educational objectives; 

(4) EPAs that include adjectives that refer to proficiency level; 

(5) EPAs that are too broad; and 

(6) EPAs that are discrete tasks, but are not suitable for entrustment decisions (ten Cate et al. 2015).


EPA 6: 임상적 만남의 구두 제시

EPA 6: provide an oral presentation of a clinical encounter


이 EPA는 복수의 해석이 가능하며, 따라서 임상적 만남에서 예상되는 내용에 대한 추가적인 설명이 있어야 한다. 또한 이 EPA에서 구두 프레젠테이션을 위해서는 의료진 중 적어도 한 명이 참석해야 한다. 그러나 임상 환경에서 의료팀은 그때그때 달라질 수 있고 구성원이 다양하며 있으며, 이는 EPA 6이 책임질 수 있는 결정을 촉진할 수 없음을 의미한다. 즉, 학생은 일부에 대해서는 entrustable하지만 다른 사람에게는 그렇지 않다.

It is open to multiple interpretations and thus warrants additional clarification on what is expected in the clinical encounter. In addition, the EPA requires at least one member of the health care team to be present for the oral presentation. However, clinical settings have different health care team members that can vary, and this implies that EPA 6 cannot stimulate an entrustable decision; a student may be entrustable for some, but not for others.


EPA 7: 임상 질문을 작성하고 증거를 검색하여 환자 치료 진행

EPA 7: form clinical questions and retrieve evidence to advance patient care


이 EPA의 초점은 1차 문헌과 2차 문헌에서 증거를 retrieve하는 능력에 있다. 따라서 이 EPA가 필연적으로 지식을 환자집단에 적용하여 임상적으로 관련된 결정을 내릴 수 있는 학생의 능력을 평가하는 것은 아니다. 이는 현장 학습의 일환으로 EPA를 평가하는 데 어려움이 있다는 것을 의미한다.

the focus of the EPA is on the ability to retrieve evidence from primary and secondary literature. It does not necessarily assess the ability of the student to apply that knowledge to his or her patient population to make clinically relevant decisions. This means that there would be difficulty in assessing this EPA as part of on-the-spot learning


EPA 9: 전문가 간 팀의 일원으로 협업

EPA 9: collaborate as a member of an interprofessional team


이 EPA는 별도의 작업 단위를 구성하는 것이 아니라 역량을 구성한다. EPA 7과 유사하게, 특히 학부 수준에서 직접 또는 현장 학습을 통해 이를 평가하기는 어려울 수 있다. 학생들은 어떤 시점에서든 건강 전문가와 함께 환자 치료를 진전시킬 수 있는 능력을 갖춰야 한다. 또한, 학생은 자신이 상호작용하는 건강 전문가의 설정, 상황 및 유형에 따라 다르게 상호작용할 수 있다. 협력의 수준, 양, 빈도 및 효과에 대해 감독자가 어떻게 설명할 것인가?

This EPA does not constitute a discrete unit of work, but rather a competency. Similar to EPA 7, it may be difficult to assess this through direct or on-the-spot learning, particularly at the undergraduate level. Students should have this ability with health professionals at any point of their training to advance patient care. Furthermore, the student may interact differently depending on the setting, context, and the type of health professional he or she is interacting with. How would the supervisor account for the level, amount, frequency, and effectiveness of the collaboration?


EPA 13: 시스템 고장을 식별하고 안전 및 개선 문화에 기여

EPA 13: identify systems failures and contribute to a culture of safety and improvement


이는 환자 안전과 이를 지원하는 시스템에 대한 지식을 강조한다(Core Entrustable Professional Activities 2016). 이 능력은 대학원 과정에 들어갈 때 모든 의사에게 내재되어야 하므로 위임될 수 있는 업무 단위보다는 교육 목적이나 역량이라고 볼 수 있다.

This emphasizes patient safety and knowledge of the systems supporting it (Core Entrustable Professional Activities 2016). This ability should be embedded in all physicians at the time of entering a postgraduate program, so it can be considered more of an educational objective or a competency, rather than a unit of work that can be entrusted.






 2017 Mar;39(3):232-233. doi: 10.1080/0142159X.2016.1230665. Epub 2016 Sep 15.

Are all EPAs really EPAs?

Author information

1
a Department of Medical Education, College of Medicine , University of Illinois at Chicago , Chicago , IL , USA.
PMID:
 
27633048
 
DOI:
 
10.1080/0142159X.2016.1230665


의학교육에서 학습자 평가를 위한 프레임워크: AMEE Guide No. 78 (Med Teach, 2013)

Frameworks for learner assessment in medicine: AMEE Guide No. 78

LOUIS PANGARO1 & OLLE TEN CATE2

1Uniformed Services University of the Health Sciences, USA, 2University Medical Center, Utrecht, the Netherlands





프레임워크의 중요성

The importance of frameworks


가르치는 것이 당신의 열정이지만, 학생들을 평가하는 것은 선생님으로서 당신에게 쉽지 않았고, 동료 선생님들의 평가를 감독하는 것은 매우 복잡해 보인다.

Teaching is your passion, but assessing students has simply not been easy for you as a teacher, and overseeing the assessments of your fellow teachers seems very complicated.


당신은 모든 학습자들에게 "기대 이상임" 이라고 점수를 주는 것을 좋아한다. 왜냐하면 학생들은 분명히 최선을 다하는 것 같기 때문이다. 당신은 모든 등급이 어떤 경우에도 주관적이라고 걱정하며, 동료들로부터 "객관적인" 평가를 받는 방법을 모른다고 느끼지 않는다. 어디서 도움을 받을 수 있니?

You yourself like giving all learners ‘‘above expectations’’ marks, because students clearly seem to do their best. You worry that all grading is subjective in any case, and do not feel you know how to get ‘‘objective’’ evaluations from your colleagues. Where can you get help?


밀러가 제공한 간단한 4층 골격은, 교육자 밀러 피라미드로 널리 알려져 있으며, 의사들이 임상 능력을 평가받으려면, 필기 시험이나 표준화된 기술 시험보다 더 높고 유효한 수준이 있다고 경고하였다.

The simple four-layered framework he provided, widely known as The educators Miller Pyramid, alerted that there is a higher, more valid level than written tests and even than standardized skills tests, if doctors are to be assessed on their clinical ability.


(그림 1).

(Figure 1).




표 1은 교육자가 친숙할 수 있는 공통 프레임워크의 개요를 제공한다.

Table 1 provides an overview of common frameworks with which educators may be familiar.




평가에서 프레임워크의 일차적 효과는 사실 교사들의 observation을 guide하는 것이다. 즉, 연습생에서 무엇을 찾아야 하는지, 언제, 그리고 어떤 순서에서 찾아야 하는지 말이다. 청사진은 그러한 틀에서 도출될 수 있다. 학생들은 그것들이 채점에 사용되는 것으로 지정되었다는 것을 알게 된다면 카테고리에 초점을 맞출 것이다.

The primary assessment effect of frameworks is, in fact, to guide the teachers in their observations—what to look for in a trainee, when, and in what order of importance. Blueprints can be derived from such frameworks. students will focus on the categories if they realize these have been designated as the drivers of grading.


프레임워크는 학생들이 무엇을 배워야 하는지에 대해 미리 알려준다. 프레임워크 내의 카테고리는 기관의 교육적 가치와 학습자에 대한 기대의 주요한 표현이다.

Frameworks set up a priori what students are supposed to learn. the categories within a framework are the primary expression of an institution’s educational values and expectations for learners.


프레임워크와 관련된 이차적 효과는 프레임워크를 사용할 것으로 예상되는 사람들(학생과 교사, 그리고 코스 이사)에 의해 적용될 수 있는 일관성과 정확성이다. 성공적인 프레임워크의 적용은 카테고리의 명확성, 프레임워크의 사용 용이성, 사용자에 의한 가치 수용성 등과 관련이 있다. 학습자와 궁극적으로 사회에 대한 공평성fairness은 프레임워크가 얼마나 잘, 얼마나 일관되고, 신뢰성 있고, 유효하게 적용될 수 있는지에 달려 있다. 이는 프레임워크의 본질적 특성(명확성, 단순성 및 수용성) 뿐만 아니라 교수 등이 이 프레임워크를 사용할 수 있게 교육하고 훈련하는 데 사용되는 자원에 모두 좌우될 것이다.

Secondary effects related to frameworks are the consistency and accuracy with which they can be applied by those expected to use them(students and teachers, as well as course directors). Successful application relates to the clarity of the categories, the ease of use of the framework, and the acceptability of its values by the user. Fairness to learners and ultimately to society will depend upon how well, that is, how consistently, reliably, and validly the framework can be applied. This will depend upon both the intrinsic characteristics of the framework (clarity, simplicity, and acceptability) and the resources spent to instruct and train teachers and others to use it.



주요 교수-학습 프레임워크의 짧은 역사

Short history of major frameworks to inform teaching and assessment


교육학자 랄프 타일러는 1949년에 '타일러 레쇼넬'으로 알려진 것을 출판한 이후, 교육은 결과 쪽으로 향하기 시작했다(Tyler 1949. 이 Rationale는 간단하지만 강력한 네 가지 질문을 제시한다. 

Ever since educational scientist Ralph Tyler published in 1949 what became known as the ‘‘Tyler Rationale,’’ education started to orient toward outcomes (Tyler 1949). This Rationale poses four simple but powerful questions: 


(1) 학교는 어떤 교육적 목적을 달성하고자 하는가? 

(2) 이러한 목적을 달성할 가능성이 있는 교육적 경험을 제공할 수 있는가? 

(3) 이러한 교육경험은 어떻게 조직될 수 있는가?

(4) 이러한 목적을 달성하고 있는지 어떻게 판단할 수 있는가? 

(1) What educational purposes should a school seek to attain? 

(2) What educational experiences can be provided that are likely to attain these purposes? 

(3) How can these educational experiences be organized?

(4) How can we determine whether these purposes are being attained? 


교육목표에 대한 분류학적으로 인지영역(지식), 정신운동영역(수동능력), 정서영역(태도)을 기술한 벤자민 블룸은 그 이후 교육목표에 대한 세계 대부분의 생각을 지배해 왔다.

Benjamin Bloom, whose taxonomy of educational objectives described a cognitive domain (knowledge), a psychomotor domain(manual skills), and an affective domain (attitudes), and has since dominated most of the world’s thinking of educational objectives.


(부록 2 참조). 그 이후, "KSA" (지식-기술-태도)는 비록 유일한 것은 아니었지만, 오랜 기간 선생님들의 정신적 모델이었다. 

(see Appendix 2). Since that time, ‘‘KSA’’ (for knowledge-skills-attitudes) has been the dominant, if not exclusive, mental model of generations of teachers. 




1980년대에, 교육자들은 교육의 최종 목표뿐만 아니라 발달 이정표에도 초점을 맞추기 시작했다. Dreyfus와 Dreyfus가 고안한 모델(Dreyfus & Dreyfus 1986)은 5단계(노비스, 어드밴스트 초보자, 유능, 능숙, 전문가)를 구분한다. 

In the 1980s, educationalists started focusing not only on final objectives of education, but also on developmental milestones. The model devised by Dreyfus and Dreyfus(Dreyfus & Dreyfus 1986) distinguishing five stages (novice,advanced beginner, competent, proficient, and expert) 


학부의학교육: 지난 20년간 학부 의학의 목표의 분석적 프레임워크의 잘 알려진 예로는 미국 의과대학 목표 프로젝트(Anderson 1999), 영국의 내일 의사(GME)2009), 스코틀랜드 의사(Scottish Deans' Medical Curriculum Group 2009), 네덜란드 대학원의료 교육 프레임워크(van Herwarden et al. 2009)가 있다. 'RIME'프레임워크(Reporter-Interpreter-Manager-Educator) (Pangaro1999)는 발달적이면서 합성적 프레임워크이다.

the objectives for undergraduate medical education over the past two decades. Well-known examples are analytic frameworks ofUSA’s Medical School Objectives Project (Anderson 1999),UK’s Tomorrow’s Doctors (General Medical Council (GME)2009), the Scottish Doctor (Scottish Deans’ Medical Curriculum Group 2009), and the Dutch Framework for Undergraduate Medical Education (van Herwaarden et al. 2009). The ‘‘RIME’’framework (Reporter-Interpreter-Manager-Educator) (Pangaro1999) has a developmental dimension but is synthetic at the same time


졸업후 의학 교육 : "CanMEDS" (Frank 2005), "CanMEDS" (Frank 2005), "ACGME Framework" (Anon 1999).

postgraduate medical education : the Canadian Medical Education Directions for Specialists, in short ‘‘CanMEDS’’ (Frank 2005), and the framework theof  Accreditation Council for Graduate Medical Education, the‘‘ACGME framework’’ (Anon 1999).


근무지 평가의 어려움

The difficulty of workplace assessments


전통적 신뢰도 요건이 근무지 평가에서는 쉽게 충족될 수 없다. 평가자는 전문성과 경험이 다르며, 평가받는 직장의 업무는 다르며, 상황은 계속 다르다. 또한 '의료 역량'에는 많은 다른 면들이 포함되어 있는데, 그 면들은 대부분은 관찰 가능하지 않을 수 있다.

Traditional reliability requirements of assessment cannot easily be met in the workplace. Assessors differ in expertise and experience, tasks in the workplace that are being assessed differ, and circumstances differ continuously. In addition, ‘‘medical competence’’ includes many different facets, most of which are not visible at a moment of observation.


평가자는 작업장 평가에서 측정 오차의 주요 원인으로 간주된다(Govaerts et al. 2007). 체계적인 오류와 무작위 오류가 둘 다 있다. 체계적인 오류는 작업장에서의 의료 훈련생들을 너무 높게 평가하고 "실패"하는 광범위한 경향이다(Dudek et al. 2005). 이는 관대성leniency 편차 또는 generosity 실수라고 불리며, 기준을 갖거나 적용하지 않는 것과 같은 몇 가지 요인에 의해 발생한다(Albanese 1999). 특히 문제가 되는 것은 작업장 평가에 대한 강조가 증가함에 따라 성적이 수년 동안 "인플레이션"이 되어 기준이 낮아지는 것으로 보인다는 점이다(Speer et al. 2000).

Assessors are considered to be a major source of measurement error in workplace assessment (Govaerts et al. 2007). There are both systematic error and random error. A systematic error is the widespread tendency to rate medical trainees in the workplace too highly and to ‘‘fail to fail’’ (Dudek et al. 2005). This has been called leniency-bias or generosity error, and is caused by several factors, such as lack of having or applying standards (Albanese 1999). Particularly disturbing is the observation that with increased emphasis on workplace assessment, grades appear to become ‘‘inflated’’ over the years, resulting in lowered standards (Speer et al. 2000).


후광 효과와 낮은 평가자 내, 평가자 간 신뢰성은 훈련받지 않은 평가자들 사이에서 흔히 볼 수 있다(Albanese 2000; Williams et al. 2003).

Halo-effects and low intraand interrater reliability are ubiquitous among untrained assessors of medical trainees (Albanese 2000; Williams et al. 2003).


[개인이 수년 동안 구축한 주관적이고 사회적으로 구성된 프레임워크]는 평가의 객관성을 극대화가 목적인 프레임워크의 장애요소이다(Gingerich et al. 2011). 또한 바쁘고 산만한 임상 환경에서 학습자를 평가하기 위한 많은 측면들이 단지 그들을 정확하게 판단하기 위해 감독자의 인지 능력을 너무 많이 요구한다고 제안되었다(Tavares & Eva 2012).

Such subjective, socially constructed frameworks that individuals have built over many years may interfere with frameworks that aim to maximize objectivity in assessment (Gingerich et al. 2011). It has also been suggested that the many aspects to evaluate learners on, in a busy, distracting clinical setting simply demand too much of the cognitive capacity of supervisors to accurately judge them well (Tavares & Eva 2012).


일차적인 이론 및 연구 문제는 왜 그렇게 많은 프레임워크가 있었음에도 평가자(후광, 관대성 등)에 내재된 직장 문제나 상황에 내재된 문제(사례 내용, 복잡성 및 맥락의 변화)를 극복할 수 없었는가 하는 것이다.

The primary theoretical and research question is why the availability of frameworks has not been able to overcome the workplace problems inherent in the rater (halo, leniency, etc.) or inherent in the circumstances (changes of case content, complexity, and context).


교육의 목표는 평가를 위한 틀로 번역되어야 하며, 교사들은 개별 상황에서 적절하게 적용할 수 있다. 이는 교육 프로그램의 주요 책임이며, 임상실습과 레지던트 관리자의 주요 업무다.

Objectives of education must be translated into frameworks for assessment, which teachers can apply properly in one-on-one situations. This is a major responsibility of training programs, and a major task for clerkship and residency directors.


둘째로, 평가 시스템은 이용 가능한 프레임워크가 실제로 교사들에 의해 확실하게 사용되고 적용되도록 자원을 제공해야 한다. 이를 위해서는 훈련, 모니터링 및 피드백이 필요하다.

Secondly, the assessment system must provide the resources to be sure that the available framework is actually used and applied by teachers. This will take training,monitoring, and feedback. 


의학교육의 프레임워크 종류 - 이론 설명

Types of frameworks in medical education—Theory explained 


분석적 프레임워크, 역량의 측면들을 묘사

Analytic frameworks, describing aspects of competence 


타일러와 블룸의 시대 이후, 이제 [의과대학에서 일어난 일]이 아니라 [실제 진료에 필요한 것]으로의 전환이 명백해졌다. (OBE)

Since the times of Tyler and Bloom, a shift is now apparent from a focus on what happens in a medical school to whatis needed in practice. (OBE)


그림 2

Figure 2


역량의 관련 차원이 모두 프레임워크 내에 포함된다는 것은 분석적 프레임워크의 특징이다.

It is a feature of analytic frameworks that the relevant dimensions of competence are all encompassed within the framework


완전한 분석 체계는 역량의 모든 측면에 대한 설명에 초점을 맞추고 있으며, 그 결과 프레임워크는 자세해지고 위계적 구조를 갖는다.

Fully analytic frameworks focus on description of all facets of competence, which makes them detailed andoften hierarchical.


초창기에는, 위에서 언급된 많은 국가 시스템은 평가될 100개 이상의 개별 능력 또는 역량 담당자를 열거했다. 우리는 프로그램과 관리자들이 개별 교수들이 따를 수 있는 간단한 구조를 제공하도록 권장한다. 이는 의무(태도)와 전문성(기술과 지식)의 약속으로서 펠레그리노의 프로페셔널리즘(Pellegrino 1979)의 정의를 사용하여 "KSA"로 또는 훨씬 더 간결하게 이루어질 수 있다. 

In their initial formulations,many of the national systems mentioned above have, to be complete, listed more than 100 separate abilities or competencies clerkship to be assessed. We encourage program and directors to provide teachers a simple structure on which to hang their terms. This can be done with ‘‘KSA,’’or even more concisely by using Pellegrino’s definition of Professionalism (Pellegrino 1979) as a promise of duty(attitude) and expertise (skill and knowledge)


대부분의 성과 지향적 프레임워크는 분석적 성격을 갖는다.

Most outcome-oriented frameworks have an analytic nature;


CanMEDS 프레임워크에는 7개의 역할, 134개의 "요소", 28개의 "키-경쟁력" 그리고 125개의 "지원력"이 있다. 

The CanMEDS framework has 7 roles, 134 ‘‘elements,’’ 28 ‘‘key-competencies,’’ and 125 ‘‘enabling competencies.’’ 


이 접근법의 장점은 우리가 기대하는 의사가 될 것으로 기대하는 것에 대한 완전히 포괄적인 설명에 근접한다는 것이다. 그러나 고도로 분석적인 프레임워크의 어려움은 명확성을 상실하는 경향이 있는 길고 매우 상세한 목표 목록을 이끌어 낸다는 것이다. 프레임은 그것을 사용하는 사람들에 의해 기억되고 적용되어야 하는 현실 세계의 추상이다. 많은 사람들은 4개의 세트(RIME Pangaro 1999), 6개의 유닛(ACGME1999) 또는 7개의 유닛(CanMEDS 2005)을 기억할 수 있다. 수십 개의 단위를 가진 보다 정교한 프레임워크는 대개 사용자 대다수가 기억하지 못한다. 이는 프레임워크의 '이차 효과'라고 부르는 결과를 초래하며, 이것은 교육계에 의한 사용의 용이성, 그리고 프레임워크를 사용하는 사람들을 훈련시키는 데 필요한 자원 등과 같은 사용의 신뢰성에 직접적으로 영향을 미친다. 2차 효과에서 프레임워크를 서로 비교하는 연구는 없지만, 더 간단한 프레임워크가 더 효과적이라는 몇몇 증거가 있다(Battistone et al. 2002).

The strength in this approach is that it nears a fully comprehensive description of what we expect a physician to be. But the difficulty of highly analytic frameworks is that they lead to long and very detailed lists of objectives that tend to lose clarity. Frameworks are abstractions of the real world that need to be remembered and applied by those who use them. Many people can remember a set of four (RIME Pangaro 1999), six (ACGME1999), or seven (CanMEDS 2005) units. More elaborated frameworks with dozens of units are usually not retained by the bulk of the users. This results in what we would call‘‘secondary effects’’ of the frameworks, which directly affect their reliability in use, such as the ease of their use by the educational community, and the resources needed to train people to use the framework. We know of no studies comparing frameworks with one another in secondary effects,but there is some evidence that simpler frameworks are more effective (Battistone et al. 2002).


합성적 프레임워크, 역량의 다양한 영역을 통합

Synthetic frameworks, integrating facets or domains of competence


합성적 특성을 가진 프레임워크는 실천에 초점을 둔다. 이 접근방식은 분석적 프레임워크의 경우보다 본질적으로 통합적이고 측정 지향적이지 않다(Pangaro 1999). 이 프레임워크의 근본적 질문은 trainee가 충분한 역량에 도달하면 어떤 활동이나 과제를 맡길 수 있는가이다.

Frameworks with a synthetic nature are grounded in the practice of their focus. This approach is essentially integrative and less measurement-oriented, than is the case with analytic frameworks (Pangaro 1999). The grounding question is: What activity or task can be entrusted to a trainee, once sufficient competence has been reached?


표 3

Table 3.





그림 3a와 3b에서 보듯이, 합성적이라는 뜻은 지식과 기술, 태도를 결합한다는 것이다(판가로 1999).

As seen in Figures 3a and 3b, they are synthetic in the sense that they combine knowledge, skill, and attitudes (Pangaro 1999).



합성 프레임워크는 주어진 다른 프레임워크의 요소들을 결합할 수 있다.

Synthetic frameworks may combine elements of any other given framework


ACGME 역량과 하위 역량은 단순성을 위해 각각 RIME 프레임워크에 매핑될 수 있다(표 4).

The ACGME competencies and sub-competencies may, for simplicity, each be mapped to the RIME framework (Table 4).




[교육 성과]를 [사회가 의사로부터 기대하는 것]과 더 강하게 연결하기 위해 [역량 기반 의학 교육]이 제안되었다(Carraccio et al. 2002; Frank et al. 2010). 'competence'과 'competency'라는 용어는 서로 다른 방식으로 사용되어 왔으며, 이로 인해 다소 혼선이 빚었다.

Competency-based medical education has been proposed to link outcome of education more strongly to what schools believe that society expects from a doctor (Carraccio et al. 2002; Frank et al. 2010). The terms ‘‘competence’’ and ‘‘competency’’ have been used in differing ways, and this has resulted in some confusion.


medical competence의 정의에 대해서 한 권위있는 논문은 이렇게 정의했다.

An authoritative publication proposed as a definition of medical competence:


개인과 봉사하는 공동체의 이익을 위해 의사소통, 지식, 기술력, 임상 추론, 감정, 가치 및 반성을 일상 생활에서 습관적이고 신중하게 사용하는 ." (Epstein & Hundert 2002)

The habitual and judicious use of communication, knowledge, technical skills, clinical reasoning, emotions, values, and reflection in daily practice for the benefit of the individual and the community being served.’’ (Epstein & Hundert 2002)


이러한 정의에 의해 판단되는 competence은 분명히 다차원적이며, 의료행위를 위해 Bloom의 KSA 요소를 활용하며, 실무에 기반을 두고 있다. "competency"은 언어학적으로 "competence"과 유사하다. "competence"은 종종 단수로 사용되어 개인의 일반적인 능력 상태를 반영한다. 그러나 competencies은 종종 복수형으로 사용된."보통 competencies라고 부르는 것은 통합적 competence의 구성요소나 여러 측면(들)이다. 그리고 우리의 관점에서 볼 때, competencies라는 용어는 학습자가 성공하기 위해 통합되어야 하는 여러 측면이나 기술들을 암시하며, 따라서 기본적으로 분석적 접근방식을 반영한다.

Judged by this definition, competence is clearly multidimensional, utilizing Bloom’s KSA elements to serve the practice of medicine, and grounded in practice. ‘‘Competency’’ is linguistically similar to ‘‘competence.’’ ‘‘Competence’’ is often used in singular, reflecting a state of the individual’s general ability. Competency, however, is often used in plural as ‘‘competencies.’’ What many people call competencies are components or facets of integrative competence; and from our perspective, they reflect an underlying analytic approach, implying multiple facets or skills that must be put together by a learner to be successful.


더 중요한 것은 "competencies"는 추상적인 경향이 있기 때문에, 관찰할 수 있는 구체적인 활동과 연계되지 않는 한 평가를 위한 가장 자연스러운 단위는 아닌 것 같다. 이는 역량이 달성되었다는 추론을 허용하기 위해 관찰할 수 있는 활동을 나열한 표 5에서 볼 수 있다.

More importantly, ‘‘competencies’’ tend to be abstractions and therefore do not seem to be the most natural units for assessment, unless they are linked to concrete activities which can be observed. This is seen in Table 5, which lists the activities that can be observed to allow the inference that a competency has been achieved.



그러므로 competence은 어떤 것을 성공적이거나 효율적으로 할 수 있는 통합적 능력으로 간주되어야 한다. 또 다른 방법으로, competence은 노력이나 자원을 과도하게 사용하지 않고서도 각각의 상황이나 각각의 환자에게 필요한 것을 가져다 준다(Pangaro 2000). 따라서, competence은 일상 생활에서 직업의 구체적인 행위에 반영된다. 따라서 EPA를 수행하기 위한 ability는 competency라고 부를 수 있으며, 왜냐면 그것이 바로 EPA가 정확히 의미하는 바이기 때문이다. EPA는 전문가가 미래의 신뢰를 허용하는 방식으로 수행함으로써 입증한 중요하고 어쩌면 필수적인 활동이다. 

Competence should therefore be considered the integrative ability to do something successfully or efficiently (Oxford Dictionaries).Phrased another way, competence brings to each situation or each patient what is required by the situation, with little excessive use of effort or resources (Pangaro 2000). Thus,competence is reflected in a concrete act of the profession in daily practice. The ability to execute an EPA can thus be designated a competency, because that is exactly what an EPAis: an important, perhaps essential, activity that a professional has demonstrated by performing in a way that allows future trust. 


반복하면, 의사소통능력 또는 협업능력은 competency가 아니라 domain of competence라고 부르는 것이 더 적절하며, 좀 더 상세한 서브 스킬은 'facets of competence'이라고 부르는 것이 합리적일 것이다." 마지막으로 연습생은 기술적으로 특정 활동을 수행할 수 있지만, 특정 EPA를 광범위하고 통합적인 의미에서 숙달할 때까지 감독되지 않는 상태에서 혼자 수행하도록 위임받지 않는다. 따라서 trainee에 대해서 unsupervised practice에 대한 준비가 되기 이전에 competent 또는 competence라는 용어를 사용하는 것은 임시적이며, 제한적이다. 

To repeat, it would be sensible to call the ability to communicate or collaborate, a ‘‘domain of competence,’’ rather than a competency, as is often done, and to call more detailed sub-skills ‘‘facets of competence.’’ Finally, a trainee may be able to technically perform a specific activity,  but would not be entrusted to do so unsupervised, unless and until this EPA is mastered in a broad and integrative sense Any use of the term ‘‘competent’’ or ‘‘competency’’ before a trainee is ready for unsupervised practice is therefore provisional and limited. 


환자 치료와 같은 사회적 상황에서 기능하려면 지식, 기술, 태도의 실시간 조합이 필요하다는 것은 합성적 프레임워크의 가정이다.

It is an assumption of synthetic frameworks that functioning in a social situation, such as in patient care, requires the real-time combination of knowledge, skills, and attitudes.


수년간의 훈련을 마치면 competence가 최종 종착점이 되지만, 그 동안 학습자들은 점진적으로 늘어나는 실질적인 책임을 통해 실천 공동체(Lave & Wenger 1991)에 통합되어야 한다. 그 접근방식은 performance가 명백한 실천의 맥락을 갖고 있다는 점에서 본질적으로 사회적이며, 분석적 프레임워크처럼 행동적이지 않다. 즉, 상황과 무관하게 관찰될 수 있다는 점에서 측정 지향적이지 않다. 

Competence is a final end-point after years of training, but in the meantime learners must be incorporated into the community of practice (Lave & Wenger 1991) through increasing,real responsibility. The approach is essentially social in that performance has a clear practice context, and is not behavioral(measurement oriented, in that it can be observed independent of situation) as it is with analytic frameworks. 


합성적 접근법은 

    • 학생이 무엇을 배웠는지에 대한 "인식적" 질문에서, 

    • 시험 조건 하에서 학생이 무엇을 할 수 있는지(또는 시연할 수 있는) "행동적" 질문을 넘어, 

    • 더 나아가 밀러의 피라미드(Miller 1990) 상단에 있는 실질적인 책임의 상황에서, 학생이 어떤 행동을 실제로 하는지"does do"에 대한 질문으로 이동한다. 

Synthetic approaches move from the ‘‘cognitive’’ question of what the student has learned, and even beyond the ‘‘behavioral’’question of what the student can do (or demonstrate) under test conditions, to what the student ‘‘does do,’’ in a situation with real responsibility, over time, at the top of Miller’s Pyramid (Miller 1990). 


시뮬레이션된 시스템 상황에서 기능을 시뮬레이션된 상황에서 입증하기 위한 "competency"를 측정하는 것은 가능하지만, 우리는 이것을 기술skill이라고 부르고 싶다. 그리고 이 기술이 실제 상황에서 입증된 후에야 이 기술skill을 능력competency이라고 부를 수 있다. 그러므로 합성적 틀에 내포된 사회적 접근방식은 밀러의 피라미드에서 "shows how"와 "does"사이의 차이도 분명히 한다. 

While it is possible to measure functioning in a simulated system situation as a ‘‘competency’’to be demonstrated in a simulated situation, we would rather call this a skill; once demonstrated in an actual practice situation, a skill can be called a competency. Thus, the social approach, implicit in synthetic frameworks, also makes clear the difference between ‘‘shows how’’ and ‘‘does’’ in Miller’s Pyramid. 


업무나 역할에 책임을 위임할 수 있도록, 긴 시간과 여러 환자에 걸쳐 수행이 지속된다는 것은 합성 모델의 추가적인 가정이다. unsupervised practice에 대한 entrustment 결정은 대개 이 역량competency을 강화하기 위해 일정한 지속적 실천 기간을 요구한다. 

It is a further assumption of the synthetic model that performance is sustained over time and over multiple patients to enable entrustment of on-going responsibility for the task or role. Entrustment decisions for unsupervised practice, usually require a certain duration of sustained practice to consolidate this competency. 


RIME 모델(Pangaro 1999)은 합성 프레임워크의 한 예다. 예를 들어, "리포터"로서 일관된 신뢰성을 보여주지 않은 학생은 더 높은 수준의 책임으로 나아가는 것이 허용되지 않을 것이다.

The RIME model (Pangaro 1999) is an example of a synthetic framework. A student, for instance, who did not demonstrate consistent reliability as a ‘‘reporter’’ would not be allowed to progress to a higher level of responsibility


어떤 의미에서 RIME 프레임워크는 환자 치료가 어떤 것을 포함하는지를 간단히 기술한 것이기도 하다. 그 프레임워크에 쓰이는 vocabulary는 [교육, 평가, 이정표에 대한 커뮤니케이션과 합의의 많은 부분이 언어적인 문제라는 사실을 강조]해왔다. 학생들의 발전과정를 표현할 적절한 단어를 찾는 것은 학습자, 교사, 행정가들에게 매우 중요하다. RIME 어휘는 도입 후 북미 의학 교육(Hemmer et al. 2008)에 빠르게 익숙해졌고, 다양한 환경에서 실현 가능한 것으로 밝혀졌다(Battistone et al. 2002). 한 가지 이유는 이 프레임워크의 통합적 성격이 환자 치료 책임과 직접 관련이 있다고 인식되며, 따라서 일반적인 임상의사의 판단 시스템과 더 일치하기 때문일 수 있다(Gingerich et al. 2011).

In a sense, the RIME framework is a simple elaboration of what patient care encompasses.  The framework has been presented as a vocabulary, stressing the fact that much of the communication and consensus about education, assessment, and milestones isa linguistic issue. Finding the right words to express student progress is hugely important for learners, teachers, and administrators. After its introduction, the RIME vocabulary quickly caught on in North-American medical education(Hemmer et al. 2008), and was found feasible in a wide variety of settings (Battistone et al. 2002). One reason may well be that its synthetic nature is recognized as directly related to patient care responsibilities, and thus is more congruent with clinicians’ usual judgment systems (Gingerich et al. 2011).


합성어들은 일반적으로 구체적인 용어를 사용하며, 추상적으로 표현되는 경우가 적으며, 흔히 역할을 기술한다. 예를 들어, CanMEDs 프레임워크에서 "Medical Expert" 또는 "Advocate"라는 용어는 이것을 채울fill 과제나 역할을 필요로 하며, RIME 체계의 "Reporter"라는 것은 바로 그 역할이 될 수 있다.

Synthetic terminologies typically use concrete terms and are less often expressed in generic abstractions, and they often describe roles. The term ‘‘Medical Expert’’ or ‘‘Advocate’’ from the CanMEDs framework, for instance, imply a task or role to be filled, just as ‘‘reporter’’ in the RIME scheme is a role to been trusted. 


분석적 프레임워크는 그 프레임워크에 사용된 단어의 의미만 보자면 논리적으로 매우 옳지만, 합성적 프레임워크는 그 프레임워크가 지니는 의미가 세상world과 연관되어야만 참이 된다. RIME과 같은 합성 체계는 능력이 포함될 수 있는 이전의 개념에서 도출되거나 "분석된" 것이 아니라, 의사가 수행하는 작업과 역할에 대한 작업장의 관찰에 의존한다.

Analytic propositions are logically true by virtue of the meaning of the words alone, while synthetic propositions are known to be true from how their meaning relates to the world. Synthetic frameworks,such as RIME, depend upon a workplace observation of the tasks and roles that physicians perform, rather than being abstractions derived from, or ‘‘analyzed’’ from, a prior concept of what competence would include.


프레임워크를 사용하는 사람들의 실제 의료현장에서의 실천으로부터 파생된 모델이 이점을 갖는다는 것은 이치에 맞는다. 임상 정보 수집 및 커뮤니케이션(리포팅), 결론 도달(인터프리팅), 공식 계획(매니징)은 의사의 일상 업무의 일부다. 그 기저에 깔린 구인(정신 모델)은 의사의 일상 업무 공간을 반영하며, 따라서 Bloom의 지식-기술-태도 접근과 같은 추상화에서 파생된 것보다 더 쉽게 이용할 수 있다. 즉, 합성적 접근법은 의사가 환자 치료에 적용하는 두 가지 능력, 즉 패턴 인식과 지저분한 일련의 발견으로부터 결론에 도달하는 능력을 이용한다.

It makes sense that a mental model derived from the actual practice of those using a framework would have advantages. Gathering and communicating clinical information (reporting), reaching conclusions (interpreting), and formulating plans (managing) are part of the daily work of physicians. the underlying construct (mental model) reflects the daily workplace tasks of physicians, and thus is more easily available than one derived from abstractions, such as Bloom’s knowledge-skills-attitudes approach. The synthetic approach takes advantage of two abilities which physicians apply in patient care—pattern recognition and reaching conclusions from messy sets of findings.


발달적 프레임워크, 발달과정에 초점

Developmental frameworks, focused on progression


발달적 프레임워크에서 학습자는 독립성을 향해 사다리를 한 걸음 한 걸음 한 걸음 더 나아간다. 발달적 프레임워크는 위에서 언급한 보다 정적인 결과 기반 프레임워크와 반대로 항상 학습자의 개발 단계 또는 이정표를 언급한다.

In a developmental framework, the learner progresses step-wise up a ladder toward independence. Developmental frameworks always mention stages or milestones in the development of the learner, as opposed to the more static outcome-based frameworks mentioned above.


아이들의 성장은 종종 교육 과정에서 학생들의 성장에 대한 이미지나 은유로 사용되어 왔다. 진보와 성장을 학습 과정의 기본으로 보는 것은 꽤 오래된 것이다. 플라톤은 심리적인 성장을 피상적이고 구체적인 세부사항에 대한 인식에서 그 밑바탕에 있는 진정한 의미와 형태에 대한 인식(Kenny 2004)으로 나아가는 진보라고 묘사한다. 이는 징후와 증상에서 병리학적 과정의 기본 개념인 진단으로 이동하는 것과 직접적으로 유사하다.

The growth of children has often been used as an image or metaphor for the growth of students in an educational process. Seeing progress and growth as the basis of the learning process is quite old. Plato describes psychological growth as progress from an awareness of superficial, concrete details toward a perception of the true meaning and form underlying them (Kenny 2004). This is directly analogous to moving from signs and symptoms to an underlying concept of a pathological process, the diagnosis.


고등교육에서 자주 언급되는 발달 프레임워크에는 초보자, 고급 초보자, 능력자, 숙련자, 전문가 등 5가지 단계가 포함된다.(Dreyfus & Dreyfus 1986).

 A frequently cited developmental framework in higher education, includes five stages: novice, advanced beginner, competent, proficient, and expert.(Dreyfus & Dreyfus 1986).


발달적 모델의 가정은 stages, 또는 논리적 순서로 진행되는 steps가 존재하며, 각각의 단계는 progression을 위해 필요하다는 것이다. 일단 일의 고급 초보자라면, 사람은 더 이상 초보자처럼 보이거나 행동하지 않는다.

The assumption of the developmental model is that there are stages, or steps of progression in a logical order, and that each step is required for progression. Once one is an advanced beginner in a task, one no longer looks or behaves like a novice.


발달적 모델에서 'competence'이라는 용어는 하나의 단계로 사용되는데, 아마도 가장 중요한 단계일 것이지만, 드레퓌스 모델이 보여주듯이 반드시 마지막 단계는 아니다. "competent"는 적어도 학습자의 일정한 독립성을 허용하는 임계값으로 간주될 수 있다 (10 Cate et).

In a developmental model, the term ‘‘competence’’ is used as one step, probably the most important, but not necessarily the final step, as the Dreyfus model shows. ‘‘Competent’’ can at least be viewed as a threshold that should permit a certain independence of the learner (ten Cate et al. 2010).


특히 드레퓌스 용어는 의도적으로 일반적intentionally generic이며 학습자나 교사에게 무엇이 기대되는지에 대한 구체적인 그림을 주지 않는다.

The Dreyfus terms in particular are intentionally generic and do not give learners or teachers a concrete picture of what is expected.


한편, 독립적인 실천을 향한 진행 상황을 문서화하기 위해 "마일스톤"를 사용하는 것은 분명히 경험적인 것으로, 전문가의 관찰에 의해 선택된 목적이다. 특정 환경에서 특정 학생에게 프레임워크를 신뢰성있게 적용하는 일관성을 달성하기 위해서는 여전히 많은 작업이 수행되어야 한다.

On the other hand, the use of ‘‘milestones’’ to document progression toward independent practice is clearly empiric, with the objectives chosen by the observation of experts. To achieve the consistency of use that allows reliable application of the framework to specific students in specific settings, a lot of work must still be done.


예를 들어 "노비스"(수행능력이 rule-driven인 경우)에서 "고급 초심자"(분석적 추론과 패턴 인식 사용)로 의료 전문 지식의 진보가 어떤 것인지(패턴의 한계를 인식한다).

for what progress in medical expertise looks like, for example, 

    • from ‘‘novice’’ (for whom performance is rule driven) 

    • to ‘advanced beginner’’ (uses both analytic reasoning and pattern recognition) 

    • to expert (recognizes the limits of pattern).


개발 틀에서. "전문가" 지위를 획득한 후에 "노비스"로 다시 기능하는 것은 일종의 질병의 재발relapse로 볼 수 있을 것이다. 이것이 "RIME"이 완전한 발달적 프레임워크가 아니라는 한 가지 이유다.

in a developmental framework To function again as a ‘‘novice,’’ after having achieved ‘‘expert’’ status would be seen as a relapse. This is one reason that ‘‘RIME’’ is not a fully developmental framework;



대부분의 프레임워크의 하이브리드적 특성

The hybrid nature of most frameworks


ACGME에 의해 아직 명시되지는 않았지만, 우리는 "patient care"의 역량 영역이 분명히 지배적인 영역이며, 다른 모든 사람들이 진정으로 지지하는 영역이라고 주장할 것이다. "환자 치료"는 그 자체로 교수진 개발 노력이 선생님과 환경에 걸쳐 공유된 의미를 개발하는데 초점을 맞춰야 하는 합성적이며 다차원적인 용어다. 다른 영역에서 부실한 의사가 환자 치료에서 우수할 수는 없다.

Although not yet made explicit by the ACGME, we would argue that the competency domain of ‘‘patient care’’ is clearly the dominant domain, which all others really support. ‘‘Patient care’’ is itself a synthetic, multidimensional term for which faculty development efforts must be focused on developing a shared meaning, across teachers and settings. One cannot be superb in patient care while at the same time mediocre in the other domains.


분석적 프레임워크와 합성적 프레임워크도 명확히 발달적 특성을 갖는다. 의학 교육은 10년 이상의 훈련을 받을 수 있기 때문에, 교육자들은 그들이 사용하는 어떤 프레임워크의 발달 측면을 분명히 표현하기 위해 노력을 기울여야 한다는 것은 분명하다.

Developmental features of analytic and synthetic frameworks are also apparent. Because medical education may span well over a decade of training, it is clear that educators must spend effort to articulate the developmental aspect of any framework that they use.


ACGME 모델의 출발점이 분석적이었기 때문에, 발달적 측면이 본질적이지는 않지만, 현재 "마일스톤"의 형태로 개발 중에 있다(Green et al. 2009). 이제 역량 영역을 이정표와 결합하면 혼합 프레임워크가 명확하게 된다.

As the starting point of the ACGME model was analytic, the developmental aspect was not intrinsic, but is now under development in the form of ‘‘milestones’’ (Green et al. 2009). The combination of competency domains with milestones now clearly results in a hybrid framework.


한편, 합성적인 RIME 프레임워크는 다음 연수의 진전에 대한 판단을 지도하기 위해 미국의 임상실습에서 널리 사용될 수 있는 발달적 측면을 가지고 있다(Hemmer et al. 2008). 그러나 interpreter의 지위를 얻은 학생이 reporting task를 무조건 잘 하는 것은 아니므로 엄격히 발달적인 것은 아니다. 사실, 그들은 점차 더 reporting을 잘 하게 된다.

On the other hand, the synthetic RIME framework has a developmental aspect allowing it to be widely used in clerkships in the United States to guide judgments on advancement to the next year of training (Hemmer et al. 2008). Yet, it is not strictly developmental in that those who have earned interpreter ‘‘status’’ do not leave reporting tasks behind. In fact, they get better at reporting. 


대부분의 교육자들은 시간이 지남에 따라 독립성을 강화하는 역할을 하고 있으며, 프로그램과 사무국장들은 개발적으로 적절한 목표를 설명하고 전달할 수 있어야 한다.

Most educators have the role of fostering independence over time, and program and clerkship directors must be able to describe and communicate developmentally appropriate goals.



교사를 위한 가이드 - 프레임워크를 사용한 학습자 평가

Guiding teachers—the use of frameworks for the assessment of learners—Theory in practice


분석적 지식-기술-적성 프레임워크의 한 차원(인식) 내의 개발 단계를 사용하여 RIME(표 8)과 같은 합성 프레임워크 내에서 요구되는 점진적으로 높은 수준을 반영할 수 있다.

The developmental stages within one dimension (the cognitive) of the analytic knowledge-skill-attitude framework can be used to reflect the progressively higher levels required within a synthetic framework such as RIME (Table 8).


평가 프로세스 내에서 특정 작업이나 활동을 관찰하고 문서화할 수 있으며, 과제를 수행하는 데 필요한 역량이나 기술을 이러한 관찰에서 추론할 수 있다는 것을 깨닫는 것이 중요하다. 이것은 표 5에서 예시하였다.

Within the assessment process it is important to realize that specific tasks or activities can be observed and documented, and that the competencies or skills required to perform the task are inferred from these observations. This was illustrated above in Table 5.


면허 취득을 목표로 의사를 양성할 때, 우리의 강조점은 성과 지향적인 프레임워크에 있어야 한다. 이를 위해서는 이분법적인 합격-실패 집중이 필요하며, 학습자가 개발 프레임워크에서 중간 이정표를 달성하는 것은 덜 중요하다.

when we prepare physicians for licensing, then our emphasis must be on an outcomes-oriented framework. This requires a dichotomous pass–fail focus, and the learner’s attainment of intermediate milestones in a developmental framework is then less important.


이와는 대조적으로, 우리의 교육적 역할이 학부부터 대학원 의학 교육에 이르는 오랜 과정에 걸쳐 성장을 촉진하는 것이라면, 명시적으로 발달적인 프레임워크는 필수적이 될 것이다. 구조적인 관찰과 피드백은 종합적 결정이 아니라 개선과 진보를 위해 설계된다.

By contrast, if our educational role is to foster growth over a long process from undergraduate to graduate medical education, then an explicitly developmental framework becomes essential. Structured observation and feedback are designed for improvement and advancement, not a summative decision.


합성 접근방식에 의해 제기되는 특별한 문제는 전문가로 추정되는 래더의 판단인 오랜 기간 동안 사용 가능한 방법들이 체계적으로 연구되지 않았다는 것이다. 실제로 최근 수십 년 동안의 분석적 접근방식은 정신계적으로 방어 가능한 정량화된 측정의 중요성을 강조하고 있으며(Lurie et al. 2011), 이는 더 강조되지 않고 아마도 더 서술적인 평가를 평가(Pangaro 2000)을 평가절하했을 것이다.

The particular problem posed by synthetic approaches is that the time-honored available methods, judgments by raters presumed to be expert, have not been systematically studied. In fact the analytic approaches of recent decades have emphasized the importance and highlighted the difficulty of psychometrically defensible quantified measurements (Lurie et al. 2011), which have de-emphasized and perhaps devalued more descriptive evaluations (Pangaro 2000).



Epstein RM, Hundert EM. 2002. Defining and assessing professional competence. Med Humanit 287(2):226–235.










 2013 Jun;35(6):e1197-210. doi: 10.3109/0142159X.2013.788789. Epub 2013 May 16.

Frameworks for learner assessment in medicineAMEE Guide No. 78.

Author information

1
Department of Medicine, F. Edward Hebert School of Medicine, Uniformed Services University of the HealthSciences, 4301 Jones Bridge Road, Bethesda, MD 20814-4799, USA. louispangaro@aol.com

Abstract

In any evaluation system of medical trainees there is an underlying set of assumptions about what is to be evaluated (i.e., which goals reflect the values of the system or institution), what kind of observations or assessments are useful to allow judgments 1 ; and how these are to be analyzed and compared to a standard of what is to be achieved by the learner. These assumptions can be conventionalized into a framework for evaluation. Frameworks encompass, or "frame," a group of ideas or categories to reflect the educational goals against which a trainee's level of competence or progress is gauged. Different frameworks provide different ways of looking at the practice of medicine and have different purposes. In the first place, frameworks should enable educators to determine to what extent trainees are ready for advancement, that is, whether the desired competence has been attained. They should provide both a valid mental model of competence and also terms to describe successful performance, either at the end of training or as milestones during the curriculum. Consequently, such frameworks drive learning by providing learners with a guide for what is expected. Frameworks should also enhance consistency and reliability of ratings across staff and settings. Finally, they determine the content of, and resources needed for, rater training to achieve consistency of use. This is especially important in clinical rotations, in which reliable assessments have been most difficult to achieve. Because the limitations of workplace-based assessment have persisted despite the use of traditional frameworks (such as those based on knowledge, skills, and attitudes), this Guide will explore the assumptions and characteristics of traditional and newer frameworks. In this AMEE Guide, we make a distinction between analytic, synthetic, and developmental frameworks. Analytic frameworks deconstruct competence into individual pieces, to evaluate each separately. Synthetic frameworks attempt to view competence holistically, focusing evaluation on the performance in real-world activities. Developmental frameworks focus on stages of, or milestones, in the progression toward competence. Most frameworks have one predominant perspective; some have a hybrid nature.

PMID:
 
23676179
 
DOI:
 
10.3109/0142159X.2013.788789


만약 위임에서의 '신뢰'가 사회적 판단이라면? (Med Educ, 2015)

What if the ‘trust’ in entrustable were a social judgement?

Andrea Gingerich




Hauer 등 1명은 다음과 같이 결론짓는다: '우리의 발견은 신뢰를 발전시키는 경험이 아마도 이정표로 세분화될 수 없는 합성적이고 전체적인 판단을 수반할 수 있음을 시사한다.' 그러나 신뢰는 효과적인 평가 시스템의 핵심 부분으로 점점 공식화되고 있다.2 우리가 우리의 가장 영향력 있는 사회적 판단인 신뢰와 그것을 의학 교육에서 공식적인 평가 시스템의 기초로 사용한다면 어떤 결과가 나타날까? 확실히 신뢰성은 사회적 추론이며 역량처럼 '객관적'은 아니다. 그러나 무엇보다도 신뢰는 우리가 다른 사람들에게서 가장 중요하게 여기는 특성이다.3 실제로, 사회 심리학의 근거에 따르면, [다른 사람의 도덕적 특성인 정직, 성실, 신뢰성에 관한 정보를 찾는 것]이 우리의 가장 흔한 사회적 판단을 반영한다고 말한다.

Hauer et al.1 conclude: ‘...our findings suggest that the experience of developing trust can involve a synthetic, holistic judgement that perhaps cannot be fragmented into milestones.’ Yet, trust is increasingly formalised as a key part of an effective assessment system.2 What might be the outcome if we were to take our most influential social judgement – trust – and use it as the foundation of a formal assessment system in medical education?Certainly, trustworthiness is a social inference and not as ‘objective’ as things like competencies. However, it is, above all, the trait we value most in others.3 In fact, there is evidence from social psychology to suggest that the search for information regarding others’ moral characteristics – honesty, sincerity, trustworthiness – reflects  the social judgements we most commonly make.4


'면밀한 감독관들은 

  • 언제 훈련생들이 중요한 결정을 내리도록 신뢰할 수 있을지, 

  • 언제 훈련생들이 독립적으로 중요한 의료 절차를 수행할 수 있을지, 

  • 언제 훈련생들에게 가까운 감독이나 관찰이 필요한지

...를 감지하는 경우가 많다고 한다. 따라서 이러한 자연적 경향을 억제하고 우리의 공식적인 평가 시스템에서 '객관적'적 조치들로 대체하려고 하기보다는, 감독관의 신뢰 판단을 이용하고 '평가 목적으로 신뢰성에 대한 이러한 직감들을 완전히 이용하는 것이 더 낫지 않을까? 이는 케이트가 위임 가능한 전문 활동(EPA) 개념을 처음 도입했을 때의 제안을 반영한 것이다.2

It has been said that ‘...conscientious supervisors often sense when they can either trust trainees to make critical decisions or perform critical medical procedures independently, or when close supervision or observation will be necessary’2 [my emphasis]. So, rather than trying to suppress these natural tendencies and to supplant them with ‘objective’ measures in our formal assessment systems, might it not be more prudent to take advantage of supervisors’ trust judgements and ‘fully exploit these gut feelings about trustworthiness for assessment purposes’?7 This reflects ten Cate’s proposal when he first introduced the concept of entrustable professional activities (EPAs).2


인상 형성의 "모든" 단계에서 타인의 신뢰성에 대한 우리의 결정이 그들의 사교성이나 능력에 관한 정보보다 타인에 대한 우리의 판단에 더 큰 영향을 미친다는 것이 밝혀졌다.5 또한 신뢰성 판단의 이러한 만능성은 단순히 사회적 현상일 뿐만 아니라 이러한 것들이 우리의 의료 훈련 모델에 깊이 자리 잡고 있다는 주장도 제기될 수 있다. 지금도 모든 곳의 수련자들이 직접적인 관찰 없이 임상 활동을 수행할 수 있도록 신뢰받고 있으며, (특별히 우려할만한 이유를 정당화할 구체적인 징후가 없는 상황에서조차) 경험 많은 감독자들은  임상 진단과 관리에 대한 경계심을 높이기 위해 직감, 직감, 불안감 등을 이용하고 있다.n.6

It has been shown that, in ALL stages of impression formation, our determination of another’s trustworthiness is more influential in our judgements of other people than information pertaining to their sociability or their competence.5 Further, it could be argued that the omnipresence of judgements of trustworthiness is not merely a social phenomenon, but that these are also deeply entrenched in our medical training model. Right now, trainees everywhere are being trusted to perform clinical activities without direct observation and experienced supervisors are using their gut feelings, intuitions and senses of uneasiness to increase their vigilance in clinical diagnosis and management even in situations in which there are no specific indications to justify such concern.6


그렇다면, 우리는 평가 시스템의 기초로서 '전문직 활동'보다는 EPA의 '신뢰가능성' 측면에 더 초점을 맞춘다면 어떨까? 이러한 초점의 변화는 평가 설계에 어떤 영향을 미칠 수 있는가?

What, then, if for argument’s sake, we were to focus more on the ‘entrustable’ aspect of EPAs than on the ‘professional activities’ as the basis for an assessment system? How might that shift in focus affect the assessment design?


만일 '신뢰라는 개념은 [관찰된 능력]을 훨씬 넘어서는 '역량'까지도 반영한다'라고 본다면, 우리가 이것(EPA의 위임가능/신뢰가능)을 잘 할 수 있으려면, [신뢰의 사회적 판단]을 더 잘 활용하고, 신뢰를 다른 역량처럼 취급하려는 유혹에 어떻게 저항할 것인가에 대해 매우 다르게 생각할 필요가 있을 것이다.7

To be able to do this well, we may need to think very differently about how to best utilise the social judgement of trust and resist the temptation to treat it in the same way we treat other competencies, especially if ‘the idea of trust reflects a dimension of competence that reaches further than observed ability’.7


우선, 우리는 신뢰 판단이 인지적 요소뿐만 아니라 정서적 요소를 가지고 있다는 생각을 설명할 필요가 있을 것이다. 좀 더 구체적으로, 신뢰는 [희망과 자신감과 같은 감정, 기꺼이 취약해지려는 의지, 바람직한 결과에 대한 기대]와 관련이 있다. 이와는 대조적으로 불신은 공포, 회의, 냉소, 망설임, 신중함, 조심성 그리고 경계와 관련이 있다.8 이러한 감정(및 인식)을 고려해본다면, 신뢰는 위험을 감수하는 활동이다. 즉, trainee를 감독함에 있어서 그들의 임상역량의 한계까지 밀고 나가는 것은 관리자가 위험을 감수하는 것이다.

For a start, we would need to account for the idea that trust judgements have an affective as well as a cognitive component. More specifically, trust is associated with the emotions of hope and confidence, with a willingness to be vulnerable and with expectations of favourable outcomes. By contrast, distrust is associated with fear, scepticism, cynicism, hesitance and increased wariness, watchfulness and vigilance.8 These emotions (and cognitions) fit with the idea that trusting is a risk-taking activity, and certainly overseeing trainees as they push towards the limits of their clinical competency is a risktaking activity for supervisors,9


또한 타인에 대한 신뢰도 감시와 함께 경계심을 유지하고 가능한 위협을 탐지하는 것은 우리가 의식적인 생각 없이도 빠르고 심지어는 신속하게 할 수 있는 일임을 고려해야 한다.10 위임결정에 대해 anchor되어있는 평가 시스템은 신뢰라는 것이 의식적이면서도deliberate 동시에 자동적인automatic 사회적 인지 과정임을 모두 고려할 필요가 있다. 더 중요한 것은, 이 시스템은 의사의 임시적인 주관적 신뢰와 신뢰성에 대한 판단을 존중하고 지원할 필요가 있을 것이다12,13 왜냐하면 신뢰라는 것은 [추정될 수 있고, 암시될 수 있고, 느껴질 수 있고, 창조될 수 있고, 발견될 수 있고, 얻어질 수 있거나 잃을 수 있지만] 관찰되지는 않기 때문이다.

We should also consider that maintaining vigilance and detecting possible threats along with monitoring trustworthiness in others is something we can do rapidly and even without conscious thought.10 An assessment system anchored in entrustment decisions would need to grapple with the fact that trust judgements incorporate both deliberate and automatic social cognition processes.11 More importantly, this system would need to respect and support physicians’ ad hoc subjective judgements of trust and trustworthiness12,13 because trust can be assumed, inferred, felt, created, discovered, earned and lost, but not observed.


신뢰도 평가에서 이러한 요소들을 고려할 때, 문서화해야 할 것은 행동이 아닐 수 있다.

Given these factors in the assessment of trustworthiness, behaviours may not be the most appropriate performance feature to document.


이 시스템에서는 trainee가 수행한 퍼포먼스의 품질을 설명하기보다는, 임상적 관리감독 및 감독자 개입에 대한 유동성과 맥락 특이적의 설명이 더 중요할 수 있다. 예를 들면 '내가 단계 X부터는 procedure를 인계받아야 했다' 또는 '나는 이중 점검해야 한다고 느꼈다'와 같은 기술이 그것이다. 이와 같은 평가시스템은 우리가 감독관들에게 '알고 있다' 또는 '인식한다'와 같은 순수한 인지 활동에 초점을 맞추도록 지시하는 것에서 '보면서 불안했다' 또는 '안정적이었고, 확신을 주었다'와 같은 신뢰와 더 일치된 감정을 보고하도록 격려하는 것으로 전환하도록 요구한다.

Rather than describing the quality of their clinical performance, this system might value descriptions of the fluidity and context-specificity of clinical oversight and supervisor intervention,12–14 which might be evidenced in comments like, ‘I needed to take over the procedure at step X’ or ‘I felt compelled to double-check...’9,15,16 Such an assessment system would require us to shift from directing supervisors to focus on purely cognitive activities such as ‘knowing’ or ‘recognising’ to encouraging them to report feelings more congruent with trust such as ‘being on edge while observing’ or ‘feeling calm and reassured during the procedure’.


이러한 노력은 우리로 하여금 [관측 가능하고 행동적이며(객관적인) 수행 결정을 기반으로 수행할 수 있는 '전문적 활동']에 더 많은 초점을 맞추도록 했다. 그러한 노력을 통해, EPA의 구성은 기능적으로 역량 평가로 축소된다. 그러나, trainee의 학습과 환자 안전의 균형을 맞추기 위해 우리의 임상 감독자들에게 매 순간마다 기대하는 '신뢰'는 이것보다 훨씬 더 역동적이고, 문맥적이며, 덧없고, 주관적이다. 그렇긴 하지만, 주관성에도 불구하고 이것은 '진짜'이다.

This effort has led us to place greater focus on the ‘professional activities’ a learner is able to perform based on observable, behavioural (objective) determinations of performance. Through such an effort, the construct of EPAs is functionally reduced to assessments of competence. However, the ‘trust’ we expect our clinical supervisors to wield with such skill from moment to moment in order to balance trainee learning and patient safety is substantially more dynamic, more contextual, more ephemeral, and more subjective than this. That said, it is no less ‘real’ for its subjectivity.


EFA를 미니-역량으로 줄이기 보다는, 이러한 신뢰 판단을 최대한 활용하는 보완적 평가 시스템을 설계하는 것이 더 유용하지 않을까?

rather than reducing EPAs to mini-competencies , might it not be more useful to design a complementary assessment system that takes full advantage of these trust judge-ments? 


13 Hauer KE, ten Cate O, Boscardin C, Irby DM, Iobst W, O’Sullivan PS. Understanding trust as an essential element of trainee supervision and learning in the workplace. Adv Health Sci Educ Theory Pract 2014;19 (3):435–56.





 2015 Aug;49(8):750-2. doi: 10.1111/medu.12772.

What if the 'trust' in entrustable were a social judgement?

Author information

1
Prince George, British Columbia, Canada.
PMID:
 
26152484
 
DOI:
 
10.1111/medu.12772
[Indexed for MEDLINE]


+ Recent posts