임상교육에서의 피드백: 고르디우스의 매듭 풀기(Acad Med, 2015)

Feedback in Clinical Education: Untying the Gordian Knot

Debra F. Weinstein, MD




특정 역량 달성과 관련된 커리큘럼-기반 경험에서 성과 평가 및 피드백은 필수적입니다.

In a curriculum-based experience linked to achievement of specific competencies , performance evaluation and feedback are essential.


평가는 다양한 목적이 있습니다

  • 적절한 퍼포먼스와 진행을 문서화하고, 

  • 적절한 임상 감독 수준에 대한 결정을 통보하고 

  • 의대 졸업을 위해 필요한 역량 달성을 확인하는 등 

Evaluation has multiple purposes, including documenting adequate performance and progression, informing decisions about the appropriate degree of clinical supervision, and affirming the achievement of competencies required for medical school graduation


피드백은 종종받는 사람의 성과를 향상시키는 단 하나의 목표만 있는 것처럼 간주되나 그렇지 않다.

  • 그러나, 피드백은 학습자가 자신의 능력을 스스로 평가하고, 나중에 자기-조절 할 수있는 능력을 키우는 데 중요한 도구입니다. 

  • 피드백은 학습자가 외부 평가와 비교하여 자기 평가(의 정확성)을 확인할 수 있는 순차적 인 기회를 제공합니다 .2 

  • 또한 긍정적 인 피드백을 통해 얻은 기술 및 역량의 확신은 임상 의사가 독립적 의료행위를 위한 필수적인 자신감을 갖출 수 있도록 도와줍니다.

Feedback is often viewed as having the singular goal of improving the recipient’s performance. However, it is also an important tool for cultivating the learner’s ability to self-evaluate and later self-regulate in clinical practice. Feedback provides sequential opportunities for learners to check self-assessment against external assessment .2 Further, the affirmation of skills and competence obtained through positive feedback helps clinicians-in-training build the level of confidence essential for independent practice.


즉각적이고 비공식적인 피드백과, 보다 공식적이고 주제별 피드백의 가치가 인정되었습니다.

The value of both immediate, informal feedback and more formal, thematic feedback are now acknowledged.

  • 즉각적, 비공식적 피드백: 모든 전문 분야 및 모든 환경의 임상 교사는 학습자를 직접 관찰하고, 개별 학습자의 성과에 대한 즉각적인 형성적 피드백을 제공 할 것으로 기대됩니다. 즉각적인 피드백은 (임상 교육의 중요한 도구가되고있는) 의료 시뮬레이션의 초석이기도합니다. 

  • 공식적, 주제별 피드백: 임상실습이나 로테이션 종료시에 주는 공식적인 피드백은 여러 관찰결과를 통합적으로 반영하고, 석차를 매기는 데있어서 중요합니다. 마지막으로 학생이나 GME 프로그램 책임자가 제공하는 공식적, 주제별 피드백은 여러 감독자로부터 접수한 종단적 정보를 통합하고 있으며, 특히 큰 영향력을 갖는다.

  • Clinical teachers in all specialties and all settings are expected to provide in-the-moment formative comments on individual learners’ performance, informed by direct observation. Immediate feedback is also a cornerstone of medical simulation, which is becoming an important tool in clinical education. 

  • More formal feedback—such as that occurring at the end of a clerkship or rotation—is also critical in that it reflects and prioritizes multiple observations. Finally, the formal, thematic feedback that a dean of students or a GME program director provides, synthesizing longitudinal information received from multiple supervisors can be particularly influential.


피드백의 결과를 측정하기는 어렵지만, 피드백에 대한 만족은 상대적으로 측정이 쉽다. 유감스럽게도 2012 년 미국 의과 대학 의과 대학 졸업식 설문 조사 협회 (American Medical Colleges Medical School Graduation Questionnaire)에 따르면 일부 핵심과 임상실습에서 학생 중 3 분의 1이 "교수진이 자신의 수행 능력에 대한 충분한 피드백을 제공했다"는 것에 동의하지 않았습니다.

Although outcomes of feedback are difficult to measure, satisfaction with feedback is not. Unfortunately, the 2012 Association of American Medical Colleges Medical School Graduation Questionnaire reveals that for some core clerkships, as many as one-third of responding students did not agree that “faculty provided sufficient feedback on [their] performance.”5


피드백 실패에 대한 몇 가지 잠재적인 해석은 고려할만한 가치가 있습니다. 

  • 교수진은 피드백을 주는데 필요한 기술이 부족합니다. 

  • 피드백을 줄 시간은 할당되지 않는다. 

  • 감독관은 학습자와의 충분한 접촉이 없거나 직접 관찰 할 기회가 없다. 

  • 학습자는 피드백을 받거나 수용할 수 있게 "prime"되어있지 않다.

Several potential explanations for feedback failure deserve consideration: Faculty lack the necessary skills; time is not allocated for the activity; supervisors do not have sufficient contact with learners or opportunities to directly observe them; and learners are not well “primed” to receive or accept feedback.


피드백을 개선하려는 노력은 일반적으로 내용과 전달(무엇을 말하고 어떻게 말 할지)을 목표로 삼았습니다.

efforts to improve feedback have generally targeted content and delivery— what to say and how to say it.


관계-기반 피드백은 새로운 개념이 아닙니다. 다만, 교육적 피드백을 경험적으로 입증 된 "치료 동맹"에 비유함으로써 피드백을 개선하기 위한 중요한 공간을 만들어주며, 이는 임상의이 공감할 가능성이 있는 요소를 강조합니다. 이 개념의 핵심적 측면은 "무슨 의견을 어떻게 전달하느냐"만큼이나 "누가 전달하느냐"에 주목해야 한다는 것이다.

The general concept of relationship-based feedback is not new. However, the analogy these authors build between educational feedback and the empirically validated “therapeutic alliance” highlights a potentially important avenue for enhancing feedback, and one that is likely to resonate among  clinicians. A key aspect of this formulation is that who gives the feedback may deserve as least as much attention as the what or the how of its delivery.


Telio와 동료 1은 피드백의 맥락과 관계 측면의 중요성을 주장합니다. 그들은 "출처 신뢰도"피드백을 제공하는 사람에 대한 신뢰가 피드백 수용과 효과에 영향을 미친다는 것에 주목합니다. 이 신뢰성은 다음에 달려있다.

  • 교사 - 학습자 관계의 본질과, 가치관의 일치;

  • 학습자의 역할과 목표에 대한 교사의 이해;

  • 교사의 학습자에 대한 직접적인 관찰; 

  • 교사의 선의에 대한 학습자의 인식 ( "선행").


Telio and colleagues1 assert the importance of the contextual and relational aspects of feedback. They note that “source credibility”—that is, the credibility of the person providing feedback—influences feedback acceptance and effectiveness. This credibility depends on 

  • the nature and quality of the teacher–learner relationship and alignment of values; 

  • the teacher’s understanding of the learner’s role and goals; 

  • the teacher’s direct observation of the learner; and 

  • the learner’s perception of the teacher’s good intentions (termed “beneficence”).


대부분의 의학 교육 프로그램은 교육 동맹 모델을 지원하는 방식으로 고안되지 않았습니다

  • 환자와 치료자의 조화와 달리, 학생과 레지던트는 일반적으로 그들이 일하는 감독자를 선택할 여지가 없습니다. 

  • 또한 감독자 역할을 할 의사는 그 의사가 교육에 대한 관심이 있는지, 학습자 성과를 평가하고 피드백을 제공 할 수 있는 능력이 있는지와 무관하게 어떤 환자를 보는지 혹은 어떤 임상 전문 지식을 가지고 있는지에 따라 선택됩니다. 

  • 일정상의 제약 조건은 종종 학습자와 수퍼바이저 간의 연속성을 제한하여 관계를 구축하기가 더 어렵습니다. 

  • 일부 전문 분야에서의 시간 압박과 치료 전달 과정은 임상 교사가 학습자를 직접 관찰 할 기회를 주지 않고, 이는 출처 신뢰도에 중요한 부정적 영향을 미친다 . 

이처럼 다양한 원인으로 바쁜 임상 환경은 자연적으로 교육 동맹을 수립하는 데 도움이되지 않습니다 .

Most medical education programs are not designed in a way that supports the educational alliance model, though. Unlike pairings of patients and therapists, students and residents usually have little or no choice in the supervisors with whom they work. Also, the physicians who serve as faculty supervisors are often selected for that role on the basis of their patient mix and clinical expertise, regardless of their interest in education or their ability to assess learner performance and provide feedback. scheduling constraints often limit continuity between learners and supervisors, making it harder to build relationships. Time pressures and the care delivery process in some specialties interfere with clinical teachers’ ability to directly observe learners, denying them an important ingredient for “source credibility.” In these and other ways, the busy clinical setting is not naturally conducive to establishing educational alliances. 



• 임상 감독자 선정은 교수진의 대인 관계 기술 및 교수의 (교육) 관심도를 반영해야하며, 특히 이전 연수생이 그 감독자를 어떻게 인식하였는지를 고려해야 한다. 효과적인 교육자가 될 임상의가 스스로 교육에 참여하기를 원하게 하도록 의미있는 인센티브와 보상을 마련해야합니다.

• The selection of clinical supervisors should reflect the faculty members’ interpersonal skills and interest in teaching, especially as perceived by prior trainees. Ideally, meaningful incentives and rewards should be put into place so that clinicians who would be effective educators will want to teach.


• 각 연수생은 강하게 긍정적인 관계가 나타날 기회를 높이기 위해 여러 명의 교수진 감독자에게 노출되어야합니다. (아주 작은 프로그램의 경우, 제휴 기관으로의 전환을 통해이 작업을 수행 할 수 있습니다.) 동시에 학습자는 기존 관계를 구축하기 위해 교수 수퍼바이저와 순차적 또는 장기적으로 경험할 수있는 혜택을 누릴 수 있습니다.

• Each trainee should be exposed to multiple faculty supervisors to increase the chance that a strongly positive relationship will emerge. (In very small programs, this could be accomplished through rotations to affiliate institutions.) At the same time, learners may benefit from having some sequential or longitudinal experiences with faculty supervisors in order to build on existing relationships.


• 교사와 학습자는 각 활동이나 경험에 대한 학습자의 교육 필요와 목표를 명시 적으로 논의하도록 권장되어야합니다.

• Teachers and learners should be encouraged to explicitly discuss learners’ educational needs and goals for each activity or experience.


• 평가 및 피드백의 정확성과 신뢰성을 높이기 위해 직접 관찰 기회를 극대화해야합니다. 이것은 수술 환경에서는 자연적으로 발생하지만 병원이나 병원 환경에서 성취하기가 어려울 수 있습니다.

• Opportunities for direct observation should be maximized to enhance the accuracy and credibility of assessments and feedback. This occurs naturally in operative settings, but can be difficult to accomplish in a clinic or hospital floor environment.


• 각 학생, 레지던트, 동료는 교수 나 멘토 또는 코치와 짝을 이룰 수 있습니다. 이를 통해서 평가를 번역하고, 피드백을 강화하고, 이해를 평가하고, 행동 계획에 대한 조언을 제공받을 수 있다.

• Each student, resident, or fellow might be paired with a faculty mentor or coach—ideally of his or her own choosing—to translate evaluations, reinforce feedback, assess understanding, and provide advice about action plans.





 2015 May;90(5):559-61. doi: 10.1097/ACM.0000000000000559.

Feedback in clinical educationuntying the Gordian knot.

Author information

1
D.F. Weinstein is vice president for graduate medical education, Partners HealthCare System, and associate professor of medicine, Department of Medicine, Massachusetts General Hospital and Harvard Medical School, Boston, Massachusetts.

Abstract

Feedback is essential to clinical education, especially in the era of competencies, milestones, and entrustable professional activities. It is, however, an area where medical educators often fall short. Although educational leaders and faculty supervisors provide feedback in a variety of clinical settings, surveys show important gaps in medical student and resident satisfaction with the feedback received, suggesting lost opportunities to identify performance problems as well as to help each learner reach his or her greatest potential.In this issue of Academic Medicine, Telio and colleagues extend the empirically validated concept of a "therapeutic alliance" to propose the "educational alliance" as a framework for enhancing feedback in medical education. They highlight the importance of source credibility, which depends on the teacher-learner relationship and alignment of values, the teacher's understanding of the learner's role and goals, the teacher's direct observation of the learner, and the learner's perception of the teacher's good intentions. The author of this Commentary suggests that the educational alliance framework should prompt medical educators to reconsider feedback and explore opportunities for optimizing it. Most medical schools and graduate medical education programs are not designed in a way that supports the education alliance model, but the Commentary author offers suggestions for cultivating educational alliances, including rethinking supervisor selection criteria. Such interventions should be combined with ongoing faculty development and efforts to improve coaching and mentoring for students, residents, and fellows. Untying the Gordian knot of effective feedback will require innovative approaches, exchange of successful strategies, and continued research.

PMID:
 
25406602
 
DOI:
 
10.1097/ACM.0000000000000559


의학교육에서 피드백의 재개념화를 위한 "교육 동맹" 프레임워크(Acad Med, 2015)

The “Educational Alliance” as a Framework for Reconceptualizing Feedback in Medical Education

Summer Telio, MD, Rola Ajjawi, PhD, and Glenn Regehr, PhD




불행하게도,이 인정에도 불구하고,주의와 노력, 의학 교육에서의 현재 피드백 관행은 대체로 suboptimal하다.

Unfortunately, despite this acknowledgment, attention, and effort, current feedback practices in medical education are broadly understood to be suboptimal.


현재의 피드백

The Current State of Feedback


피드백은 항상 의료 훈련의 필수 요소로 인식되었습니다. 훨씬 전에 Plato와 다른 고대 그리스 학자들은 감독과 피드백의 중요성을 기술하여 주목을 받았다.

Feedback has always been recognized as an essential component of medical training. Well before modern times, Plato and other ancient Greek scholars were noted to describe the importance of supervision and feedback.1


오늘날 미국의 대학원 의학 교육 인증위원회는 미국 레지던트 프로그램은 [일상적인 업무에 피드백을 통합하고 각 연수생에게 피드백을 통해 반기 실적 평가를 제공 할 것]을 명시적으로 요구합니다 .2

Today, the Accreditation Council for Graduate Medical Education in the United States explicitly requires that U.S. residency programs incorporate feedback into routine practice and provide each trainee with semiannual performance evaluation through feedback.2


모든 캐나다 대학원 교육 프로그램의 인정 기준을 규정 한 Royal College of Physicians and Surgeons of Canada는 피드백 요구 사항을 다음과 같이 설정합니다.

The Royal College of Physicians and Surgeons of Canada, which defines the accreditation standards for all Canadian postgraduate training programs, sets similar requirements for feedback:


피드백은 각 레지던트에게 정직해야 하며, 도움이 되어야 하고, 적시에 피드백을 제공해야합니다. 문서화 된 피드백 세션은 최소한 매 로테이션이 끝날 때마다 정기적으로 수행되어야합니다 ... 또한 비공식적인 피드백도 레지던트들에게 정기적으로 제공되어야 합니다 .3

There must be honest, helpful and timely feedback provided to each resident. Documented feedback sessions must occur regularly, at least at the end of every rotation.… There should also be regular feedback to residents on an informal basis.3


의학 교육의 저자들은 피드백과 관련된 몇 가지 불일치와 긴장을 인식했습니다. 예를 들어, 무수히 많은 연구가 피드백의 성격에 대한 감독자와 학습자의 인식 간의 불일치를 강조했습니다. 일부 설문 조사에 기반한 연구에 따르면 교수진은 정기적으로 피드백을 주고 있다고 생각했고, 학습자가 이를 수용하기를 거부한다고 말했다.7-9 반대로 Irby10에 따르면 학생들은 자신이 피드백을 받았는지를 알아채지 못했습니다. 이는 학생들이 받는 피드백의 양을 과소 평가할 수 있음을 암시합니다.

Authors in medical education have recognized several discrepancies and tensions related to feedback. For example, a myriad of studies have highlighted discrepancies between supervisors’ and learners’ perceptions regarding the nature of feedback. Some survey-based studies have suggested that faculty report regular provision of feedback, yet learners deny its receipt.7–9 Irby10 noted that students did not identify receipt of feedback that he had observed being provided, which suggests that students may underestimate the amount of feedback they receive.


반면에 프리셉터에 대한 연구는 많은 요인과 서로 상충하는 목표들이 특정 상황에서 피드백을 제공하는 결정에 영향을 미친다는 것을 암시하며, 여기에는 학생과의 우호적 관계 유지, 학생 동기 부여와 등이 있다.

On the other hand, studies of preceptors suggest that many factors and competing goals influence the decision to offer feedback in any given situation, such as preserving collegiality within the teaching relationship and encouraging student motivation.11


더욱이, 학습자는 더 정교하고 빈번한 피드백에 대한 강한 욕구를 나타내지만, 실제로는 피드백을 받게 되면, 욕구와 만족 사이에 긴장이 발생한다. 예를 들어, Mann et al은 피드백에 대한 욕구가 비판적 또는 부정적인 성과 평가에 대한 두려움과 함께 긴장 상태에 있음을 설명했다. 더욱이 피드백에 대한 만족도는 얼마나 양이 많은가 또는 얼마나 타당한가가 수신자에 대해 피드백이 미치는 감정적 영향과 관련이 있다는 증거가 나타납니다.

Further, although learners voice a strong desire for more elaborate and more frequent feedback,14 research has highlighted tensions between this desire and satisfaction when actually receiving feedback. Mann et al,15 for example, described how the desire for feedback is in tension with the fear of critical or negative performance appraisal. Moreover, there is mounting evidence that satisfaction with feedback is linked to the feedback’s emotional impact on the recipient rather than solely its quantity or validity.


아마도 더 심각한 것은 피드백의 실제 영향에 대한 것이다. 피드백은 항상 FR(Feedback recipient)에게 수용되는 것은 아니며, 지속적으로 행동이나 자기 개념의 변화로 이어지지 않으며, 오히려 퍼포먼스에 악영향을 미칠 수 있습니다.

Perhaps more alarming is the range of concerns regarding the actual impact of feedback: Feedback is not always accepted by the recipient, it does not consistently lead to changes in behavior or self-concept, and it can actually have a detrimental impact on later performance.


전반적으로 피드백은 평균적으로 0.4의 효과 크기가 있습니다. 그러나 피드백 개입에 대한 연구 중 38 %에서는 퍼포먼스 저하가 확인되었다. 피드백 효과의 높은 가변성은 다른 메타 분석에서도 확인되었다 .18,19

Overall, feedback was associated with a mean effect size of 0.4; however, 38% of feedback interventions resulted in performance deterioration not attributable to sampling or other errors. High variability in the effectiveness of feedback has been identified in other meta-analyses as well.18,19


어떤 피드백이 효과적이거나 비효과적인지에 대한 공통적인 특징을 파악하면, 종종 맥락과 동떨어진 "모범 사례"를 권장하게 된다. 즉 피드백 영향을 극대화하도록 규정된 규범 적 가이드 라인을 구축하게 되는 것이다.

The identification of the common features of effective and ineffective feedback has often resulted in the construction of context-free “best practice” recommendations—that is, prescriptive guidelines geared to maximize the impact of feedback. 


  • 예를 들어 Pendleton et al은 효과를 최대화하기 위해 피드백을 제공해야하는 일련의 규정 된 단계 (일반적으로 "Pendleton 's rules"라고도 함)를 설명했습니다. 

  • 현재 알려진 "피드백 샌드위치"는 효과적인 전달을위한 절차로서 명시 적으로 기술되어 있습니다 .25 의학 교육 문헌은 이러한 유형의 모범 사례 권장을 일반적으로지지하고 있습니다.

For example, Pendleton et al24 described a set of prescribed steps (commonly known as “Pendleton’s rules”) by which feedback should be given in order to maximize its effectiveness. The now-proverbial “feedback sandwich” has also been explicitly described as a procedure for effective delivery.25 The medical education literature has generally endorsed these types of best practice recommendations.




피드백에 대한 생각 확장

Expanding Our Thinking About Feedback


노력에도 불구하고 피드백은 계속해서 많은 문제를 안고 있습니다. 이 영역에서 발전이 없다는 것은 피드백이 발생하는 맥락에 대한 강조가 부족한 것과 관련 될 수 있습니다. 즉, 의학 교육에서 피드백은 전통적으로 단방향 전달 프로세스로 개념화 되어왔다. 피드백은 감독자가 제공하고 연수생에게 전달되는 것이었다. 따라서 모범적 권장 사항은 피드백 내용과 전달에 중점을 두었으나, FR 또는 피드백이 경험되고 있는 FR-FP(Feedback Provider) 사이의 관계적 맥락에는 거의 주의를 기울이지 않습니다.

Despite efforts , feedback continues to be a suboptimal and fraught phenomenon.31 The lack of progress in this area may, be related to a lack of emphasis on the context in which feedback occurs. That is, in medical education, feedback is traditionally conceptualized as a unidirectional delivery process: Feedback is provided by the supervisor and directed toward the trainee. Thus, the best practice recommendations focus on feedback content and delivery and give little attention to the recipient or to the context of the supervisory relationship in which the feedback is being experienced. 


최근 저자들은 피드백을 "교사에서 학습자로의 일방적인 흐름"으로 개념화하는 것에 의문을 제기하며, 일종의 공식과 같은 피드백 practice에 대한 비판하기 시작했습니다. Bing-You와 Trowbridge는 제안했습니다.

Recently, authors have begun to explicitly question the conceptualization of feedback as “a one-way stream—from teacher to learner”32 and to voice criticisms of the resulting formulaic feedback practices.32–37 As Bing-You and Trowbridge suggest,


의학 교육자들은 피드백의 초점을 너무 좁게 맞춰 왔을 수도 있습니다. 교사의 구체적인 행동 원리 (예 :시기 적절하고 구체적)에 대한 접근법만으로는 적절하지 않습니다. 피드백을 향상시키는 접근법은 교사의 행동, 학습자의 인지적 원리, 교사-학습자 관계에 모두 초점을 맞춰야 한다.

Medical educators may have been too focused on a narrow view of feedback. Building an approach or system around a few teacher-specific behavioral principles of feedback (eg, timely, specific) is inadequate. An approach to improving feedback incorporates teacher-based behaviors, learner-based cognitive principles, and a focus on the teacher-learner relationship.34


연구원들은 학습자의 관점에서 수용성과 피드백의 결합incorporation에 영향을 미치는 요인들을 탐구하기 시작했다.

researchers have begun exploring factors that influence receptivity and incorporation of feedback from the learner’s perspective.


예를 들어 Bing-You 등은 출처 신뢰도를 조사했다. 레지던트들은 임상 지식이나 경험이 부족하다고 생각한 감독자,  또는 대인 관계 능력이 떨어진다고 생각되는 감독자가 준 피드백을 평가절하했다.

Bing-You et al,38 for example, examined perceived source credibility. residents discounted feedback from supervisors whom they felt lacked clinical knowledge or experience or from supervisors whom they judged as demonstrating poor interpersonal skills toward


Sargeant와 동료들은 [피드백 출처와의 관계의 질]이 FR의 외부 정보 사용 및 해석에있어서 중요하다는 것을 발견했다.

Sargeant and colleagues39,40 found that the quality of the relationship with the feedback source was also critical in recipients’ interpretation and use of external information.40


이러한 결과와 일치하는 Eva 등은 [FR의 내적 인지 및 정서적 과정] 외에도 [FR의 출처 신뢰성에 대한 인식]이 피드백 수용에 중요한 요소임을 발견했다.

Consistent with these findings, Eva and colleagues41 found that, in addition to the internal cognitive and emotional processes of the recipient, the feedback recipient’s perception of source credibility was an important factor in feedback acceptance.


마지막으로, Watling 등은 또한 피드백 신뢰성의 결정에 있어 출처source의 중심성을 강조했다. 교사의 피드백이 완전히 무비판적으로 수용(통합)되는 경우는 거의 없었다. 교사와 학습자가 개인적 및 전문적 가치관에 대해 얼마나 일치align되어있는지는 인식은 피드백의 신뢰도를 결정하는 데 영향을 미쳤습니다.

Finally, Watling et al42 also emphasized the centrality of source in the determination of feedback credibility. Feedback from teachers was rarely integrated without scrutiny. Perceived alignment of the teacher with a learner’s personal and professional values was influential in determining the credibility of feedback.


그러나 의학 교육 분야에는 이러한 요소들이 상호 작용하고 협력하여 행동 변화로 이어지는 방식으로 의견을 반영 할 수있는 결정을 내리는 방법을 이해하기위한 일관된 개념 체계가 여전히 부족합니다.

Yet the field of medical education still lacks a coherent conceptual framework for understanding how these factors might interact and work together to bring about decisions to incorporate feedback in a way that leads to behavior change.



심리치료에서 치료적 동맹

The Therapeutic Alliance in Psychotherapy



현재 의학 교육의 피드백 문헌에서 발생하고 있는 이론의 진화는 심리치료에서 이론적 방향의 역사적 진보와 유사합니다. 가장 초기의 심리 치료 이론가들은 일반적으로 심리 치료에서의 임상 적 개선 과정은 치료사가 해석한 환자에 따르는 직접적인 결과라고 가정했다. 심리 치료 환자들은 (전문가 관찰자로부터의 그들의 행동에 관한 정보를 받으면) 자신의 지식, 자기 개념, 행동에 변화를 가져올 것으로 믿어졌다. 시간이 지남에 따라 이론적 방향이 진화되었으며, 이 진화와 함께 정신 분석 학계는 전문가의 통찰만으로 환자의 변화를 불러 일으키기에 충분하지 않다는 것을 이해하게되었습니다. 오히려 전문가의 통찰력은 관계의 맥락에서 제공되며, 그 관계의 특징은 전문가의 제안 된 해석이 변화를 유도하는 정도에 많은 영향을 미친다.

The evolution of theory currently occurring in the feedback literature in medical education parallels the historical progression of theoretical orientations in psychotherapy. The earliest psychotherapy theorists generally assumed that the process of clinical improvement in psychotherapy was a direct result of interpretations made to patients by therapists.43 Psychotherapy patients were believed to have transformations in their knowledge, self-concept, and behavior simply as a result of gaining information about their conduct from the expert observer. Over time, theoretical orientations evolved, and, with this evolution, the psychoanalytic community came to understand that the provision of expert insight alone is insufficient to evoke change in patients. Rather, expert insight is provided in the context of a relationship, and the features of that relationship have much bearing on the extent to which the expert’s proffered interpretations induce change.44


Greenson45는 변화에 대한 치료사와 공동으로 일할 환자의 능력을 강조하기 위해 "working alliance"이라는 용어를 만들었습니다. 이 개념이 두드러지게 나타남에 따라 "동맹"이라는 용어는 점차적으로 "치료 동맹"이라는 용어로 대체되었습니다. 현대의 의미에는 특정 치료 방향이 없으며 오늘날 치료 동맹의 개념은 여러 방법에서 심리 치료 이론의 중심으로 생각됩니다 

Greenson45 coined the term “working alliance” to emphasize the patient’s capacity to work jointly with the therapist toward change. As this concept gained prominence, the term “working alliance” was gradually replaced by the term “therapeutic alliance.” The modern connotation is free from any specific therapeutic orientation, and today the concept of the therapeutic alliance is thought to be central to psychotherapy theory across modalities.47


치료 동맹은 환자 - 치료사 관계의 질에 의해 정의됩니다.

The therapeutic alliance is defined by the quality of the patient–therapist relationship.48


그러나 중요한 것은 치료자는 환자와의 working relationship의 질을 과대 평가하는 것으로 알려져 있으며 치료 동맹의 문제를 깨닫지 못할 수도 있습니다. 따라서 치료 동맹에서는 치료사의 평가보다는 환자의 인식이 중요하다.

Importantly, however, therapists are known to overestimate the quality of their working relationships with patients and may not be attuned to ruptures in the therapeutic alliance.48–51 Thus, it is the patient’s perception, rather than the therapist’s estimation, of the therapeutic alliance that is key.


환자가 경험한 치료 동맹의 영향은 중요하며 특정 치료 기술의 영향을 뛰어 넘습니다. 치료사와의 동질성을 건강하다고 인식하는 환자는 증상의 개선과 치료 양식 전반에 걸친 자기 개념과 행동의 유익한 변화를 나타낼 가능성이 더 큽니다.

The impact of this patient-experienced therapeutic alliance is significant , surpassing the impact of specific therapeutic techniques.48,51–56 Patients who perceive alliances with their therapists as healthy are more likely to exhibit improvements in symptoms and beneficial changes in self-concept and behavior47,53,57,58 across therapeutic modalities.47,59 



교육 동맹의 구조 탐색

Exploring the Construct of an “Educational Alliance”


환자가 치료사와 치료 동맹을 형성하는 것처럼 연수생은 감독자와 '교육 동맹'을 형성하는 것으로 개념화 될 수 있습니다.

Just as a patient forms a therapeutic alliance with a therapist, a trainee could be conceptualized to form an “educational alliance” with a supervisor.


환자가 치료 동맹에 대해 인식하는 중요성을 감안할 때 교육 동맹의 질은 연수생의 관점에서 판단되어야한다.

given the recognized importance of the patient’s perception of the therapeutic alliance, the quality of the educational alliance should accordingly be judged from the trainee’s perspective.


사실, 피드백을 교육 동맹의 관점으로 바라본다면, 피드백은 다음과 같이 재개념화 된다. 

[감독자에서 연수생에게 전달되는 여러 정보 중 하나]에서 다음의 것들을 포함하는 [진정성 있고 헌신적인 교육 관계 내에서 발생하는 협상 및 대화 중 하나]로서 

  • 퍼포먼스 및 표준에 대한 공유된 이해를 모색하고,

  • 행동 계획에 관한 합의를 협상하고,

  • 목표를 달성하기 위해 함께 노력하고,

  • 실제로 피드백을 사용할 수 있는 기회를 공동으로 창작하는

Indeed, using the educational alliance as a lens reframes the feedback process 

  • from one of information transmission (from supervisor to trainee) 

  • to one of negotiation and dialogue occurring within an authentic and committed educational relationship that involves 

    • seeking shared understanding of performance and standards, 

    • negotiating agreement on action plans, 

    • working together toward reaching the goals, and 

    • co-creating opportunities to use feedback in practice.


예를 들어, 교육 동맹의 개념을 사용하면, 기존에 피드백 전달에서 명시된 "우수 사례"가 개념적으로 (따라서 기능적으로) 불충분하다는 것을 암시합니다.

For example, using the construct of the educational alliance would imply that previously articulated “best practices” in feedback delivery, although not necessarily wrong, are conceptually (and therefore functionally) insufficient.


그러한 모범 사례는 [잘 수행되기만 하면, 어떤 경우에서도 피드백 효과를 발생시키는 교리 문답서]로 여겨져서는 안된다. 오히려, 이러한 관행은 학습자와의 효과적인 교육 동맹을 수립하고 유지한다는 목표를 달성하기 위해 전략적으로 선택되어 사용될 수있는 [일련의 도구]로 간주되어야합니다.

Such best practices should not be treated as catechisms, “rules,” or steps in a procedure that, if done well, will deterministically lead to feedback incorporation. Rather, these practices should be considered as a set of tools that can be selected amongst and used strategically to achieve the goal of establishing and maintaining an effective educational alliance with the learner. 


따라서 이 틀 내에서의 교수개발은 practice를 enact하는 것에만 국한되어서는 안되며, 교육 동맹을 수립하고 유지하는 데 이러한 도구를 어떻게 효과적으로 사용할 수 있을 것인가에 초점을 맞추어야 한다. 또한 교사가 교육 동맹을 긍정적으로 느끼는지가 아니라, 학습자가 자신의 감독자와의 강한 교육 동맹을 느끼는 증거가 무엇인지를 찾는 것을 강조해야 한다.

Thus, faculty development within this framework would focus on the effective use of these tools in the establishment and maintenance of the educational alliance rather than exclusively on the enactment of the practices. Further, emphasis would be placed on seeking evidence from the learner that he or she feels a strong educational alliance with the supervisor, not on the faculty member’s own sense of a positive educational alliance.


교육 동맹의 개념을 사용하는 것은 [효과적인 피드백 상호 작용]은 피드백 그 자체에서 곧바로 발생하지 않는다는 것을 의미합니다. 오히려 학습자는 감독관과 처음 만나는 바로 첫 번째 순간부터 학습 프로세스에 대한 감독자의 노력을 적극적으로 조사하고 테스트 할 가능성이 높습니다. 학습자는 아마도 감독관에 대해 다음과 같은 질문을 할 것입니다.

  • 이 감독관이 나를 사람으로 보살펴 주는가?

  • 나는 이 사람의 마음에 존재하는가?

  • 이 감독관이 이 맥락에서 나의 목표에 관심을 갖고 있는가?

  • 내가 어디에서부터 시작하고 어디로 가고 싶은지 이해하려고 노력하고 있는가?

  • 이 감독자가 최선을 다하나? 

  • 이 관계가 내가 최고의 임상가가 되는 것에 관한 것입니까, 아니면 여기에는 (숨겨진) 다른 의제가 있는가?

Using the construct of the educational alliance would also imply that setting the stage for effective feedback interactions does not occur only at the time of feedback itself. Rather, learner is likely to be actively exploring and testing the supervisor’s commitment to the learning process from the first moment of their first meeting. Almost immediately, the learner will be asking himself or herself questions such as the following: 

  • Does this supervisor care about me as a person? 

  • Am I present in this person’s mind? 

  • Does this supervisor care about my goals in this context? 

  • Is he/she trying (and able) to understand where I am starting from and where I want to get to? 

  • Does this supervisor have my best interests at heart? 

  • Is this relationship about my becoming the best clinician I can be, or are there other agendas here?


학습자가 관계의 초기부터 교육 동맹에 대한 감독자의 노력을 면밀히 검토하고 있기 때문에, introduction부터 학습자에게 진정으로 관심을 갖는 것이 중요하다는 사실을 강조해야 하며, 관계 초기에 확실한 관심을 보이지 않으면 나중에 학습자가 귀중한 피드백을 "경청"하지 않는 원하지 않는 결과를 초래할 수 있음을 의미한다. 

Recognizing that the learner may be closely examining the supervisor’s commitment to the educational alliance very early in the relationship reinforces the importance of being authentically interested in the learner upon introduction and suggests why failing to demonstrate authentic interest early in the relationship may result in the later reluctance of the learner to “listen” to the supervisor’s valuable feedback.



결론

In Sum


전통적인 이론은이 과정에서 학습자와 감독관 관계의 역할을 거의 탐구하지 않고 일방적이고 교육자 중심의 피드백을 만드는 경향이있다 .18 최근에는 피드백을 양자 사이의 상황 기반 대화로 재 개념화하려는 노력이 이루어지고있다. 37

Traditional theories tend to construct feedback as unilateral and educator driven, with little exploration of the role of the learner or of the supervisory relationship in this process.18 Recently, efforts have been made to reconceptualize feedback as a bilateral, context-based dialogue.34,37


심리 치료 문헌은 관계에 기반한 여러 요인이 지식, 정체성, 행동의 변화에 ​​유의미하게 기여함을 시사한다 .44 의학 교육에서 감독 관계의 속성은 피드백 통합과 관련하여 마찬가질일 수 있다.

The psychotherapy literature suggests that relationship-based factors contribute significantly to changes in knowledge, identity, and behavior.44 Attributes of the supervisory relationship in medical education may be of parallel significance with respect to feedback incorporation.


  • 상사와 연수생 간의 긍정적 인 교육 동맹은 무엇을 특징으로합니까? 

  • 연수생은 어떻게 부정적인 교육 동맹을 경험합니까? 

  • 교육 동맹의 어떤 특성이 피드백 통합과 연수생의 미래 학습 참여에 영향을 미칩니 까? 

  • 짧은 로테이션과 총괄 평가의 문화와 같은 시스템 기반 이슈가 효과적인 교육 동맹을 개발하는 능력에 어떻게 영향을 미칠 수 있습니까?

What characterizes positive educational alliances between supervisors and their trainees? How do trainees experience negative educational alliances? What attributes of the educational alliance influence feedback incorporation and trainees’ future engagement in learning? How might systems-based issues, such as brief rotations and the strong culture of summative assessment, influence the ability to develop an effective educational alliance?



37 Watling CJ, Lingard L. Toward meaningful evaluation of medical trainees: The influence of participants’ perceptions of the process. Adv Health Sci Educ Theory Pract. 2012;17:183–194.


40 Sargeant J, Armson H, Chesluk B, et al. The processes and dimensions of informed self-assessment: A conceptual model. Acad Med. 2010;85:1212–1220.


41 Eva KW, Armson H, Holmboe E, et al. Factors influencing responsiveness to feedback: On the interplay between fear, confidence, and reasoning processes. Adv Health Sci Educ Theory Pract. 2012;17:15–26.




 2015 May;90(5):609-14. doi: 10.1097/ACM.0000000000000560.

The "educational alliance" as a framework for reconceptualizing feedback in medical education.

Author information

1
S. Telio is clinical instructor, Department of Psychiatry, Faculty of Medicine, University of British Columbia, Vancouver, British Columbia, Canada. R. Ajjawi is senior lecturer in medical education, Centre for Medical EducationMedical Education Institute, University of Dundee, Dundee, Scotland. G. Regehr is professor, Department of Surgery, and associate director (research), Centre for Health EducationScholarship, Faculty of Medicine, University of British Columbia, Vancouver, British Columbia, Canada.

Abstract

Feedback has long been considered a vital component of training in the health professions. Nonetheless, it remains difficult to enact the feedback process effectively. In part, this may be because, historically, feedback has been framed in the medical education literature as a unidirectional content-delivery process with a focus on ensuring the learner's acceptance of the content. Thus, proposed solutions have been organized around mechanistic, educator-driven, and behavior-based best practices. Recently, some authors have begun to highlight the role of context and relationship in the feedback process, but no theoretical frameworks have yet been suggested for understanding or exploring this relational construction of feedback in medical education. The psychotherapeutic concept of the "therapeutic alliance" may be valuable in this regard.In this article, the authors propose that by reorganizing constructions of feedback around an "educational allianceframeworkmedical educators may be able to develop a more meaningful understanding of the context-and, in particular, the relationship-in which feedback functions. Use of this framework may also help to reorient discussions of the feedback process from effective delivery and acceptance to negotiation in the environment of a supportive educational relationship.To explore and elaborate these issues and ideas, the authors review the medical education literature to excavate historical and evolving constructions of feedback in the field, review the origins of the therapeutic alliance and its demonstrated utility for psychotherapy practice, and consider implications regarding learners' perceptions of the supervisory relationship as a significant influence on feedback acceptance in medical education settings.

PMID:
 
25406607
 
DOI:
 
10.1097/ACM.0000000000000560


피드백에 대한 의과대학생의 학년간 차이(Med Educ, 2012)

Maturational differences in undergraduate medical students’ perceptions about feedback

Deborah Murdoch-Eaton1 & Joan Sargeant2





도입

INTRODUCTION


피드백은 '자신의 퍼포먼스나 이해 측면에 대해 agent(예 : 교사, 동료, 도서, 부모, 자기, 경험)가 제공한 정보'이다. 피드백은 [recipient의 학습 및 성과의 질에 대한 정보]를 구체적으로 제공하고 [개선의 indication을 줄 수 있다]는 점에서 교육teaching과 다릅니다.

Feedback has been described as ‘information provided by an agent (e.g. teacher, peer, book, parent, self, experience) regarding aspects of one’s performance or understanding’.4 Feedback differs from teaching in that it specifically provides information on the quality of the recipient’s learning and performance, and can give indications for improvement.


Hattie와 Timperley는 공교육 시스템의 피드백 연구에 대한 대규모 메타 분석에서, 학습자 성취도에 미치는 100가지의 영향 중, 개인별 피드백이 상위 5 위 안에 있다고 결론지었습니다. 또한, 이 연구에서는 가장 큰 효과 크기는 [과제에 대해서 정보 피드백을 받고] [그것을 효과적으로 수행하는 방법]을 포함할 경우 얻어짐을 보였다. 낮은 효과 크기는 칭찬 및 처벌과 관련이있다.

Hattie and Timperley, in a large meta-analysis of feedback studies in the public education system, determined that of over 100 influences on learner achievement, individual feedback was in the top five.4 Furthermore, the studies that showed the highest effect sizes involved students receiving information feedback on a task and ways to do it more effectively; lower effect sizes were related to praise and punishment.


더욱이 피드백에 대한 반응은 단순한 행동적 반응으로 볼 수 없습니다. 학습자는 먼저 피드백이 주어 졌음을 인식하고, 피드백을 고려하고, 변화 가능성을 인식하며 행동해야 합니다. 피드백은 그 안에 포함 된 정보가 구체적이고, 신뢰할 수 있으며, 시기 적절하며, 관련이 있고, 수신자가 정서적으로나 인지적으로 적절한 학습 단계에 있고, 그에 따라 행동 할 수 있는 경우에 효과가 있을 가능성이 더 높습니다 .3

Moreover, the response to feedback cannot be regarded as a simple behavioural response . The learner first needs to recognise that feedback has been given and then to consider the feedback, recognise potential for change, and act onit. Feedback is more likely to be acted upon if the information contained within it is specific, credible, timely and relevant, and if the recipient is at an appropriate stage of learning, both emotionally and cognitively, to be able to act upon it.3


자존감과 학생에 대한 교사의 기대가 학습 접근 방식에 영향을 미칩니다. 

  • 학생에 대한 기대는 교사가 학생들의 동기 부여에 미칠 수있는 중요한 영향이다. 교사는 학생들에게 높은 기대치를 가져야하고, 이러한 기대를 자주 전달함으로써, 역량에 긍정적인 영향을 줄 수 있다

  • 반대로 학생에 대한 기대가 낮으면 퍼포먼스가 좋지 않은 경우에 부적절한 긍정적 피드백을 주거나, 때로는 부적절한 능력이나 부적절한 학습성과 달성을 무시함으로써 일관성없는 피드백을 초래할 수 있습니다.

Self-esteem and teachers’ expectations of the student similarly influence approaches to learning. This indicates the important influence teachers can have on students’ motivation; they should have high expectations of students, communicate these expectations often, and thus positively influence competence.9,11 Conversely, low expectations of students can result in inconsistent feedback, including the delivery of inappropriate positive feedback that rewards poor performance and sometimes ignoring inadequate competence or attainment of learning outcomes.9,12


성숙한 의대생의 자기 조절 능력 개발은 맥락화 된 학습 경험에 담겨있다.

The development of self-regulation skills in maturing medical students is embedded within contextualised learning experiences.


의대생은 종종 임상 환경에서 피드백이 불충분하다고 여기지만, 감독자는 피드백이 적절히 주어지는 것으로 인식하는 경향이 있습니다. 구성주의자의 관점에서 볼 때, 학습에 대해서 중요한 것은 학생이 받은 메시지를 활용하여 무엇을 '하느냐'이다.

medical students frequently perceive the feedback they are given as insufficient, especially in clinical settings, whereas supervisors tend to perceive it as adequate.5,17–19 A constructivist perspective of learning suggests that it is what students ‘do’ with the message that is important.


방법

METHODS


A mixed methodological approach was utilised, using qualitative and quantitative data and integrating the findings of both strands to draw conclusions. The study was guided by the theoretical perspective that developmental changes might occur across the duration of a programme and, together with changes in cognitive or self-regulated learning, might impinge upon how feedback is recognised and utilised, and thus influence learning. 


In line with Morgan,20 we have approached this inquiry from a stance of ‘pragmatism’, utilising methods and questions that seem most appropriate to answer the questions posed, in a manner that allows the different approaches to inform one another and to contribute to the shared conceptualisation that such a mixed approach will enhance validity and inform analysis and interpretation.


As we knew little about the students’ perceptions and use of feedback, we began by taking a qualitative approach involving a small number of students to explore their perceptions of feedback. 

  • Five focus groups were conducted early in the academic year; one group was sourced from each year group. 

  • Students were recruited by open invitation and word of mouth by interested responders who recruited their peers. The intent was to recruit students who were perceived to have an interest in feedback. 

  • The focus groups were facilitated by an independent experienced educationalist because an independent educator was considered more likely to access the students’ real views than a researcher from within their programme. 

  • A hierarchical questioning technique was used, in which initial open-ended questions explored students’ views and experiences of feedback at their stage in the undergraduate course.21 

  • Follow-up questions elicited in more depth the experiences of the students to identify key areas of recognition, good practice and perceptions of the role of feedback in their learning (Table 1). 

  • Sample questions included: ‘When would you have liked more feedback?’ and ‘Give examples of when you acted on feedback and why?’



  • A preliminary thematic analysis of these initial focus groups identified key areas of potential interest.22,23 

  • The key areas were used to develop the questionnaire subsequently administered to all students within the school. 

  • The purpose of the questionnaire was to determine if the views expressed by students in the focus groups represented the views of a particularly interested and motivated minority, or whether they reflected more broadly held perspectives. 

  • The questionnaire was intended to generate both quantitative data derived from closed Likert-scale type items exploring specific aspects of the undergraduate programme, and additional qualitative data sourced through open-ended questions designed to explore in more depth areas of understanding of feedback principles and individual experiences (Table 2).


양적 분석

Quantitative analysis


질적 분석

Qualitative analysis


The focus group (FG) discussions were recorded and transcribed for analysis, and open-ended responses from the questionnaire (Qn) (consisting mostly of short notes or single sentences) were collated and printed out for analysis. Thematic analysis was undertaken to identify, interpret and synthesise patterns within the data. 

  • Data were identified by source of data (FG or Qn) and year of study. 

  • The thematic analysis used a contextualist framework, in which responses are analysed to consider not only the experiences described by students, but also their contextual responses and interpretations of these experiences.21 

  • This was intended to elucidate students’ understandings of the purpose of feedback in their learning, and their recognition of the different types of feedback they perceived they had received. 

  • DM-E and both research assistants met to discuss themes that emerged during the analysis of the initial focus group discussions, and to consider whether any alterations in methodology or questioning format were required. 

  • Questionnaire design was agreed upon and the decision not to alter the format planned for later focus groups was made. 

  • DM-E and one research assistant (CD) read the transcripts independently and identified emergent themes; these were discussed, clarified and categorised to form an initial coding frame. 

  • DM-E reanalysed all transcripts, and CD and JS validated and compared the analyses. 

  • The final stage of analysis involved refining the specifics of each theme to produce clearer descriptions.20,21,24 

  • During analysis, the researchers remained aware that the data provided cross-sectional perspectives for each year group in the programme in isolation. 

  • Hence, the emerging themes were inspected to explore the patterns in perceptions of feedback across the continuum and to highlight differences among the year groups spanning undergraduate training.


결과

RESULTS


양적 분석에 따르면 학생들은 학년과 무관하게 피드백을 받는 것이 가장 중요하다는 것에 동의했다. 총 97 %의 학생들이 설문 항목 '나는 내 작업work에 대한 피드백을 중요하게 생각한다'를 긍정적으로 평가했습니다. 그들은 다른 네 가지 항목에 대한 그들의 견해에서 덜 긍정적이었다 (그림 1).

Quantitative analysis showed that students were most affirmative of the importance of receiving feedback, irrespective of year of study. A total of 97% of students rated the questionnaire item ‘I consider it important to get feedback on my work’ positively. They were less positive in their views around the other four items (Fig. 1).


(Table 3, Fig. 1)


학년 효과가 관찰되었고, 그 중 3 가지는 통계적으로 유의미했다. 1 학년 학생은 다른 학년 학생보다 꾸준히 긍정적이었습니다.

Year effects were observed, three of which achieved statistical significance . Year 1 students were consistently more positive than students in other years;







피드백의 목적: 왜

The purpose of feedback: ‘Why’


대다수의 학생들은 학년과 무관하게 피드백의 주요 목적이 학업 성취도를 향상시키는 것이라고 생각한다고 말했습니다.

The majority of students, irrespective of their year group, stated that they believed the primary purpose of feedback was to enhance their academic performance.


학생들의 반응에서 발견 된 성숙도에 따른 차이는, 

    • 졸업이 가까워오는 시기에 확인되는 '능동성'(학생들은 자신의 학습 스타일을 조정하기 위하여 피드백에 따라 guide되는 것)과 대조되는 

    • 과정 초기의 '수동성'이다.(학생이 충분히 능숙하고 표준에 부합한다면 교사가 그렇다고 말해 줄 것을 기대하는 수동성) 

A maturational difference detected in the students’ responses referred to a transition from ‘passivity’ (in which students expect their teachers to tell them if they are doing sufficiently well and are meeting the standards) in the early years of the course to ‘activity’ (in which students are guided by the feedback to consider how to adjust their learning styles) nearer to graduation.


오해: 무엇

Misunderstandings: ‘What’


97 %의 학생들이 자신의 업무에 대한 피드백을 얻는 것이 중요하다고 생각했지만 60 % 미만만이 충분한 피드백을 받고 있다고 답했습니다 (표 3).

Although 97% of students believed it was important to obtain feedback on their work, fewer than 60% agreed with the statement that they were receiving enough feedback (Table 3).



설문 조사 응답에 따르면 41 %의 학생들이 '자신이 하고 있는 과목 유형에 적합한 피드백 유형이 무엇인지 이해하는 것'명확하지 않다고 생각했으며 64 %는 '피드백이 필요하더라도 어디에서 얻을 수 있는지 알 수 없다'(표 3)고 말했다.

Questionnaire responses identified that 41% of students considered they were not clear about ‘understanding the types of feedback that were appropriate for the type of course they were doing’, and 64% acknowledged that they did not ‘know where to get more feedback from if they needed it’ (Table 3).



과정 초기 단계에서 학생들은 서면 피드백을 중요하게 묘가하였으나, 구두 피드백은 피드백으로 인식하지 못하거나 그것의 가치를 낮게 평가했다.

Early in the course, students described valuing written feedback and appeared either not to recognise verbal feedback or to place little value on it:


피드백 소스의 예를 물으면, 주니어 학생들은 주로 에세이에 대한 형성적 written 피드백과 [프로젝트 작업 후에받은 표준화된 평가 양식과 같은] 서면 피드백만을 주로 언급했습니다. 이 학생들은 프리젠테이션 직후에, 또는 그룹 작업이나 상호작용형 교육시간 직후에 제공되는 구두 피드백을 거의 언급하지 않았다.

When asked for examples of feedback sources, more junior students primarily cited examples for written feedback, such as formative written feedback on essay drafts and standardised assessment forms received after project work. These students neither cited nor appeared to recognise verbal feedback that was given immediately after presentations or within group work or interactive tutorials:


'... 동료 토론은 피드백이 아닙니다 ...'(FG, 2 학년, B3d)

‘…peer discussion is not feedback…’ (FG, Year 2, B3d)


'... 우리는 지난 몇 년 동안 구두 의견을 얻지 못했습니다 ...'(FG, 3 학년, B3e)

‘…we never got verbal feedback in previous years…’ (FG, Year 3, B3e)



이것은 고학년 학생들이 임상 상황에서 주어지는 구두 피드백을 인정할 가능성이 더 높은 것과 대조된다.

This contrasted with the views of more senior students, who were more likely to acknowledge verbal feedback such as that given during a clinical situation:


주니어 및 시니어 학생들은 '긍정적'및 '부정적인'의견의 가치에 대해서도 대조적인 견해를 보였다. 

주니어 (Junior) 학생들은 자신들이 기준을 맞췄다는 것을 확인하는 용도로 보았으며, 피드백을 통해 안심을 얻고자 했고, 부정적인 피드백을 받으면 사기가 저하된다고 묘사했습니다.

Junior and senior students also tended to express contrasting views of the value of ‘positive’ and ‘negative’ feedback. Junior students saw positive feedback as affirmation of their meeting of standards and as providing reassurance, and, alternatively, described feeling demoralised by negative feedback:


대조적으로 고학년 학생들은 부정적인 피드백은 '개선의 구체적인 방법을 제공하는 한' 건설적인 것이라고 인식하며 , 오히려 긍정적 피드백의 가치를 낮춰 보았다.

By contrast, more senior students perceived negative feedback as constructive ‘so long as it gave specific ways to improve’ (FG, Year 4, B4d) and discounted the value of generally positive feedback:


더 많은 고학년 학생들은 거의 긍정적인 피드백을 감내하지 않거나 평가절하 하였다.

More senior students appeared to be almost impatient with and to devalue positive feedback:


'... [최고의 교사는 당신이 뭘 잘못했는지 말해주는 사람들입니다.'(FG, 4 학년, B4c)

‘… [the best teachers are the ones who] just get on with telling you what you did wrong…’ (FG, Year 4, B4c)


'... 입에 발린 소리로 시간을 낭비하지 말고, 어떻게 하면 더 잘 할수 있는지 알려주면 좋겠다...'(Qn, 5 학년, 864 번)

‘…need to be told how to get better, not waste time sugar-coating the pill…’ (Qn, Year 5, ID 864)


그러나 개선의 관점에서 제시되지 않은 부정적인 피드백이 정서에 미치는 영향 뚜렷하다.

However, the affective impact of negative feedback that is not given with a view to improvement was also evident:


다양한 유형의 피드백이 인정되었습니다. 여러 해 동안 다양한 유형의 피드백이 이뤄짐을 보여줍니다.

Different types of feedback were recognised. Comments illustrated different types of feedback to their years of study:


그러나, 피드백의 목적 및 alignment를 코스 목적과 일치시키기 위한 수정은 잘 인정되지 않았습니다.

However, modification of the type of feedback to match the purpose and alignment of feedback with course objectives was sometimes not recognised:



피드백을 주는 자의 지위: 누구

Status of the person giving feedback: ‘Who’


다른 성숙도 차이는 누가 피드백을 제공했는지와 같은 피드백 출처와 관련이 있습니다. 고학년 학생들은 시니어 교수의 피드백 외에도 [동료 피드백] 또는 [자기평가]와 같은 출처에서 얻은 피드백의 타당성 및 가치를 인정했습니다. 아래학년 그룹의 학생은 선배 academics가 아닌 다른 사람으로부터 받은 피드백은 평가절하하는 경향이있었습니다.

Another maturational difference pertained to the source of the feedback in terms of who provided it. Senior students acknowledged the validity and value of feedback from sources other than senior members of academic staff, such as in peer feedback and selfevaluation. Students in the earlier year groups showed a tendency to discount feedback given by anyone other than senior academics:


그러나 마지막 해에는 구두 피드백은 그것의 즉각성의 가치를 인정받았고, 그 피드백을 통해 이야기를 할 수있는 기회가 주어 졌다고 평가되었습니다.

However, in the final years, verbal peer feedback was valued for its immediacy and its provision of opportunities to talk things through:



고찰

DISCUSSION


이 연구의 토대가되는 개념적 틀은

  • 형성적 피드백과 학습자 개발에서 활용할 수있는 도구 적 역할의 제공,

  • 주어진 피드백에 대한 잘 알려지지 않은 보고와 일치하며,

  • 효과적인 학습에 부정적인 영향을 줄 수 있습니다.

The conceptual framework underpinning this study hinges around 
  • the provision of formative feedback and the instrumental role it can play in learner development, 

  • matched with the well-reported lack of recognition of given feedback, and 

  • the negative impact this may have upon effective learning. 


자존감은 '자기에 대한 평가가 긍정적인 정'라고 정의 할 수 있습니다 .25 자존감이란 현실이라기 보다는 인식에 가깝지만, 상당한 영향력이 있는 인식입니다. Roma'n 등 9)은 학업 성취에 대해 자존감이 간접적으로 긍정적 인 영향을 미친다는 사실을 발견했다. 자아 존중감은 학생들의 발달에 중요하며, 긍정적이거나 부정적인 피드백을 받고 그에 따라 행동하는 개인의 능력에 영향을줍니다 .26,27


Self-esteem may be defined as ‘the positivity of the person’s evaluation of self’.25 It is a perception rather than a reality, but it is an influential perception. Roma´n et al.9 found that self-esteem had the strongest indirect positive effect on academic achievement. Self-esteem is important in students’ development, and Self-esteem affects individuals’ ability to receive and act on both positive and negative feedback.26,27


프로그램 전반의 성격 차이는 세 가지 일반적인 영역에서 나타났습니다.

  • (i) 피드백의 목적에 대한 학생들의 인식;

  • (ii) 피드백에 대한 학생들의 인식, 그리고

  • (iii) 피드백 제공자의 신뢰성에 관한 학생들의 인식.

Maturational differences across the programme emerged in three general areas: 

  • (i) students’ perceptions of the purpose of feedback; 

  • (ii) students’ recognition of feedback, and 

  • (iii) students’ perceptions regarding the credibility of feedback providers.


저학년 학생들은 

  • 피드백의 목적은 표준에 대한 성취여부를 알려주고, 학습이나 퍼포먼스를 확인시켜주는 것이라고 생각했다(즉, 일반적으로 본질적으로 총괄평가적 성격). 

  • 그들은 서면 피드백을 더 인정하고 가치있게 보았으며, 구두 피드백에는 집중하지 않았고, 시니어 교사로부터 피드백을 소중히 여겼습니다. 

  • 그들은 일반적으로 피드백을 수동적 인 활동으로 인식했으며, 

  • (자신을 혼란케하고 자신감을 떨어뜨리는 부정적 피드백보다) 발전됨을 확인하고 안도감을 제공하는 긍정적인 피드백을 선호했다. 

More junior students viewed the purpose of feedback as being to report achievement of a standard and confirm their learning or performance (i.e. generally to be summative in nature). They more readily acknowledged and valued written feedback, were less likely to attend to verbal feedback, and valued feedback from senior teachers. They generally perceived the receiving of feedback as a passive activity, and preferred positive feedback, which confirmed their progress and provided reassurance, rather than negative feedback, which might ‘demoralise’ them and undermine their confidence.


대조적으로 고학년 학생들은 

  • 피드백의 목적을 구체적인 학습 요구와 개인 개발에 대한 정보 제공(즉, 일반적으로 형성적 목적)으로 보았습니다. 

  • 그들은 동료들과 다른 선생님들로부터의 즉각적으로 받는 비공식적인 구두 의견과 피드백뿐만 아니라 시니어 교사들로부터의 피드백도 중요하게 생각했습니다. 

  • 그들은 가장 유용한 피드백은 건설적으로 비판적인 것으로, 개선 방법에 대한 구체적인 정보를 제공는 것이라고 말했고, 피드백은 자신의 행동을 보다 이상적으로 이끌어주는 프로세스로 보았습니다. 

  • 그들은 일반적으로 긍정적인 피드백은 덜 도움이 된다고 말했고, 그들의 후배보다 더 분별력있는discerning 피드백 사용자로 보였습니다. 

By contrast, more senior students viewed the purpose of feedback as being to inform their specific learning needs and personal development (i.e. as being generally formative). They valued immediate informal verbal feedback and feedback from peers and others, as well as that from senior teachers. They reported the most useful feedback as being constructively critical and providing specific information on ways to improve, and viewed feedback as a process that would ideally lead to action on their part. They spoke of finding generally positive feedback less helpful, and appeared to be more discerning users of feedback than their junior colleagues. 


그러나 저학년 및 고학년 학생들의 40 % 이상이 충분한 피드백을받지 못했다고 생각했습니다. 이 발견은 다른 연구 결과와 유사합니다.

Notably, however, over 40% of both junior and senior students believed they were not receiving enough feedback; this finding is similar to results of other studies.4


다음 단계로 넘어 가기에 충분한 수준의 성적을 받는 것은 저학년 학생들에게 주된 니즈로서, 피드백의 가장 단순한 수준이라고 볼 수 있다. 피드백을 보다 정교하게 사용하는 것은 그것을 학습 접근법의 장기적인 변화에 반영하는 것을 포함해야 한다.

Achievement of a grade sufficient to pass onto the next stage, which appeared to be the need perceived by more junior students, is the simplest level of feedback utilisation. A more sophisticated use of feedback involves incorporating it into a longer-term change in learning approach


학생들이 피드백에 성숙한 태도로 참여하는 것은 주어진 다양한 피드백에 대해 행동하는 것 뿐 아니라, 스스로 자신에 대한 피드백을 적극적으로 생성함으로써 보여질 수 있다..16

The mature engagement of students with feedback is demonstrated not only by their acting on the diversity of feedback that is given, but also by their active generation of their own feedback.16


여러 요소가 피드백의 효과에 영향을 미칩니다. Shute29는 다양한 피드백 유형의 효율성에 대한 학생 변수의 영향에 대한 피드백의 복합적인 본질과 현재의 이해를 요약했습니다. 

  • 피드백 시점 또한 중요합니다. 

  • verbal, procedural, motor 기술 습득과 관련된 학습 결과는 [즉각적 피드백]으로 강화되는 반면, [지연된 피드백]은 학습 또는 개념 형성 과제에 더 효과적 일 수 있습니다. 

  • 기술 습득 중에 지연된 피드백을 주면 task 습득 단계에서 당장의 퍼포먼스에 (안좋은) 영향을 미치지만, 장기적인 관점에서는 즉각적 피드백을 주는 것보다 더 나은 유지력retention을 보여준다.

Multiple factors influence the effectiveness of feedback. Shute29 summarised the complex nature of feedback and current understandings of the impact of student variables upon the effectiveness of different types of feedback. 

  • The timing of feedback is also important. 

  • Learning outcomes related to the acquisition of verbal, procedural or motor skills are enhanced by immediate feedback, whereas delayed feedback may be more effective for the transfer of learning or conceptual formation tasks. 

  • During skill acquisition, longer delays between feedback episodes affect immediate performance during the task acquisition phase, but facilitate better retention in the longer term compared with feedback delivered at shorter intervals.30


고학년 학생들이 구체적이고 건설적인 피드백을 선호한다는 결과는 그들의 발달 단계적 특성으로 설명 가능한데, 이러한 선호가 기술, 지식, 문제 해결 능력의 향상, 개인 학습 목표의 명확성 향상, 이러한 목표를 위한 자기주도학습기술의 향상 등과 상응commensurate하기 때문이다. Shute는 

  • 초기의 빠른 피드백이 단기적으로는 동기 부여와 지속성에 긍정적 영향을 미칠 수 있지만, 장기적으로는 단기성의, nontransferable한 정보에 대한 의존도를 높이고 '생각 없는 행동'을 촉진함으로써 불리한 영향을 미칠 수 있다고 추측했다 .29 

  • (비록 일부 학습자에서는 피드백 지연이 기술 습득에 악영향을 미칠 수 있고 해를 끼칠 수 있지만,) 마찬가지로 지연된 피드백의 긍정적인 점은 고차원 문제 해결 및 메타인지 행동을 개발하는데 도움이 된다는 것이다

Our finding that senior students’ preferred specific, constructive feedback on which they could act may be explained by their developmental stage in that this preference may be commensurate with their increasing skills, knowledge and problem-solving capacity, increasing clarity of personal learning goals, and increasing ability to self-direct their learning to meet these goals. Shute postulated that early feedback may have positive effects on motivation and facilitating persistence, but detrimental longer-term effects by encouraging reliance on short-term, nontransferable information or promotion of ‘less mindful behaviour’.29 Similarly, the positive benefits of delayed feedback indicate the development of higher-order problem solving and metacognitive behaviours, although in some learners delayed feedback may be demotivating and detrimental to skills acquisition.29


요약하면,이 연구는 학습자가 학년에 따라 피드백을 다르게 인식하고 사용한다는 것을 시사합니다. 학생의 성숙도에 따른 영향이 있습니다. 이러한 결과는 저학년 학생들이 피드백을 총괄적으로 인식하거나, 고학년 학생들이 형성적으로 인식하게 전환되는 것을 탐구하는 연구가 이러한 발달 과정을 이해하는 데 유익 할 수 있음을 암시합니다.

In summary, this study suggests that learners perceive and use feedback differently depending upon their seniority in the programme: there is a maturational influence. These findings imply that research that explores students’ transition from viewing feedback as summative in junior years, to more formative in more senior years, may be fruitful in understanding this developmental process.





 2012 Jul;46(7):711-21. doi: 10.1111/j.1365-2923.2012.04291.x.

Maturational differences in undergraduate medical students' perceptions about feedback.

Author information

1
Leeds Institute of Medical Education, School of Medicine, University of Leeds, Leeds, UK. d.g.murdoch-eaton@leeds.ac.uk

Abstract

CONTEXT:

Although medical students receive varied feedback throughout their training programmes, research demonstrates that they frequently perceive it as insufficient. However, supervisors tend to perceive that it is adequate. Students' responses to, and use of, feedbackare not clearly understood. The purposes of this study were to investigate how medical students recognise, respond to and utilise feedback, and to determine whether there are maturational differences in understandings of the role of feedback across academic years in medicalschool.

METHODS:

This was a mixed-methods study collecting qualitative (focus group and open-ended questionnaire items) and quantitative (questionnaire) data across the 5 years of an undergraduate programme.

RESULTS:

A total of 68 students participated in 10 focus groups. The questionnaire response rate was 46% (564/1233). Data analysis investigated the students' perceptions of feedback and explored patterns of responses across the continuum of undergraduate medicalschool stages. Maturational differences among the year cohorts within the programme emerged in three general areas: (i) student perceptions of the purpose of feedback; (ii) student recognition of feedback, and (iii) student perceptions regarding the credibility of feedbackproviders.

CONCLUSIONS:

Junior students generally perceived the receiving of feedback as a passive activity and preferred positive feedback that confirmed their progress and provided reassurance. More senior students viewed feedback as informing their specific learning needs and personal development. They valued immediate informal verbal feedback and feedback from peers and others, as well as that from senior teachers. Exploring students' progressive degrees of engagement with feedback and its relationship with self-esteem are subjects for further study.

PMID:
 
22691150
 
DOI:
 
10.1111/j.1365-2923.2012.04291.x
[Indexed for MEDLINE]


프로페셔널리즘 학습: 전임상 의과대학생의 관점(Acad Med, 2009)

Learning Professionalism: Perspectives of Preclinical Medical Students

Amy Baernstein, MD, Anne-Marie E. Amies Oelschlager, MD, Tina A. Chang, MD, and Marjorie D. Wenrich, MPH




프로페셔널리즘을 가르쳐치는 방법에 관한 일관된 주제가 등장했습니다.

(1) 역할 모델은 학생들의 프로페셔널리즘 개발에 일차적 역할을 한다,

(2) 프로페셔널리즘의 원칙을 명시적으로 가르치는 활동은 롤모델링에 전적으로 의존하는 교육의 중요한 보조물이며,

(3) 환자 치료에서 부정적인 롤모델을 관찰하는 것은 불가피하지만, 이러한 사건에 대해 교수들이 학생에게 설명 할 수 있는 능력을 갖게되면 해로운 영향을 완화시킬 수있다.

(4) 진정으로 프로페셔널리즘을 증진시키기 위해서 의과대학은 전체 교수진이 최고 수준의 프로페셔널리즘 기준에 따르도록 해야 한다

consistent themes regarding how professionalism should be taught have emerged: 

(1) role models are the primary influence on students’ professional development,8–10 

(2) activities in which trainees are explicitly taught principles of professionalism are an important adjunct to relying exclusively on role modeling,11–13 

(3) observing negative role models in patient care is inevitable, but having faculty available to students to debrief these events may mitigate deleterious effects,14–16 and 

(4) to truly promote professionalism in our trainees, medical schools must hold the entire faculty to the highest professional standards.2,9,11


학습자 buy-in은 의과대학 커리큘럼에 추상적이거나 외적인extraneous 것으로 인식 될 수있는 주제에 학생들을 참여시키는 데 필수적입니다.

learner buy-in is essential to engaging students in a topic that may be perceived as abstract or extraneous to the scientific curriculum.



전임상 교육과정에서의 프로페셔널리즘

Professionalism in the Preclinical Curriculum


워싱톤 대학 의과 대학에서는 전임상 커리큘럼에서 프로페셔널리즘을 가르치는 접근 방식이 공식 및 비공식 요소를 결합합니다. 공식 전문성 교과 과정에는 강의, 패널, 소그룹 토론, 서면 성찰 및 의식이 포함됩니다 (표 1). 학생들은 전문성 벤치 마크라고하는 일련의 행동 기대치를받습니다.

At the University of Washington School of Medicine, our approach to teaching professionalism in the preclinical curriculum combines formal and informal elements. The formal professionalism  curriculum includes lectures, panels, small- group discussions, written reflections, and ceremonies (Table 1). Students receive an explicit set of behavioral expectations called professionalism benchmarks.


비공식 프로페셔널리즘 커리큘럼은 종종 임상 맥락에서 교수, 의사 또는 동료와의 학생 접촉을 통해 나타납니다. 우리 학부 환경에서 첫 1 년 동안 환자 인터뷰가 개별 인터뷰에서 발생합니다.

The informal professionalism curriculum emerges through student contact with faculty, physicians, or peers, often in clinical contexts. In our undergraduate setting, patient contact occurs in individual interviews during the first year.


2 학년 동안, 30 명의 대학 멘토 중 임상 스킬 (면접, 신체 검사, 임상 추론, 구두 및 서면 프리젠 테이션) 및 전문성 교육을받는 대학 프로그램의 맥락에서 환자 접촉이 발생합니다. Competitive한 과정에서 선발 된 이들 교수진은 수업 및 멘토링 활동을위한 공개 시간을 가지며, 등록부터 졸업까지 각 반의 학생들을 일관되게 멘토합니다 .27,28 각 멘토는 매주 6 명 입원 환자 환경에서 2 학년 학생. 매주 두 명의 학생들이 멘토 감독하에 입원 환자들을 인터뷰하고 검사합니다. 이 학생들은 침대 옆의 환자들을 멘토와 다른 다섯 명의 학생들에게 소개합니다. 연말까지 각 학생은 6 명의 입원 환자에 대해 인터뷰, 조사 및 침대 옆 프리젠 테이션을하고 30 명의 추가 환자를 관찰하고 논의했습니다.

During the second year, patient contact occurs in the context of the colleges program, in which students receive instruction in clinical skills (interviewing, physical exam, clinical reasoning, oral and written presentations) and professionalism from1 of 30 college mentors. These faculty, selected in a competitive process, are given release time for their teaching and mentoring activities, and they mentor a consistent group of students in each class from enrollment to graduation.27,28 Each mentor meets weekly with his or her group of six second-year students in an inpatient setting. Two students each week interview and examine hospitalized patients under their mentor’s supervision. These students then present their patients at the bedside to the mentor and the other five students. By the end of the year, each student has interviewed, examined, and given a bedside presentation on six hospitalized patients and has observed and discussed an additional 30 patients.


멘토는 ​​침대 옆에서 일어나는 프로페셔널리즘 문제와 학생들과의 집단 역학 관계를 탐구합니다. 위에서 언급 한 프로페셔널리즘 벤치 마크의 개발에 참여한 이들 멘토는 학생들과의 프로페셔널리즘 토론을 통해 이러한 벤치 마크를 refer하고 reinforce하도록 권고된다.

College mentors explore professionalism  issues that arise at the bedside and in group dynamics with their students. These mentors, who participated in development of the professionalism  benchmarks described above, are encouraged to refer to and reinforce these benchmarks in discussions of professionalism with their students.


우리는 공식적이고 비공식적인 전임상 프로페셔널리즘 교과 과정에 대한 학생들의 인식에 관심이있었습니다.

We were interested in students’ perceptions of the formal and informal preclinical professionalism curricula.




방법

Method


참가자

Participants


A convenience sample of second-year students completed interviews in 2004 and 2005 as part of the school of medicine’s internal curricular improvement process. All second-year medical students were invited via e-mail to participate near the end of the 2003– 2004 and 2004–2005 academic years, with the goal of identifying 30 students for interviews and completing interviews with at least 25 students per year in 2004 and 2005. Students were informed that the purpose of the interview was to learn how the curriculum performs in order to make future improvements. Students were assured that their responses would be deidentified and were, therefore, confidential. Each student received $50 for participating.



도구

Instrument


Interview questions were developed by a core team of medical education faculty with expertise in qualitative research and evaluation. Questions assessed multiple domains of the curriculum, including the teaching of professionalism . Every participant was asked six questions specifically addressing professionalism . These questions included 

    • the student’s definition of professionalism , 

    • self- perceived influences on professionalism , 

    • the college faculty and college group’s influence on professionalism , and 

    • professional and unprofessional behaviors observed.


자료 수집, 분석, 해석

Data collection, analysis, and interpretation


In-depth, face-to-face, semistructured interviews were conducted by nonclinical medical education faculty with no supervisory relationship to students. Interviews, conducted in confidential settings and approximately 45 minutes in length, were audiotaped. Students were not identified by name in the interview.


Students’ responses were later transcribed, and all potential identifiers were removed. For the purpose of our analyses, we used portions of the transcripts relevant to professionalism .

    • All members of our research team initially reviewed a common set of 12 interviews and, from this common review, developed preliminary domains and categories within domains. 

    • Then, two researchers (A.B. and either A.A.O., T.A.C., or M.D.W.) independently coded each of the 56 transcripts using these common domains and categories. 

    • New domains and categories that emerged were discussed and added during the coding process. 

    • Coding discrepancies were reconciled by discussion and consensus. 

    • Analysis oversight was provided by an experienced qualitative researcher without direct clinical exposure to the students (M.D.W.).

    • In coding pairs we also identified, reviewed, and discussed representative quotations

    • Quotations best exemplifying domains or categories within domains were edited for length and flow, but the text’s meaning was preserved. 

    • Numeric counts of domains and categories are presented in some cases to demonstrate how frequently these topics were raised by students. 

We calculated interrater reliability using all transcripts.




결과

Results


무엇이 프로페셔널한 것인지를 관찰하다: 롤모델

“Observing what is professional”: Role models


참여자들은 역할 모델을 프로페셔널리즘 교육의 강력한 원천으로 간주했다. 역할 모델은 세 가지 범주로 분류됩니다.

Participants identified observing role models as a powerful source of professionalism education. Role models fell into three categories:


환자 돌봄에서 의사 역할모델

Physician role models in patient care.


대부분의 학생들은 역할 모델링이 프로페셔널리즘을 배우는 기본 방식이라고 표현했습니다.

Most students expressed that role modeling was their primary mode of learning professionalism .


프로페셔널리즘에 대한 긍정적 역할 모델을 설명하는 데있어 대부분의 학생들은 임상 작업에서 관찰 한 의사를 설명했습니다.

In describing positive role models for professionalism , most students described physicians they observed in clinical work.


학생들은 부정적인 의사 역할 모델에 대해서도 설명했습니다. 대부분은 egregious하진 않았지만, 상당히 인상적이었습니다.

Students also described negative physician role models. Although many examples were not egregious, they made a strong impression:


교실에서 교수 롤모델

Faculty role models in the classroom.


56 명의 학생 중 22 명 (39 %)이 교실 수업 중 교직원의 행동을 프로페셔널 또는 unprofessional한 것으로 확인했습니다.

Twenty-two of the 56 students (39%) identified faculty conduct during classroom instruction as professional or unprofessional.


교수자의 UPB에는 강의 준비를하지 못하고 저속한 농담을하고 환자에 대해 무례한 말을하고 학생을 얕잡아보고 학생의 우려를 진지하게 받아들이지 않는 것 등이 포함되었다.

Unprofessional behaviors noted in lecturers included being unprepared for the lecture, telling vulgar jokes, making disrespectful comments about patients, belittling students, and not taking students’ concerns seriously.


동료 롤모델

Peer role models.


2 학년 학생들은 일상적으로 환자를 인터뷰하고 병상에서 사례를 발표하며 서로의 퍼포먼스를 동료에게 피드백합니다. 학생들은 동료의 강점을 통해 배울 기회를 언급했습니다.

Second-year students in our setting routinely observe one another interviewing patients and presenting cases at the bedside, and they provide feedback to peers on their performance. Students cited opportunities to learn from peers’ strengths.


학생 중 절반 이상이 피곤함, 속임수, 환자, 교사 및 동료에 대한 불손한 말하기와 같은 동료의 UPB를 비판했습니다. 학생들은 동료의 행동이 전체 전문직에 반영된다는reflect 것을 파악했습니다.

More than half of the students criticized peers for unprofessional behaviors, such as tardiness, cheating, and speaking disrespectfully of patients, teachers, and peers. Students grasped that peers’ actions reflect on the whole profession. 


학생들은 동료가 UPB를 했을 때 멘토가 개입 할 것을 기대했습니다.

Students expected their mentor to intervene when students demonstrated unprofessional behavior.


무엇이 프로페셔널한 것인지를 듣다: 공식 교육과정

“Being told what is professional”: Formal curriculum


강의와 패널

Lectures and panels.


학생들은 프로페셔널리즘에 중점을 둔 강의와 패널이 긍정적 인 영향을 미쳤다고 말했습니다. 효과에는 프로페셔널리즘을 향상시키는 특정 행동과 같은 "정치적 진주political pearls"를 배우고 "내 견해를 넓히는"것이 포함되었습니다. 일부 학생들은 강의에 열성적이었습니다.

students stated that lectures and panels focused on professionalism had a positive impact. Effects included “broadening my viewpoints” and learning “political pearls,” such as specific behaviors that improve interprofessional relationships. Some students were very enthusiastic about lectures:


그녀는 역할 모델을 보면서 프로페셔널리즘을 배웠지만, 프로페셔널리즘에 대한 분명한 토론을 하는 것은 본 것을 해석하는 데 중요했습니다.

although she learned professionalism from watching role models, explicit discussions about professionalism were important to interpret what she saw.


몇몇 학생들은 강의가 다른 학생들에게 중요하다고 생각했지만, 반드시 그렇지는 않았습니다. 강의를 통한 프로페셔널리즘 탐구에는 "설교"적 요소가 있었으며, 그들은 이미 프로페셔널리즘을 embrace하였다고 생각하는 사람들에게만 관심을 보였습니다.

Several students believed lectures were important for other students, although not necessarily for them. Exploring professionalism in lectures had a “preaching to the choir” element, with interest only from those who believe they already embrace professionalism :


동등한 수의 학생들은 프로페셔널리즘에 관한 강의와 패널에 부정적인 반응을 보였다.

An equal number of students15 had negative reactions to lectures and panels about professionalism .


몇몇 학생들은 강의와 패널이 프로페셔널리즘에 대해 "관심을 끄게 만든다"고 했다.

Several students felt that lectures and panels “turned them off” to professionalism :


의대에 오기 전에 나에게 프로페셔널리즘이 의미한 것은, 내가 의대에 와서 그들에게 듣는 말과 똑같습니다. 이것은 그저 강의 일뿐입니다. "네가 행동을 망치기 전에 어떻게 해야 하는지를 말해 줄거야." 나는 도저히 그것을 참을 수 없다. 도망 가고 싶게 만든다.

What professionalism meant to me before coming to medical school was exactly what they say to us. What it means to me now is just a lecture: “We’re going to tell you how to act, before you ever mess up.” I just can’t stand it. It makes me want to run away.


일부 학생들은 적절한 복장과 같은 구체적인 주제에 대해 강의하는 것은 모욕적이라고 설명했습니다. 그러나 학생들은 동료들이 부적절한 옷차림을 한 경우 이것을 UPB로 명확히 구분했다. 몇몇 학생들은 동료가 알아야하는 것과 일부 동료들이 취하는 행동을 명시적으로 대조했습니다.

Some students commented that being lectured on concrete topics such as appropriate dress was insulting. Yet, students specifically identified inappropriate dress as an unprofessional behavior they observed in peers. Several students explicitly contrasted what peers should know with how some behave.


소그룹 토론

Small-group discussions.


학생들은 공식적으로 구성된 소그룹 토론을 긍정적 인 학습 경험으로 자주 인용했습니다.

Students frequently cited formally organized small-group discussions as positive learning experiences:


멘토가 중요했다고 말한 44명 주에서, 절반은 멘토가 주도한 프로페셔널리즘 토론을 중요하게 꼽았다.

Of 44 students who identified their college mentor as a positive role model, nearly half described discussions their mentor led as important in learning professionalism , as distinct from observation alone.



교육과정의 다른 공식적 파트

Other formal parts of the curriculum.


    • 어떤 학생도 우리의 공식 커리큘럼에서 요구되는 written 성찰을 특별히 언급하지 않았지만 다섯 명의 학생들은 가족이나 친구들과의 자기 반성 또는 비공식 토론을 통해 프로페셔널리즘을 배웠다고 보고했습니다. 

    • 어떤 학생도 의식ceremonies을 언급하지 않았지만, 학생들이 "강의"에 관해 토론했을 때,이 사건에서 연설speeches을 언급했을 수도 있습니다. 

    • 3 명의 학생들은 프로페셔널리즘 OSCE에 대해 교육적이고 유용한 토론이 있었다고 대답했다. 반면에 2 명의 학생들은 station이 불공정하거나 부적절하게 프로페셔널리즘을 "유일한 정답"만 있는 것으로 규정했다.

No student specifically mentioned the written reflections required in our formal curriculum, but five students reported that they learned professionalism from self-reflection or informal discussions with family and friends. No student mentioned ceremonies, although when students discussed “lectures,” this may have referred to speeches at these events. Three students reacted to the professionalism OSCE, commenting that it was educational or spurred useful discussions, whereas two others commented that the station was unfair or inappropriately reduced professionalism  to “the one right answer.”



내가 원래 가지고 있던 것: 비교육과정 요소들

“What I bring to medical school”: Noncurricular elements


15 명의 학생들 (27 %)은 그들이 프로페셔널리즘에 중요한 영향을 미치는 것으로 의과대학 입학 전에 가졌던 자신의 양육 또는 개인적인 가치를 언급했습니다. 6 명의 학생이 의사 친척을 영향을 언급했다. 양육의 영향에 대한 학생들의 의견은 몇 가지 전형적인 되풀이 진술에 의해 표현됩니다 : "프로페셔널리즘은 가르치는 것이 정말 힘듭니다" "프로페셔널리즘은 직관적인 것이다", "양육 방식에 대한 것이다"

Fifteen students (27%) mentioned their upbringing or personal values they brought to medical school as important influences on their emerging professionalism . Six additional students identified physician relatives as influences. Students’ comments about the influence of upbringing are represented by a few typical recurring statements: “I think professionalism is a really hard thing to teach,” “It’s intuitive,” and “It’s how you were raised.”


10 명의 학생들은 의대 이전의 직업 경험이 그들의 프로페셔널리즘에 영향을 미쳤으며 다른 2 명은 formative 학부생 경험을 확인했다고 언급했습니다. 일부 학생들은 unprofessional한 학생을 배제시키는 입학 절차에 의해 프로페셔널리즘이 확립되었다고 주장했습니다.

Ten students noted that work experience prior to medical school influenced their professionalism , and two others identified formative undergraduate experiences. Some students asserted that professionalism was established by the admission process, which weeded out unprofessional students:


직무에서 배우기: 경험적 학습

“Learning on the job”: Experiential learning


7 명의 학생들 (13 %)은 환자들과 함께 일하는 것이 프로페셔널리즘에 직접적으로 영향을주는 것으로 나타났습니다. 한 학생은 "강의는 원하는만큼 들을 수 있지만, 듣는 것과 실제로 적용하는 것에는 큰 차이가 있습니다."

Seven students (13%) described working directly with patients as influencing their developing professionalism . One student said, “You can have as many lectures as you want, but there’s a big difference between hearing about it and actually doing it and applying it for yourself.”


다른 학생들은 전임상 단계에서는 환자를 보는 것이 마치 연극처럼 느껴지지만, 프로페셔널한 행동을 배우는 데 매우 중요하다고 설명했다.

Other students described how seeing patients at their preclinical stage felt like play-acting but was valuable for learning professional behavior:


고찰

Discussion


학생들이 어떻게 프로페셔널리즘 교육을 인식하느냐에 대해서 한 가지 일화는 이렇게 말한다 "프로페셔널리즘 교육의 현재 구조는 일반적으로 인정되는 것보다 학생들의 미덕, 자신감, 윤리에 도움이 되기보다는 해만 끼친다" "학생들은 프로페셔널리즘 교육과정에 의해 향상되기 보다는 희생되었다고 느낀다". 우리의 질적 방법은 학생들이 보통 사적으로 만 표현할 수있는 비슷한 부정적 감정을 불러 일으켰습니다.

One anecdotal account of how students perceive professionalism teaching states, “The current structure of professionalism  education does more to harm students’ virtue, confidence, and ethics than is generally acknowledged” and that “we students feel more victimized by the professionalism curricula than enhanced.”30 Our qualitative methods brought forth similar negative sentiments that students may usually express only privately.


학생들은 프로페셔널리즘에 관한 공식 강의에 대한 혼합 된 반응을 보였습니다. 어떤 사람들은 강의가 관찰한 프로페셔널한 행동을 명확하게elucidate 하는데 영감을 주고 도움이 된다고 말했다. 비슷하게 다른 학생들은 강의를 "상식", "명백한", "불투명 한 것"또는 "모호한"것으로 비난했다. 우리의 연구 결과는 프로페셔널리즘에 관한 공식 교육이 모욕적 인 것으로 인식 될 수 있다는 경험적 증거를 제공한다.

Students had mixed reactions to formal lectures on professionalism . Some found lectures inspirational and helpful for elucidating observed professional behaviors. Comparable numbers criticized lectures as “common sense,” “obvious,” “nebulous,” or “ambiguous.” Our findings provide empiric evidence for the perception that formal education about professionalism may be seen as insulting.31,32


강의를보다 의미있게 만드는 학생들의 구체적인 제안

  • 프로페셔널리즘에 대한 정의를 명시적이고 일관되게 하고

  • 실제적tangible 기술에 초점을 맞추고,

  • 강의를 근거-기반 으로 만들고

  • 복을 피하십시오.

Students’ specific suggestions to make lectures more meaningful included 

  • articulating an explicit and consistent definition of professionalism , 

  • focusing on tangible skills, 

  • making lectures evidence based, and 

  • avoiding repetition.


학생들은 임상 교수 외에도 교실에서 만나는 교수를 긍정적이거나 부정적인 역할 모델로 밝혔다. 우리가 아는 한 이것은 기존 문헌에서 연구하지 않았다. 이것은 기본적인 과학 교수진이 일관된 프로페셔널리즘 표준을 보장하기 위해 임상 교수진 및 의과대학과 협력적으로 작업 할 필요성을 강조합니다

the students identified classroom faculty, in addition to clinical faculty, as positive and negative role models, a finding that, to our knowledge, has not been previously explored in the literature. This emphasizes the need for basic science faculty to work in concert with clinical faculty and medical school administration to ensure consistent standards of professionalism 


학생들은 동료들로부터 프로페셔널리즘을 배웠다고 생각했습니다. 전임상 단계의 학생들은 동료들을 위협적이지 않은 건설적 피드백 소스로 보았으며, 특히 환자 상호 작용이있는 환경에서 그렇게 보았다. 임상 실습기간의 학생들은 신뢰할 수있는 프로페셔널리즘 "진주"의 원천으로 여겨졌다.

Students perceived that they learned professionalism from their peers . Preclinical peers were seen as a nonthreatening source of constructive feedback, particularly in settings with patient interaction; students in the clinical years were viewed as reliable sources of professionalism  “pearls.” 


교수진이 UPB를 동료를 교정하지 않았을 때 학생들은 실망했습니다. 비록 문학이 환자 진료의 맥락에서 침대 머리 회전의 교수적 가치를지지하지만 33,34 우리의 연구 결과는 BST가 전임상 기간 동안에도 프로페셔널리즘을 증진시킬 수 있음을 시사한다.

Students were disappointed when faculty did not correct peers who behaved unprofessionally. Although literature supports the teaching value of bedside rounds in the context of patient care,33,34 our findings suggest that bedside teaching may promote professionalism during the preclinical years as well.


환자와 경험을 묘사하며 학생들은 자신의 "인지한 무능력conscious incompetence"에 대한 인식을 드러내는 생생한 묘사를했으며, 자신이 학생에서 의사로 이행transition 한다는 것을 인식했습니다. 이러한 내면의 경험을 탐색하는 것은 프로페셔널한 행동에 대한 성찰에 학생들을 참여시키는 효과적인 전략 일 수 있습니다.

students who described experiences with patients gave vivid descriptions revealing awareness of their own “conscious incompetence,”37 and they recognized their transition from student to physician. Exploring these inner experiences may be an effective strategy for engaging students in reflection on professional behaviors.


많은 학생들은 자신의 양육, 고용경험, 학부 교육에서 프로페셔널리즘을 배웠거나 상속inherited 받았다고 말했습니다. 일부 학생들에게 공식 프로페셔널리즘 교육과정은 교수들이 [학생들은 프로페셔널리즘이 부족하다]고 생각함을 의미했고, 그 결과 교육과정에 대한 저항을 유발하였다. 이러한 격차를 해소하고 저항을 극복하기 위해서는 학생들이 의대에 입학하기 전에 가지고 있던 것이 무엇인지를 분명히 인정하고 평가하는 것이 중요합니다.

Many students said they learned or inherited professionalism from their upbringing, prior employment, or undergraduate education. To some students, a formal professionalism  curriculum implied that faculty believed they lacked professionalism , engendering resistance to the curriculum. To bridge this gap and overcome resistance, it is important to explicitly acknowledge and appreciate what students bring to medical school.


강의와 소그룹 토론은 의대 프로페셔널리즘 교육이 기존의 가치와 삶의 경험을 대체하는 것이 아니라, 구축하려는build on 의도임을 분명히 해야합니다. 또한, 프로페셔널리즘을 제시함에 있어서 퀄리티의 향상과 관련을 지어서 학생 뿐만 아니라 의사로서 진료하는 것에도 관련이 되고 필요하다고 강조하면, 학생들이 토론을 보다 더 contextualize하는데 도움이 될 것이다.

Lectures and small-group discussions should make it clear that medical school professionalism  education is intended to build on, not replace, existing values and life experiences. In addition, presenting professionalism as a quality improvement concern, as relevant to and necessary for practicing physicians as for medical students, may help students better contextualize discussions.39



Conclusions







 2009 May;84(5):574-81. doi: 10.1097/ACM.0b013e31819f5f60.

Learning professionalismperspectives of preclinical medical students.

Author information

1
Department of Medicine, University of Washington School of Medicine, Seattle, Washington, USA. abaer@u.washington.edu

Abstract

PURPOSE:

To identify and examine how students respond to and engage with formal professionalism teaching strategies, and what factors outside the formal curriculum may influence professional development.

METHOD:

Individual semistructured interviews were conducted with 56 students completing the preclinical curriculum at the University of Washington School of Medicine in 2004 and 2005. Interviews were recorded, transcribed, and analyzed using qualitative methods.

RESULTS:

Students identified role modeling as an important modality for learning professionalism, even during their preclinical years. Role models included classroom faculty and peers, in addition to physicians in clinical settings. Small-group discussions and lectures helped some students identify and analyze the professional behaviors they observed, but they elicited negative responses from others. Students believed their professionalism derived from values, upbringing, and experiences prior to medical school. Some students reflected on their evolving professionalism while working directly with patients.

CONCLUSIONS:

Medical schools should ensure that students are exposed to excellent role models-ideally, faculty who can articulate the ideals of professionalism and work with students longitudinally in clinical settings. Lectures about professionalism may alienate rather than inspire studentsStudents' premedical experiences and values influencing professionalism should be acknowledged and appreciated. Bedside teaching and reflection on students' inner experience as they begin to work directly with patients deserve further exploration as opportunities to teach professionalism.

PMID:
 
19704189
 
DOI:
 
10.1097/ACM.0b013e31819f5f60
[Indexed for MEDLINE]


피드백 매핑 - "교육 동맹"을 위한 교육과정의 주춧돌(Med Teach, 2017)

Feedback mapping – The curricular cornerstone of an “educational alliance”

Deborah Murdoch-Eaton and Lucy Bowen

Academic Unit of Medical Education, University of Sheffield, Sheffield, UK





도입

Introduction


피드백의 목적은 표준과 비교하여 기술 및 지식의 현재 수준에 대한 정보를 제공하는 것 이상이다. 피드백은 학습에 가장 강력한 영향을 미치는 요인 중 하나입니다 (Hattie & Timperley 2007). 효과적인 피드백은 

  • 자신의 성과를 비판적으로 분석하고, 

  • 성과가 표준에 맞추어 향상되었는지에 대한 외부 판단을 사용하며, 

  • 미래의 목표를 탐색

...할 수있는 학습자의 능력을 개발하는 데 중요한 역할을 한다 (Van de Ridder 외. 2008). 이러한 자기 조절 능력은 평생 학습과 미래 practice을 위한 준비를 뒷받침합니다 (Butler & Winne 1995).

Feedback serves a greater purpose than simply providing information about current levels of skill and knowledge against recognized standards. It is one of the most powerful influences on learning (Hattie & Timperley 2007). pivotal role Effective feedback plays a in developing a learner’s ability to 

  • critically analyze their own performance, 

  • use external judgments of progress against performance standards, and 

  • identify future goals (Van de Ridder et al. 2008). 

This capacity for self-regulation underpins lifelong learning and preparation for future practice (Butler & Winne 1995).


피드백 개입이 언제나 성과 향상을 가져오는 것은 아니다(Kluger & DeNisi 1996). 피드백은 다른 학습 단서와 경쟁하며 학습자 인식, 성숙도의 차이, 학습 문화의 영향을 받습니다 (Murdoch-Eaton & Sargeant 2012, Watling 2014a, McLean 외 2015). 학습자는 교육자들이 스스로 주고 있다고 생각하는 것보다 피드백을 덜 받고 있다는 불만을 자주 보고하며, 이를 소위 "피드백 차이gap"이라고 부른다. 이러한 서로 상반되는 인식은 피드백이 실제로 발생했는지 여부뿐만 아니라, 학습자가 피드백을인지하고 어떻게 의미를 구성하는 데 사용할 수 있는지에 대한 생각의 차이를 보여줍니다 (Irby 1994; Van de Ridder 외 2008; Murdoch-Eaton & Sargeant 2012).

Feedback interventions cannot be assumed to result in performance improvement (Kluger & DeNisi 1996). Feedback competes with other learning cues and is subject to learner perceptions, maturational differences, and learning cultures (Murdoch-Eaton & Sargeant 2012; Watling 2014a; McLean et al. 2015). Learners consistently express dissatisfaction, and frequently report receiving less feedback than educators believe they are giving, resulting in the so-called “feedback gap” (Gil et al. 1984; Sender Liberman et al. 2005; Jensen et al. 2012). These contrary perceptions illustrate differing recollections of not only whether feedback has actually happened, but also whether the learner has recognized the feedback and how they may use it to construct meaning (Irby 1994; Van de Ridder et al. 2008; Murdoch-Eaton & Sargeant 2012).


피드백 인식 및 활용의 이러한 다양성은 교육자가 학습에 미치는 영향을 촉진시키기 위해 상당한 어려움을 유발한다. 피드백 제공자가 피드백 품질 향상을 위해 이미 잘 밝혀진 피드백 기술을 사용했음에도 불구하고, 이는 학습자의 불만을 개선하는 데 거의 영향을 미치지 않았으며, 오히려 "맥락적 진공contextual vacuum"(Boud & Molloy 2013)상태에서 피드백을 준다고 비판을 받는다. 실제로 이러한 기술은 피드백이 단순히 "전문가"교사로부터 "초보자"학습자에게 전달되는 단방향 신호가 되게 만들 수 있으며, 이것은 결과적으로 학습자를 수동적 수신자가 되게 할 수도 있습니다 (Clarke & Molloy 2005). 현재 알려진 최선의 방법은 피드백을 대화 과정으로 생각해야 한다고 제안한다. 즉, 피드백은 학습자가 적극적으로 참여하는 "대화"이다 (Butler & Winne 1995; Boud 2000; Cantillon & Sargeant 2008; MurdochEaton & Sargeant 2012).

This diversity in feedback recognition and utilization poses considerable challenges for educators to facilitate its impact upon learning. Despite using accepted feedback techniques to address feedback quality, this has had little impact on remediating learners’ discontent and is criticized for being founded in a “contextual vacuum” (Boud & Molloy 2013). In practice, these techniques may impose the unidirectional transmission of feedback from an “expert” teacher to the “novice” learner, and consequently position the learner as a passive receiver (Clarke & Molloy 2005). Current best practice proposes that feedback should be considered as a dialogic process; a “conversation” where the learner becomes an active participant (Butler & Winne 1995; Boud 2000; Cantillon & Sargeant 2008; MurdochEaton & Sargeant 2012).


최근 학습자와 교육자 간의 "교육 동맹"에 대한 명확한 설명은 피드백을 발전시키는 귀중한 개념 모델을 설명합니다 (Telio 외 2015). 교육 동맹이라는 개념은 학습자, 교육자, 피드백 맥락의 관계 및 상호 책임에 초점을 맞추며, 여기서 학습자가 피드백에 대해 가지는 인식이 학습에 영향을 미치는 핵심 요소입니다. 문헌은 이러한 개념을 뒷받침하며, 피드백 제공자가 "신뢰 요소"가 되는 관계에 더 많은 시간을 투자하고, 학습자와 공유하는 "문화적 배경"을 만들어 낼 때 피드백이 더 성공적이라고 제안했다 (Norton 1992; Sasanguie et al. 2011; Ridder et al 2015).

The recent articulation of an “educational alliance” between the learner and educator describes a valuable conceptual model to advance feedback practice (Telio et al. 2015). It focuses on the relationship and mutual responsibility of the learner, educator and the context of feedback, within which the learner’s perception of feedback is central to influence learning. The literature supports this concept, suggesting feedback is more successful when the feedback provider invests time in the relationship, signifying a “factor of trust”, and engenders a shared “cultural background” (Norton 1992; Sasanguie et al. 2011; Ridder et al. 2015).


교육자, 교육 프로그램, 학습자 간의 피드백에서 투명성과 일관된 발전 문화를 육성하는 핵심 원칙은 그림 1 (Telio 외 2015에서 파생 됨)에서와 같이 성공적인 "교육 동맹"의 초석입니다. 교육 동맹에서는 무엇보다 학습자가 각 과정에서 무엇을 제공해야 하고 제공할 수 있는지에 대한 현실적인 기대치를 설정하는 것이 중요하다. 이는 피드백 인식 및 활용을 용이하게하는 커리큘럼 디자인을 통해 학습자의 역량을 강화할 수있는 기회를 제공하는 데 결정적인 역할을합니다 (Boud & Molloy 2013).

The key principle of fostering a culture of transparency and coherent progression in feedback encounters between the educator, the educational program and learner is the cornerstone of a successful “educational alliance”, as illustrated in Figure 1 (derived from Telio et al. 2015). Most importantly it has potential to establish more realistic expectations within learners of what a course can or should deliver. This hinges crucially on providing opportunities to empower learners’ capabilities through curriculum design that facilitates recognition and utilization of feedback (Boud & Molloy 2013).


학습자와 교육자가 피드백을 인식하고 활용할 수 있도록하기 위해 학부 교육과정 내에 존재하는 모든 주요 피드백이 언제 어떻게 이뤄지는지에 대해서 포괄적 인 매핑 작업이 필요하다는 것이 확인되었습니다. 이는 "교육 동맹"의 교과 과정 설계 및 내용 핵심 측면을 다루기 위해 고안된 교육 개입의 첫 번째 부분으로 계획되었습니다 (그림 1에서 그림으로 표현됨). 피드백 커리큘럼 map은 교육 제공자, 즉 교사와 커리큘럼 구성 요소 (그림 1의 A)의 관점에서 피드백 기회의 범위를 밝히는 초기 단계로 착수되었습니다.

It was identified that in order to enhance recognition and utilization of feedback by both learner and educator, a comprehensive mapping exercise of all key feedback encounters within our undergraduate medical program was required. This was envisaged as the first part of an educational intervention designed to address the curriculum design and content key aspect of the “education alliance” (as diagrammatically represented in Figure 1). The feedback curricular map was undertaken as an initial first stage of elucidating the range of opportunities for feedback from the perspective of the educational providers, i.e. from teachers and within the curricular components (A in Figure 1).


"교육 동맹"모델 (Boud & Molloy 2013, Telio 외 2015) 내에서 효과적인 피드백을 보장하기 위해서는 학습자와 교사 사이의 대화와 참여가 중요합니다.

Dialogue and participation between learner and tutor are central to ensure effective feedback within an “educational alliance” model (Boud & Molloy 2013; Telio et al. 2015).




방법

Methods


연구 맥락

Context of study


The study was undertaken in a UK medical school, with student population of approximately 1280 students spread over the 5 years of the undergraduate program.


The hybrid integrated program delivers four phases: 

  • Phase 1 – Introductory Clinical Competency and Medical Sciences ( 1 year); 

  • Phase 2 – Basic Clinical Competency ( 18 months); 

  • Phase 3 – Extended Clinical Competency (two parts over 2 years) and 

  • a final Phase 4 – Advanced Clinical Competency (6 months). 


Early phases are predominantly based within university premises for lectures, small group work (including problem-based learning activities), seminars and directed self-learning activities.


임상 교사는 필연적으로 학부 교육프로그램 전반에 대한 지식이 부족하다 (Glover et al., 2015).

Clinical teachers inevitably have less extensive knowledge of the overall program of undergraduate training (Glover et al. 2015).



피드백 매핑 과정

Feedback mapping process


조사 요소들

These components were captured within identified categories (Table 1).



참여적 실행연구 방법

A participatory action research approach was chosen as it involves practitioners as both subjects and co-researchers (Greenwood et al. 1993), as illustrated by the exploratory mapping exercise process (Figure 2).



결과

Results


1단계: 피드백 매핑 결과

Stage 1: feedback mapping product


프로그램을 통해 학생들이 피드백을받을 수 있거나받을 수있는 188 개의 커리큘럼 구성 요소 

188 curricular components across the program through which students can or will receive feed-back (

phase 1 - 30; 

phase 2 - 43; 

phase 3a - 53;

phase 3b - 40; 

phase 4 - 22). 



표 2는 임상 로테이션 내에서 피드백 제공을 보여주는 예시적인 지도 섹션과 작업 및 학습 의도에 따라 다른 피드백이 제공 될 수있는 학습 경험의 다양성을 보여줍니다. 매일매일 "전반적인 성과"에 대한 구두 의견이 다양한 의료 전문가로부터 제공되며, 술기 실습을 장려하며, 향상이 필요한 영역을 식별하기위한 의도로 제공된다. 이러한 피드백은 종종 감독자와 학습자 따라 매우 다양하게 이뤄지고, 피드백으로 인식되지 않는 경우가 흔하다(Murdoch-Eaton & Sargeant 2012, Watling & Lingard 2012, Ridder 외 2015).


Table 2 shows an example map section illustrating feedback provision within a mid-program clinical specialty rotation, and the diversity of learning experiences within which different feedback may be provided appropriate to the task and learning intention. Daily verbal feedback on “overall performance” is likely to come from a range of health care professionals, and given with the intent to encourage skills practice and identify areas for enhancement during placement. This is frequently a feedback type that is variable, dependent on both supervisors and learners, and is frequently not recognized (Murdoch-Eaton & Sargeant 2012; Watling & Lingard 2012; Ridder et al. 2015).




표 3은 프로그램을 통해 배포 된 일종의 학습 경험에서 완료된 서면 과제에서 제공되는 피드백을 보여줍니다. 학생 선택한 구성 요소 프로젝트 (SSC).

Table 3 illustrates feedback provided within written assignments completed within a type of learning experience distributed across the program; Student Selected Component projects (SSCs).





2단계: 스텝 논의

Stage 2: staff consultations


교육 동맹 개념

“educational alliance” concept (Figure 1).


피드백 매핑 결과물을 보고서는, 나는 초기에 얼마나 이렇게나 많은 피드백이 주어졌다는 사실에 완전히 놀랐습니다. 나는 학생들에게 제공되는 피드백의 양 또는 빈도를 알지 못했으며, 나도 몰랐기 때문에, 학생들이 피드백 기회를 완전히 인식하지 못했다는 사실이 놀랍지 않다. [P1]

…seeing the feedback mapped out, I was totally surprised by how much is given in the early years. I had not realised the amount or frequency of feedback to students and, if I did not know, then I am not surprised that the students were not fully aware of feedback opportunities. [P1]


코스의 피드백 수에 놀라움을 금치 못했습니다 ... 학생들에게 피드백 소스를 제공하고 학생들에게 피드백을 구할 수있는 곳을 알려주는 것에 대한 확신이 생겼습니다. [P2]

I was astounded by the number of feedback points in the course … It made me feel more confident about directing students to sources of feedback and reminding students where they could seek feedback. [P2]


피드백 맵에서 "목적과 영향" 섹션은 학생들이받는 피드백을 최대한 활용할 수있게 해주는 매우 유용한 도구라고 생각합니다. 맵핑 연습이 일어나기 전에 이 정보는 이전에 하나의 문서로 수집되지 않았지만, 이제는 학생 (및 직원)에게는 매우 유용한 참조 리소스가 될 것이다. [P1]

I think the Purpose and Impact section on the feedback map is extremely useful to students it enables them to make the most of the feedback they receive. Before the mapping exercise took place this information had not previously been gathered into one document and now the students (and staff) have a very useful reference resource. [P1]


나에게 있어서 맵핑 연습은 피드백 프로세스에서 중요한 gap을 보여주었습니다. 우리는 이제 피드백이 이렇게 많은 시점에서 주어짐을 알고 있지만, 학생들은 분명 그것을 알지 못할 것이다. 이제 피드백이 적절히 signpost되는지, 이루어지는지에 대한 책임은 우리에게 있으며, 학생의 참여를 이끌어내야 한다. [A3 / 4]

For me, the mapping exercise illustrated an important gap in our feedback process. We now know that feedback is given at numerous points in a year, but apparently our students are not aware of it. The onus is on us to ensure feedback is properly (signposted) … done, with the student’s knowing participation. [A3/4]



고찰

Discussion


이 연구의 목적은 5 년간의 학부 프로그램에서 피드백 provision을 평가하는 것이 었습니다. 이 교육 개입에 대한 이론적 근거는 학생들의 피드백에 대한 불만에서 기인합니다. 학생들은 교육자들이 생각하는 것보다 피드백을 적게 받고 있다고 느낍니다. 이것은 상당한 인식의 'gap'을 유발한다. "교육 동맹"의 개념적 틀 아래에서, 프로그램 내에서 이루어지는 피드백의 목적이 명확해야 하며, 이해관계자 간의 가치관 및 학습 의도가 align 되어있음을 명확히 보여줌으로써 지지적 교육 관계를 형성하고 피드백이 "교육과정에 스며들게" 할 수 있다. (Boud 2015, Telio 외 2015). 성공적인 "교육 동맹"은 교육자, 학습자 및 커리큘럼, 즉 그림 1의 모든 구성 요소 간의 투명성을 필요로합니다.

The purpose of this study was to evaluate feedback provision across a 5 year undergraduate medical program. The rationale for this educational intervention originates from student dissatisfaction with feedback; students feel they are being given less than educators believe they are giving which has resulted in a substantial “gap” in perceptions. Under the conceptual framework of the “educational alliance”, clarity on purpose of feedback within the program, and the demonstration of an alignment of values and learning intentions between stakeholders must be explicit in order to form a supportive educational relationship and feedback must “permeate the curriculum” (Boud 2015; Telio et al. 2015). A successful “educational alliance” necessitates transparency between educators, learners and the curriculum, i.e. all components within Figure 1.


피드백 갭은 (양 당사자의 적극적인 참여와 책임을 요구하는) 실패한 "교육 동맹"의 일련의 결과로 간주 될 수 있습니다. 피드백 과정에서 학습자를 능동적인 주체로 재배치하는 것에 대해서, Boud는 피드백이 교육과정에 "nested" 됨으로써 "학습이 이루어졌음을 보여줄 수 있는 가치증가적incremental task"가 되어야 한다고 묘사했다.

The feedback-gap can be considered to result as a con-sequence of an unsuccessful “educational alliance” which, requires the active participation and responsibility of both parties. In repositioning the learner as an active agent in the feedback process, Boud describes that feedback should be “nested” in curriculum design, providing “incremental tasks that allow for learning to be demonstrated” (Boud 2015).


학습자들은 "신뢰할 수 있고 타당하고 투명한 평가"에 대한 욕구를 분명히 밝혔습니다 (Coens et al. 2012). 따라서 교육자는 명확한 성과와 의도된 결과에 대한 상호 이해를 교육적 사건으로서 보장해야하며, 학습자가 피드백을 능동적으로 찾아나설 뿐만 아니라, 주어진 피드백을 이해하는데 적극적으로 참여할 것을 기대해야합니다. 이러한 요소에 대한 학습자의 인식은 "교육 동맹"의 중요한 구성 요소입니다. 학습자가 교육자의 "선한 의도"에 대해 어떻게 판단하느냐에 따라서 피드백의 출처의 신뢰도가 달라진다(Telio 외 2015; Weinstein 2015).

Learners have previously articulated a desire for “reliable, a valid and a transparent evaluation” (Coens et al. 2012). Educators must therefore ensure clarity and the mutual of understanding of the intended outcomes the educational event, and do so in the anticipation that the learner will actively participate in seeking and understanding the feedback given. The learner’s perceptions of these factors form a critical component of the “educational alliance”; source credibility is the learner’s determination of the “beneficence” of the educator to themselves (Telio et al. 2015; Weinstein 2015).


피드백은 내부적 판단와 외부적 판단의 활용을 모두 포함한다. 신뢰할 수있는 교육자가 제공 한 외부 피드백은 학습자의 내부 피드백을 자신의 판단을 신뢰할 수있는 지점으로 "조정calibrate"하는 역할을합니다 (Boud 2015). 학습자에 대한 피드백 영향의 복잡성은 교육 및 훈련 내에서 피드백이 아직 지저분한fraught 개념으로 남아 있음을 의미한다 (Hattie & Timperley 2007; Shute 2008; Ridder 외 2015).

Feedback involves utilization of both internally and externally provided judgments. External feedback given by a credible educator serves to “calibrate” the learner’s internal feedback to a point where they are able to trust their own judgment (Boud 2015). The complexity of feedback influence on learners means it remains a fraught concept within education and training (Hattie & Timperley 2007; Shute 2008; Ridder et al. 2015).


"교육 동맹"에 대한 비판적 시각을 통해 피드백 기회를 검토함으로써, 우리는 학생들의 성숙도 변화에 따라서, 그들의 학습 단계에 부합하는 피드백 기회를 조정하는 교육자들을 지지한다 (Baxter Magolda 2010, Murdoch-Eaton & Sargeant2012).

By reviewing the feedback opportunities through a critical lens of the “educational alliance”, we endorsed educators determining feedback opportunities aligned with the stage of learning of the student, reflecting maturational changes (Baxter Magolda 2010; Murdoch-Eaton & Sargeant2012). 


학습자는 연령 뿐만 아니라 기존 경험에 따라서도 다양하다. 따라서 모든 학습자의 요구를 충족시키는 과정을 설계하는 것은 쉬운 일이 아니다. 이러한 방식으로 커리큘럼에 피드백을 매핑함으로써, 교육과정이 다양한 학생의 요구를 충족시키기에 충분한 학습 경험 및 피드백을 제공하는지 확인할 수 있다.

Diversity in learning is well recognized in terms of age but also prior experience. However, the difficulty lies in designing a course that meets the needs of all its learners. By mapping the feedback across the curriculum in this way, attention is focused on ensuring there is sufficient diversity of learning experiences and feedback to meet a range of student needs.


기존 연구는 교수들이 자신이 담당하는 요소 외의 전체 프로그램, 특히 평가에 대한 이해가 부족한 경우가 종종 있음을 강조했습니다 (Glover 외 2015). 따라서 실행연구의 반복적 접근법은 교육자와 코스 리더가 프로그램 내외의 통합을 고려할 수있게 해주었습니다. 따라서, 이 맵은 피드백 제공을 비판적으로 분석하는 커리큘럼 디자이너, 관리자 및 교육자를위한 도구로 사용할 수 있습니다.

Previous research has highlighted that staff often lack understanding of the whole program outside of their components, particularly regarding assessment (Glover et al. 2015). Therefore, the action research iterative approach enabled educators and course leaders to consider integration within and across the program. The map could therefore be employed as a tool for curriculum designers, administrators and educators to critically analyze feedback provision.


또한 이 맵은 교육자의 관점에서, 학생들이 자신의 학습 프로그램에서 피드백 기회를 종단적 관점에서 고려할 수있는 소중한 기회를 제공했습니다. 학습자가 피드백 과정의 적극적인 참여자가되도록 재조정되어야 한다면, 커리큘럼은 "learning to be demonstrated"을 위한 단계적 기회를 제공해야합니다 (Boud 2015).

The map has also provided, from an educator perspective, a valuable opportunity for students to be able to consider a longitudinal perspective on feedback opportunities across their program of learning. If learners are to be the re-orientated to become active participants within feedback process, the curriculum must provide graded opportunities for “learning to be demonstrated” (Boud 2015).


피드백을 [transmission 모델]에서 [피드백에 영향을 받는 학습]으로 재배치하는 모델로 바꾸기 위해서는 "교육 동맹"에서 이러한 측면을 다루어야 한다. Boud and Molloy (2013)는 학습자가 자신의 학습을 지도direct 할 수있는 "역량"을 개발할 수있는 기회가 있어야 한다고 강조한다. 이를 위해서는 커리큘럼 구성 요소를 articulation and integration하여 "고립된 행동의 모음"에서 "시간에 따른 발달을 위한 설계된 시퀀스"로 전환해야합니다 (Boud & Molloy 2013).

Moving from a transmission model of feedback to one that repositions learning influenced by feedback owned by students requires this aspect of the “educational alliance” to be addressed. Boud and Molloy (2013) emphasize creating opportunities for learners to develop “capabilities” to direct their own learning; this requires articulation and integration of curriculum components to shift to “a collection of isolated acts to a designed sequence of development over time” (Boud & Molloy 2013).


피드백 매핑을 하는 것 만으로 피드백이 실제로 발생했는지 확인할 수 있다고 보는 것은 순진한 생각이다

It would be naïve to assume that simply undertaking a feedback mapping intervention would ensure that feedback actually happened.


피드백 개입의 모든 구성 요소는 [학습자가 피드백 기회를 식별하여, 교육적 공급provision에 깔린 목적을 인식하고, 이해를 촉진하는 것]을 목표로 한다 (그림 1의 C).

All components of the feedback interventions crucially aimed to provide clarity for learners to identify opportunities for feedback and facilitate their understanding and recognition of the underpinning purpose of the educational provision (C in Figure 1).


반 데 라이더 (Van de Ridder) 외. (2015)는 최근에 "피드백의 수용, 인식 및 해석에 영향을 미치는 변수에 대한 체계적인 연구가 부족하다"고 지적했다 (Ridder et al., 2015).

Van de Ridder et al. (2015) recently indicated there is “a lack of systematic research into variables influencing the reception, perception and interpretation of feedback” (Ridder et al. 2015).





Boud D, Molloy E. 2013. Rethinking models of feedback for learning: the challenge of design. Assess Eval High Educ. 38: 698–712.


Boud D. 2015. Feedback: ensuring that it leads to enhanced learning. Clin Teach. 12:3–7.



Murdoch-Eaton D, Sargeant J. 2012. Maturational differences in undergraduate medical students’ perceptions about feedback. Med Educ. 46:711–721.


Ridder J, McGaghie WC, Stokking KM, Cate OT. 2015. Variables that affect the process and outcome of feedback, relevant for medical training: a meta-review. Med Educ. 49:658–673.


Telio S, Ajjawi R, Regehr G. 2015. The “educational alliance” as a framework for reconceptualizing feedback in medical education. Acad Med. 90:609–614.


Watling C. 2014a. Cognition, culture, and credibility: deconstructing feedback in medical education. Perspect Med Educ. 3:124–128.


Watling CJ. 2014b. Unfulfilled promise, untapped potential: feedback at the crossroads. Med Teach. 36:692–697.


Weinstein DF. 2015. Feedback in clinical education: untying the Gordian knot. Acad Med. 90:559–561.





 2017 May;39(5):540-547. doi: 10.1080/0142159X.2017.1297892. Epub 2017 Mar 10.

Feedback mapping - The curricular cornerstone of an "educational alliance".

Author information

1
a Academic Unit of Medical Education , University of Sheffield , Sheffield , UK.

Abstract

PURPOSE:

The "educational alliance" concept articulates a collaborative framework to facilitate effective feedback through transparency of opportunities aligned with learner stage and intended educational outcomes. Using this framework, we evaluated feedback across a 5 year undergraduate medical program to support embedding a successful learner - teacher "educational alliance".

METHOD:

A comprehensive mapping exercise used an iterative action research process of source documentary analysis, consultations with key curriculum stakeholders and qualitative analysis. The "educational alliance" model provided a critical lens through which to ensure feedback opportunities aligned with intended learning outcomes and developmental progression.

RESULTS:

Key information about the type, frequency and timing of feedback opportunities was identified within 188 curricular components. The purpose and intended learning outcomes were mapped, aligning with the stage of learning and with an expectation of supporting learners' capacity for self-regulation. This focus providing clear articulation of feedback opportunities supported the longitudinal developmental curricular review, and facilitated enhanced awareness of dialogic feedback within the "educational alliance".

CONCLUSIONS:

Explicit alignment of learning intentions between learner and educator is key to forming a successful "educational alliance". The feedback map provides clarity ensuring mutual understanding of intended learning outcomes. The iterative process additionally certified feedback aligned with maturing learner developmental needs across the program.

PMID:
 
28281849
 
DOI:
 
10.1080/0142159X.2017.1297892


만능 열쇠? 프로페셔널리즘 프레임워크 만들기(Acad Med, 2011)

Does One Size Fit All? Building a Framework for Medical Professionalism

Ming-Jung Ho, MD, DPhil, Kun-Hsing Yu, MD, David Hirsh, MD, Tien-Shang Huang, MD, and Pan-Chyr Yang, MD, Ph




의료 프로페셔널리즘은 지난 10 년간 세계적 관심을 얻었습니다 .1-4 전 세계 90 개 전문기구가 의사 헌장을 승인했으며, 이들은 전문 분야의 다양성과 전통을 인정하면서, 공통 주제에 기초한 "의료 전문성의 기본 및 보편적 원칙과 가치"를 재확인하였다.

Medical professionalism has gained global attention over the past decade.1–4 Ninety professional organizations worldwide have endorsed the Physician Charter,5 which, while acknowledging the diversity of medical practices and traditions in its preamble, reaffirms “the fundamental and universal principles and values of medical professionalism ” based on common themes


전 세계의 전문 분야와 국가에 걸쳐 여러 조직들은 헌장을 신속히 채택했습니다 .5 결과적으로 비서구 국가에서도 학부 및 대학원 의학교육에 대한 북미의 인증방식에 따라 의료 프로페셔널리즘을 채택하고 있습니다.

organizations adopted the charter quickly across specialties and countries internationally.5 As a result, non-Western countries are adopting medical professionalism according to the North American forms of accreditation standards for both undergraduate and graduate medical education.8,9


기관 및 전문 단체가 프로페셔널리즘에 대한 표준화 된 가이드라인을 채택하더라도 학자들은 프로페셔널리즘이 맥락에 따라 다르다는 것을 계속 강조하며, 사회적으로 구성됨social construct을 강조합니다.

Even as agencies and professional organizations adopt standardized guidelines for professionalism , scholars continue to emphasize that professionalism  is context dependent13 and is a social construct.3


이 틀의 보편적 적용 가능성에 관한 문헌이 부족하다 .15-17

there is a paucity of literature on the universal applicability of this framework.15–17


배경

Background


대만의 의료 전문가들은 1895 년부터 1945 년까지 50 년간 식민 통치 기간 동안 일본 최초의 의대를 설립 한 이래로 많은 존경과 자율권을 누리고 있습니다. 그 후 수십 년 간 의료 전문가는 의료 및 공공 보건 서비스를 제공했을뿐만 아니라 국가 근대화와 민주화에 적극적으로 주도적 인 역할을한다. 1995 년 국민 건강 보험이 설립됨에 따라 의료기관의 총 예산이 제한되어 의사들이 비용을 통제하고 이익을 증대 시키도록 재정적 압력을 가했다. 의사들은 미용 치료와 같은 국민건강보험에 가입하지 않은 서비스에 점점 더 관심을 갖게 되었고, 이는 의사들의 전문가 이미지 손상을 가져왔다.18,19

Medical professionals in Taiwan have enjoyed much respect and autonomy since the Japanese established the first medical school here during their 50 years of colonial rule between 1895 and 1945. In the decades that followed, medical professionals not only provided medical and public health services but also played active leadership roles in the modernization and democratization of the country. The establishment of the National Health Insurance in 1995 limited the total budget of medical institutions, which put financial pressures on physicians to control cost and to increase profit. As physicians became increasingly interested in services not covered by the National Health Insurance, such as cosmetic treatments, their professional image eroded.18,19


우리의 기관인 National Taiwan University College of Medicine (NTUCM)은 국가의 의학 프로페셔널리즘 추구를 추구하는 대학의 사례입니다.

Our institution, National Taiwan University College of Medicine (NTUCM), serves as an example of a university seeking to address its nation’s pursuit of medical professionalism .


우리는 히포크라테스적 전통이 비의료전문가에게는 익숙하지 않은 전통적인 대만 문화에서, "의료 프로페셔널리즘"의 개념이 부족하고, 초등 교육 수준에서 유교 교리가 강조되는 상황을 해결하려는 것이다.

The process we describe addresses the lack of the concept of “medical professionalism ” in traditional Taiwanese culture, where Hippocratic tradition is unfamiliar to nonmedical professionals, and Confucian doctrines are emphasized starting at the elementary education level.


방법

Method


NGT

NGT


Through literature reviews and consultations of experts, we determined NGT to be an effective and efficient method to elicit group values and derive consensus.24–27 

  • NGT is a structured procedure for gathering insight from groups of people. 

  • In the NGT process, all group members have equal opportunity to present their views, all views have equal weight, and the process for everyone to list all their ideas for discussion avoids problems associated with traditional group meetings, such as dominating personalities or obedience to authority.24–26 

  • The method is used in management, clinical guidelines creation, and course evaluation in medical education.27


NGT participants.


In our NGT process, we based the selection of participants on the purposive sampling28 method

    • We asked the chairs of various departments (including internal medicine, surgery, obstetrics–gynecology, pediatrics, nursing, and social work) at the National Taiwan University Hospital to recommend those health care workers (including chief residents, attending physicians, intensive care unit nurses, operating room nurses, ward nurses, social workers, public health workers, and hospital volunteers) whom the chairmen believed possessed differing views within each department. 

    • We also asked the most active nongovernment patient support organization, the Taiwan Healthcare Reform Foundation, to suggest participants from a variety of patient support groups. 

    • Most of the potential participants joined the study or recommended other suitable participants.


NGT procedure.


We oriented each group to the purpose of the meeting and the procedure that would be followed. 

    • The first step was for each participant to write down what he or she considered to be the essential abilities of a professional doctor.The purpose of this exercise was to capture participants’ expectations regarding medical professionals. 

    • In the second step, participants took turns naming one item from their list at a time without further discussion. This process continued until all participants had expressed all of their ideas. 

    • In step three, the participants discussed all items and combined any closely related ideas into a single item. When determinations were not unanimous, the person who initially raised the item could decide whether or not to combine the idea or leave it as a separate item. 

    • In the fourth step, each participant selected five items he or she regarded as most important and voted on these five items using a five-point Likert-type scale, where 5  most important and 1  least important. 

    • The fifth step was to sumthe voting results and rank the items.


전문가 위원회

Expert committee


After the NGT meetings, the dean of our medical college convened an expert committee to discuss the results of all NGT meetings.


NGT 녹취록 분석

Text analysis of NGT transcript


We recorded and transcribed NGT meetings verbatim. The transcript was 123 pages, containing 113,547 Chinese characters. After the expert committee constructed the framework, we used NVivo 8.0 software (QSR International Pty Ltd.; Doncaster, Victoria, Australia) to conduct a text analysis of the transcripts of the 12 NGT sessions. The purpose of this analysis was to ensure that the expert committee represented the opinions about professionalism  attributes nominated by the participants in the consensus framework.


결과

Results


NGT 투표 결과

The NGT process voting results


Voting results of the top five items of each group are shown in Supplemental Digital Table 1, 


http://links.lww.com/ACADMED/A57.




전문가 위원회에 의한 프레임워크

The framework constructed by the expert committee


스턴은 세 가지 기본 단계 (임상 적 역량, 의사 소통 및 윤리)와 네 개의 기둥 (휴머니즘, 우수성, 책임 성 및 애타주의)이있는 그리스 성전 모양의 의료 전문성을 묘사합니다.

Stern depicts medical professionalism in the shape of a Greek temple, with three foundational steps (clinical competence, communication, and ethics) and four columns (humanism, excellence, accountability, and altruism).


반복적 인 심의를 거친 후 전문가위원회는 우리의 시각적 프레임워크가 스턴의 프레임 워크를 구성하는 기둥 꼭대기에 "integrity"을 포함해야한다는 합의에 도달했습니다. integrity은 의료 전문성의 다양한 원칙을 통합하기위한 핵심이기 때문이다.

After iterative deliberation, the expert committee reached consensus that our visual framework should include “integrity” across the tops of the columns that make up Stern’s framework because integrity is the key for integrating the different principles of medical professionalism .



녹취록 리뷰

The review of the transcript to confirm the consensus framework


참가자들의 원래 표현에 따라 회의록을 분석함으로써 NGT 참가자가 식별 한 대부분의 항목을 전문가위원회가 개발 한 NTUCM 프레임 워크에 배치 할 수있었습니다. 그림 2는 전문성을위한 NTUCM의 프레임 워크에 대한 NGT 결과의 매핑을 보여줍니다.

By analyzing the transcripts of the meetings according to the original wording of the participants, we were able to place most items identified by NGT participants within the NTUCM framework developed by the expert committee. Figure 2 shows the mapping of the NGT results on the NTUCM’s framework for professionalism .


모든 투표를 모으고 각 전문 가치의 전반적인 평점을 계산함으로써 인본주의, 의사 소통, 책임 및 윤리 (그림 3)와 같은 참가자가 가장 강조한 가치를 명료화했습니다.

By pooling all the votes and calculating the overall ratings of each professional value, we elucidated the values most emphasized by participants, such as humanism, communication, accountability, and ethics (Figure 3).






고찰

Discussion


"프로페셔널리즘 운동"을 관찰한 사회 학자들은 의학 교육자들에게 잠시 다음의 것을 성찰해보기를 권했다.

(1)누가 프로페셔널리즘의 개념과 속성을 결정하는가?

(2)이 가치들이 출현하는 과정은 어떠한가?16

Sociologists observing the “professionalism  movement” are challenging medical educators to pause and reflect on 

(1) who determines the concepts and attributes of professionalism and 

(2) the processes by which these values emerge.16


의학교육 문헌에서 프로페셔널리즘의 기존 정의는 주로 의사에게서 도출되며, 환자, 학생, 레지던트를 종종 포함하지만, 간호사가 포함 된 연구는 소수에 불과하다.

In the medical education literature, previous definitions of professionalism derive mainly from doctors,5,6,34 although some studies involved patients,35–37 students,35 and residents.36 Only a few studies included nurses.37


NGT는 한두 사람이 미치는 영향을 제한하고 모든 아이디어와 득표를 도출함으로써 전통적인 그룹 토의와 관련된 문제를 줄이는 것으로 나타났습니다. NGT의 이러한 특징은 연공 서열과 권위가 강조되는 대만과 같은 문화 환경에서 특히 유용합니다.

NGT has been shown to reduce problems associated with traditional group discussions by limiting the effect of dominating personalities and ensuring the elicitation of all ideas and votes. These features of the NGT are particularly useful in cultural settings, like Taiwan, where seniority and authority are emphasized.


언뜻보기에, 우리의 프레임워크은 서구와 약간의 유사점을 공유합니다.

At first glance, our framework shares some similarities with its Western counterparts.


NTUCM 체제와 스턴의 프레임워크 사이의 가장 현저한 차이점은 4 개의 기둥을 감싸는 빔으로서 "integrity"을 포함하기로 한 합의입니다. 히포크라테스 전통에 기초한 서구 체제가 환자의 우위를 강조하는 반면, 대만의 유교 전통은 다른 사람을 위해 integrity을 갖춘 사람이되어야한다고 강조한다. 공자는 이렇게 썼다. "선Virtuous한 사람은 무엇이든 또는 무엇이든 마음을 정하지 않습니다. 그는 옳은 것을 따를 것이다"

The most striking difference between the NTUCM framework and Stern’s framework is the consensus among our expert committee to ensure the addition of “integrity” as the beam capping the four pillars. Whereas Western frameworks based on the Hippocratic tradition stress the primacy of patients, the Confucian tradition of Taiwan emphasizes that one should become a person with integrity in order to serve others. Confucius39 wrote,

“The virtuous man, in the world, does not set his mind either for anything, or against anything; what is right he will follow.” 


유교 윤리의 서양 철학과 마찬가지로, 유학자들은 integrity가 있는 사람은 유혹과 혼란 속에서도 윤리적 인 선택을 할 것이라고 믿는다. 전문가위원회는 대만 맥락에서 유교 전통이 히포크라테스 전통보다 강력하기 때문에 integrity의 개념을 집중적으로 배치했다.

Similar to Western philosophies of virtue ethics, Confucians believe that people with integrity will make ethical choices even under temptation and confusion. The expert committee placed the concept of integrity centrally in our framework because the Confucian tradition is more powerful than the Hippocratic tradition in the Taiwanese context.


몇 가지 항목은 쉽게 통합되지 않았습니다. 이 항목들은 다른 사람들에 대한 진지한 관심을 나타내는 휴머니즘의 범주에 적합하지 않았으며 대신 의사의 개인적 삶과 직업적 삶의 균형에 관심이있었습니다. 서구의 프로페셔널리즘 틀이 환자의 우선성을 강조하고, 의사와 전문인의 개인 생활을 분리하는 반면, 유교 문화 전통은 이 둘의 조화를 지원support합니다.

a few items were not easily incorporated. These items did not fit in the category of humanism, which denotes a sincere concern for others, and were instead concerned with the balance between physicians’ personal and professional lives. Whereas Western professionalism frameworks emphasize the primacy of patients and separate physicians’ professional and personal lives, Confucian cultural traditions support the harmony of these roles.


유교 사상에서 한 사람의 위치는 사회적 역할에 의존적이지는 않더라도 분리될 수 있는 것이 아니다. 따라서 우리는 개인적 가치뿐만 아니라 전문적인 가치를 설명하는 "living framework"을 만들었습니다. 우리는 프로페셔널리즘 틀을 설계함에 있어서 사회적 책임 외에도 개인적인 책임을 인정하는 빈 공간을 의도적으로 포함시켰습니다. 구조화된 체계 속에 유연한 공간이 존재한다는 것은, 의사의 프로페셔널리즘이 사회가 정의한 핵심 원칙에 기초하고 역동적이며, 시간이 지남에 따라 개인의 성장에 responsive하다는 현실을 의미합니다.

In Confucian thinking, the position of the self is inseparable from, if not dependent on, one’s social roles. Thus, we created a “living framework” that accounts for individual as well as professional values. We designed our professionalism framework intentionally to include empty space, which acknowledges personal responsibility in addition to social responsibility. The presence of flexible space amidst the otherwise structured scheme signifies the reality that a physician’s professionalism is both grounded and dynamic—based on core principles defined by society, but also responsive to personal growth over time.


8 역량 프레임 워크로 분류 된 여러 항목은 대만의 오래 된 문화적 의미와 일치합니다. 예를 들어, 우리는 zi zhong의 개념 (존엄성을 가지고 자신을 수행함)을 "integrity"로 분류했습니다. Zi zhong은 중국 문화에서 오랜 전통을 가지고 있습니다. 중국의 전통 문화에서는 self-dignified or self-respecting이 유교 학자 또는 공무원이되기위한 첫 걸음 중 하나임이 널리 받아 들여지고 있습니다.

Multiple items categorized into the eight- competency framework align with deep cultural meanings in Taiwan. For example, we categorized the concept of zi zhong (conducting oneself with dignity) into “integrity.” Zi zhong has a long tradition in Chinese culture. In traditional Chinese culture, it is widely accepted that to be self- dignified or self-respecting is one of the first steps toward becoming a Confucian scholar or official.


 zhòng
to conduct oneself with dignity 
to be dignified

NGT 참가자들에 의해 제기된 이 개념은 우리 문화에 깊은 곳에 뿌리를두고 있으며, 기존의 서구 프로페셔널리즘 문헌에 기술된 "integrity"보다 더 많은 무게를 지니고 있습니다 .1-7,33-38

This concept, also raised by the NGT participants, is deep-rooted in our culture and carries more weight than “integrity” as it is described in existing Western professionalism literature.1–7,33–38


프로페셔널리즘을 위한 NTUCM의 프레임워크를 구축 한 후, 우리 기관에서 우리 프레임 워크의 핵심 가치를 홍보하기 위해 몇 가지 조치를 취했습니다.

After constructing NTUCM’s framework for professionalism , we took several steps to promote the core values of our framework at our institution.


우리의 교육 병원에서 서구의 프로페셔널리즘 틀을 채택하려는 기존 노력은 교사나 학생에게 잘 받아 들여지지 않았습니다. Cruess 등이 제안한 것처럼 "프로페셔널리즘을 가르치려면, 지역 관습과 가치를 존중하면서 다른 문화와 사회적 계약과 관련이 있어야한다"고 제안했다.

a previous effort to adopt a Western framework of professionalism at our teaching hospital was not well received by teachers or students. As Cruess et al43 suggest, “when professionalism is taught, it should be related to the different cultures and social contracts, respecting local customs and values.”


결론적으로, 이 연구는 서구 의학 전문기구의 보편적 응용성에 의문을 제기하며, 지역의 문화와 이해관계자의 가치를 반영하는 프로페셔널리즘 틀 구출 과정을 제안한다.

In conclusion, this study challenges the universal applicability of the Western frameworks of medical professionalism  and proposes a process to build a professionalism framework that reflects the cultural heritage and the values of local stakeholders.




 2011 Nov;86(11):1407-14. doi: 10.1097/ACM.0b013e31823059d1.

Does one size fit all? Building a framework for medical professionalism.

Author information

1
Department of Social Medicine, National Taiwan University College of Medicine, Taipei, Taiwan. mjho@ntu.edu.tw

Abstract

PURPOSE:

Medical professionalism has gained global attention over the past decade, but there is a paucity of literature on the universal applicability of the dominant professionalism framework developed in the West. This study proposes an institutional approach to build a framework for medical professionalism that incorporates historical and sociocultural contexts.

METHOD:

From 2008 to 2009, the authors adopted nominal group technique (NGT) to determine professional competencies valued by 91 critical stakeholders of medical education (divided into 12 discipline-specific groups) at their institution and in their native society, Taiwan. An expert committee subsequently constructed a framework for professionalism which accounted for a literature review and their understanding of the institution's values and historical roots. To confirm that the framework encompassed the attributes nominated by NGT participants, the authors analyzed transcripts of NGT exercises to refine the final document.

RESULTS:

Each of 12 NGT groups raised 5 to 23 core competencies and determined the most important five competencies by summing participants' ratings of each item. The expert panel reached consensus on a framework that included eight competencies. The frameworkdiffers from the Western framework in the centrality of self-integrity, harmonizing personal and professional roles. Text analysis of the NGT transcripts demonstrated that the framework successfully incorporated top-ranked NGT results.

CONCLUSIONS:

This study challenges the universal applicability of the Western framework of medical professionalism and proposes a process to build a professionalism framework that reflects the cultural heritage and the values of local stakeholders.

PMID:
 
21971298
 
DOI:
 
10.1097/ACM.0b013e31823059d1
[Indexed for MEDLINE]


프로페셔널리즘 촉진을 위한 보완적 접근: Unprofessional한 행동의 발견, 측정, 해결(Acad Med, 2007)

A Complementary Approach to Promoting Professionalism: Identifying, Measuring, and Addressing Unprofessional Behaviors

Gerald B. Hickson, MD, James W. Pichert, PhD, Lynn E. Webb, PhD, and Steven G. Gabbe, MD





이 기사에서는 전문직업적 문제행동(unprofessional behaviors, UPB)을 식별하고 측정하고 다루기 위해 고안된 보완적인 접근법에 중점을 둡니다. 우리의 접근 방식은 여러 가지 이유로 장점이 있습니다.

In this article we focus on complementary approach that is designed to identify, measure, and address unprofessional behaviors. Our approach has merit for multiple reasons:


1. 대부분의 의사와 의사는 프로페셔널하게 행동하므로 프로페셔널리즘에 대한 필수 교육은 개인적으로 무관하거나 모욕적 인 것으로 간주 될 수 있습니다. 어쨌든, 어떤 주제에 대해서든 CME를 의무화하는 것은 효과적이지 못하다.

1. Most physicians and physicians-in-training behave professionally, so the imposition of mandatory education on professionalism may be seen as personally irrelevant—even insulting. In any case, mandating continuing medical education on any topic has not proved effective.3


2. 프로페셔널한 행동을 측정하는 것은 어렵습니다 .4-6 게다가, 그것을 표준으로 인정하는 것 외에 무엇을 할 수 있는가? 대조적으로 UPB의 사례를 식별, 정량화 및 다루는 것은 가능하고 바람직합니다 .7-12

2. Measuring professional behavior is challenging.4–6 Besides, what do we do when we see professional conduct except to recognize it as the norm? In contrast, identifying, quantifying, and addressing instances of unprofessional behaviors are both possible and desirable.7–12


3. 의학 교육에서 프로페셔널리즘을 강조하고 있음에도 불구하고 숨겨진 커리큘럼은 연수생을 UPB에 노출시킨다 (예 : 환자를 치료 계획에 동의하도록 압박넣기, 편견과 차별, 개인정보와 프라이버시 위반, 다른 사람이 치명적인 실수를 공개하지 않는 것에 대한 비방적 의견 등) .13-17 학습자가 아무 생각 없이 롤모델을 따라하게 놔두는 대신, 우리는 그러한 사례를 UPB의 함의와 결과를 고려하도록 돕기 위해 고안된 교육 사례로 바꿔야 한다.

3. Despite emphasizing professionalism in medical education, the hidden curriculum exposes trainees to instances of unprofessional behavior (e.g., patients pressured into agreeing with care plans, bias and discrimination, privacy and confidentiality violations, and slanderous comments about others’ failures to disclose harmful errors).13–17 Lest learners unthinkingly emulate their role models, we turn such instances into teaching cases designed to help trainees consider the implications and consequences of unprofessional behavior.18


4. UPB는 실천 지침을 따르지 않는 것, 환자의 손실, 직원의 사기 저하와 높은 이직, 의료 오류 및 불리한 결과, 의료 과실에 대한 소송 등과 관련이 있다9,19-23

4. Unprofessional behaviors are associated with poor adherence to practice guidelines, loss of patients, low staff morale and turnover, medical errors and adverse outcomes, and malpractice suits.9,19–23


5. UPB가 확인되면 지도자들은 행동을 취해야 하지만, 많은 사람들은 그러한 문제를 해결하는 방법에 대해 거의 훈련을받지 못하여, UPB을 지속하고, 확대하고, 퍼뜨릴 수 있습니다.

5. The identification of unprofessional behavior challenges leaders to take action, but many have little or no training in how to address such problems, often allowing unprofessional behaviors to persist, escalate, and spread.7,9


6. UPB는 모든 시스템에 스트레스를 주며 더 많은 UPB유발합니다. 15,24 특히 그러한 행동을 한 사람들이 "protector"또는 "enablers"를 갖는 경우 더욱 그렇습니다. 이러한 'would-be benefactor'들은 행정적 보호를 제공하거나 "workaround"를 만듦으로써, 문제를 건설적으로 직면하지 못하게 하고, 궁극적으로는 모든 사람에게 부정적인 결과를 가져옵니다. UPB을 다루는 것은 enabler와 protector를 식별하는 데 도움이되며, 해결해야 할 문제를 파악하는 데 도움이됩니다.

6. Unprofessional behavior stresses any system and begets more unprofessional behavior,15,24 especially if disruptive providers have “protectors” or “enablers” shielding them. Such would-be benefactors provide administrative cover or create “workarounds” instead of constructively confronting the problems, ultimately leading to negative consequences for everyone. Addressing unprofessional behaviors aids in the identification of enablers and protectors and helps identify the problems that really need to be solved.


7. VUSMeducation 프로그램에서는 프로페셔널한 행동을 촉진하는 것 외에도, UPB에 대해서 그것을 발견하고, 평가하고, 해결하고, 서로서로에게 그것을 인지하는 것을 가르치는 방법을 개발하고 평가하는 10 년 이상의 경험을 가지고 있습니다. 우리는이 기사에서 그 경험의 일부를 나눌 것입니다 .11,12,18,19,25-27

7. In addition to promoting professional behavior in our VUSMeducation programs, we have more than a decade of experience developing and evaluating initiatives to identify, assess, address, and teach one another about recognizing and dealing with allegations of unprofessional behaviors. We will share some of that experience in this article.11,12,18,19,25–27


파괴적인 행동의 에피소드는 흔하지 않지만 희귀하지도 않습니다. 9,11,12,15 불행히도 프로페셔널리즘을 장려하는 교육 프로그램은 파괴적/UPB 의사 모델에 의해 효과적으로 어지럽 혀질 수 있습니다 ( "교수님들은 모두 항상 프로페셔널리즘에 대해 이야기하고 있지만 우리가 병원에서 보는 것은 전혀 다르다. "[4 학년의 의대생과의 개인적인 대화]).

Although episodes of disruptive behavior are not common, neither are they rare.9,11,12,15 Unfortunately, educational programs encouraging professionalism can be effectively torpedoed by disruptive/unprofessional physician models (“You guys are always talking about professionalism, but it is not what we see in this hospital” [personal communication from a fourth-year medical student]).


프로페셔널한 행동을 촉진하는 것은 리더가 UPB가 발생할 경우 그 문제를 해결하려는 노력을 기울이지 않고서는 불가능하며, 이러한 노력은 문제를 일으킨 의사의 직급이나 직책에 관계없이 이뤄져야 한다.

Promoting professional conduct is not possible without leadership’s commitment to addressing unprofessional/disruptive behaviors whenever they occur, regardless of the rank or title of the physician who behaved poorly.9,19,28 Such commitment therefore requires dedicated leadership


VUSM의 리더십 헌신

Leadership Commitment at VUSM


리더의 프로페셔널 행동에 대한 의지는 신임교수 오리엔테이션 세션에서 나타나는데, 

  • 이 때 학장은 신임교수를 환영하면서, 졸업생과 의과대학생의 프로페셔널리즘 형성에 교수들의 역할이 얼마나 중요한지를 강조한다

  • Vanderbilt University Medical Center (VUMC)의 CMO은 모든 교수진과 교직원에게 credo behavior을 소개하며, 교수들은 이러한 행동을 알고, 이러한 행동을 보이겠다는 약속에 서명해야합니다 (http : //www.mc.vanderbilt. edu / root / facts /mission.html). 

  • 또한, 학부 및 대학원 의학 교육 담당 학장은 전문성에 대해 의대생 및 레지던트에게 피드백을 제공하는 것이 중요하다는 것을 강조합니다. 

  • 마지막으로 임상 담당 부학장은 Vanderbilt의 UPB 또는 환자 또는 직원의 불만 사항에 대한 피드백을 수집, 프로파일링, 피드백하는 정책과 시스템을 설명한다.


Leadership’s commitment to professional behavior is exhibited during new faculty orientation sessions when the 

  • medical school dean welcomes the new faculty members and emphasizes the role they play in modeling professionalism for graduate and medical students. 

  • The Vanderbilt University Medical Center’s (VUMC) chief medical officer introduces credo behaviors for all faculty and staff, and faculty are asked to sign a commitment to know and exhibit these behaviors (http://www.mc.vanderbilt. edu/root/facts/mission.html). 

  • Also, the associate deans for undergraduate and graduate medical education promote the importance of providing feedback to medical students and residents about professionalism. 

  • Finally, the associate dean for clinical affairs presents Vanderbilt’s professional behavior policy and our systems for capturing, profiling, and providing feedback about allegations of unprofessional behavior and other complaints from patients or staff.


새로운 VUSM학과장을 위한 VUSM의 학업 지도력 프로그램 (ALP)

VUSM’s Academic Leadership Program(ALP) for new VUSMdepartment chairs


모델은 파괴적인 행동을 이해하고이를 해결할 수있는 방법을 제시합니다 (그림 1).

model for understanding disruptive behavior and ways to address it (Figure 1).


개입 프로세스

A Process for Guiding Interventions


(개념적으로 그림 아래까지 확장 된) 피라미드의 밑바닥은 대부분의 건강 팀 구성원이 프로페셔널하게 행동하고 UPB는 전혀 하지 않거나, 매우 드물게만 나타낸다는 것을 전달하기위한 것입니다.

The base of the pyramid, which conceptually extends far below the illustration, is meant to convey that most health team members conduct themselves as professionals and never, or very rarely, exhibit behaviors that might be perceived as unprofessional.


사실, 이 탁월한 의사 중 상당수는 일상적으로 동료 및 연수생을 위한 프로페셔널리즘의 모범적 행동을 보여준다. 이들은 인정 받고 보상을 받아야합니다.

In fact, many of these outstanding physicians routinely exhibit the sort of professionalism that serves as a model for their colleagues and trainees. These exemplars should be recognized and rewarded.


피라미드의 다음 블록은 UPB의 단일 사건이 발생한 경우이다. 의료 전문가의 약 20 %에서 25 %가 환자의 불만을 일으키는 행동을 한다는 연구가 있다.11,12 이러한 주장은 관찰자의 잘못된 인식, 재발 가능성이 희박한 고립 된 사건, 행동 양식의 관찰자가 처음으로 관찰 한 것까지 다양한 경우가 있을 수 있다.

The next block up in the pyramid is labeled single unprofessional incidents. about 20%to 25%of medical professionals will allegedly behave in ways that dissatisfy their patients.11,12 Such allegations may represent anything from an observer’s misperception, to an isolated event unlikely to recur, to an observer’s first observation of a pattern of behavior.


이러한 사건의 대부분은 재발 가능성은 낮지만, 그럼에도 불구하고 "커피 한잔의 대화"와 같은 비공식적 개입의 대상으로 다루어 져야한다.

almost all such events should be initially treated as anomalies that, although unlikely to recur, should nevertheless be the subject of an informal intervention, such as a “cup of coffee conversation,”


그러나 법적으로 보고가 요구되거나 금지된 행위을 한 경우에는 예와가 존재합니다. 차별적 행동의 주장 또는 성적 행위 위반, 약물 남용 또는 건강 전문가가 안전하게 연습 할 수있는 능력에 영향을 미치는 기타 장애에 대한 혐의 등이 있다.

however, important exceptions exist, such as when the law mandates reporting the event and/or provides sanctions for engaging in prohibited behavior. 

  • Claims of discriminatory behavior, or 

  • allegations of sexual boundary violations, 

  • substance abuse, or 

  • other impairment affecting a health professional’s ability to practice safely


다음 단계는 UPB가 반복되는 상황을 나타냅니다. 한 설문 조사에 따르면 의료진의 2 ~ 3 %가 반복적으로 UPB를 하여 리더의 관심 대상이 된다.

The next level represents circumstances in which unprofessional or disruptive behaviors recur. one survey estimates that 2% to 3% of medical staff display disruptive behavior sufficiently often to reach leadership’s attention.31


awareness intervention(인식개입)은 주로 권위자에 의해, 또는 경우에 따라 동료에 의해 수행 될 수 있습니다. 두 경우 모두 인식개입은 의사의 처방 또는 사용 데이터를 프로파일링하는 것과 마찬가지로, 다른 의사들과 차별화하되는 행동패턴을 보여주는 aggregated된 데이터 공유를 기반으로해야합니다.

The awareness interventions may be conducted by an authority figure, or, in certain circumstances, by a peer. In either case, awareness interventions should be based on sharing aggregated data that present the appearance of a pattern that sets the professional apart from his/her peers, similar to profiling a physician’s prescribing or utilization data.


불행히도 일부는 AI에도 불구하고 그것을 따르지 못하거나, 따르고자 하는 의지가 없는 경우가 있다. 이 의사들은 품질과 안전에 위협이 되며 authority intevention(권위개입)이 필요하다. 이러한 개입을 위해서는 지도자가 지속적으로 이들 의사에게 책임감있는 개선 및 평가 계획을 수립하도록 요구해야 한다.

Unfortunately, a small proportion of professionals seem unable or unwilling to respond to an awareness intervention. These health care providers represent a threat to quality and safety, and they require what the pyramid terms an authority intervention. Such interventions require leaders to develop improvement and evaluation plans for these physicians with ongoing accountability.


마지막으로, "개선"에 대한 진지한 희망에도 불구하고, 권위개입에 반응하지 않으면 정부 기관에 적절한 보고를 비롯하여, 권한의 제한이나 해지와 같은 징계 조치로 이어질 것입니다.

Finally, despite the sincere hope to “redeem” , failure to respond to the authority intervention should lead to disciplinary action, the tip of the pyramid, including restriction or termination of privileges with appropriate reporting to government entities.


반더빌트 정책

The Vanderbilt Policy


리더십 헌신과 프로세스 모델은 분명히 필요하지만 UPB를 다루기에는 충분하지 않습니다. 이러한 도구의 일관된 적용을 돕기 위해 프로페셔널 행동 정책이 도움이 될 것입니다. 각 기관은 리더십 buy-in을 창출하거나 홍보하기 위해 자체 정책을 수립해야합니다.

Leadership commitment and process models are obviously necessary but not sufficient to address unprofessional behavior. To aid consistent application of these tools, a professional conduct policy will help. Each institution will need to craft its own policy to create or promote leadership buy-in.


그러나 UPB가 보고되지 않고 기록되지 않으면 정책, 모델 및 리더십조차도 효과적이지 않습니다. 감시 시스템이 필요합니다.

Policies, models, and even leadership commitment will not be effective, however, if unprofessional behavior goes unreported and unrecorded. Surveillance systems are required.


감시

Surveillance


UPB를 탐지하는 가장 효과적인 감시 도구는 환자, 방문객 및 건강 관리 팀 구성원의 눈과 귀입니다. 그러나 대부분의 연구는 환자 / 가족 및 건강 관리 전문가 모두가 UPB를 보거나 경험하면서도, 이를 말하거나 보고하는 것을 주저한다고 보고한다.5,7,27,33,34이 망설임은 reporting을 유도하는 리더십, 정책, 환경에 의해서 경감될 수 있다. 예를 들어 밴더빌트에서 입원 환자는 의사 소통을 장려하는 비디오를 봅니다. "우리는 항상 최상의 치료를 제공하려고 노력하지만 때로는 기대에 미치지 못할 수도 있습니다. 그런 일이 발생한다면, 우리는 당신이 우리에게 그 사실을 알려서, 우리가 그것을 올바르게 개선할 뿐만 아니라, 비슷한 문제가 다른 환자들에게 재발할 가능성을 줄일 수 있기를 바랍니다. "

The most effective surveillance tools for detecting unprofessional behavior are the eyes and ears of patients, visitors, and health care teammembers. Most studies suggest, however, that both patients/families and health care professionals observe and experience frustration, but are hesitant to speak up or report it.5,7,27,33,34 This reluctance can be mitigated by leadership, policies, and an environment that promotes reporting. For example, at Vanderbilt, inpatients watch a video that encourages communication: “It’s always our intention to provide the highest-quality care, but sometimes we may fail to meet your expectations. When we do, we want you to let us know, so that we can attempt to make it right, as well as to address and reduce the chance that otherswill experience the same outcomes.” 


환자 / 가족 불만은 불만 사항, 불만 유형 및 문제가되는 사건의 당사자에게 일상적으로 기록됩니다. 불만 사항은 그것이 특정 주치의, 레지던트, 센터에서 주로 발생하는 것이 아닌가를 식별하기 위해 집계됩니다 .11,12,19,27,32

patient/family complaints are routinely coded according to individuals named in the complaint, type of complaint, and location of the event in question. The complaints are then aggregated to identify attendings, residents, and medical center units that demonstrate disproportionate shares of complaints.11,12,19,27,32


의료 팀의 구성원은 UPB를 인지할 경우 상급자에게 직접 보고하거나, 웹 기반 위험이벤트 보고시스템을 사용할 수 있습니다. 웹 기반 시스템은 개인이 익명으로 또는 실명으로 보고 할 수 있지만, 어떤 경우든 이벤트에 대한 필수 세부 정보를 제공해야합니다.

Members of the medical teammay similarly observe and report their perceptions of unprofessional conduct to authority figures directly, or they may use a Web-based electronic risk event-reporting system. The Web-based system allows individuals to report events anonymously or not, but in either case the observer is asked to provide essential details about the event.


개입 시행

Conducting Interventions


정책 및 감시 시스템은 그림 1에 나와있는 단계적 중재 프로세스에 따르는 행동이 있는 경우에만 그 가치가 있습니다.

Policies and surveillance systems have value only if they support meaningful action such as those suggested by the graduated intervention process depictedin Figure 1.


개입 스킬 훈련

Intervention skills training


표 1은 우리가 제공하는 선택된 교육 프로그램, 기본 교육 목표 및 대상 고객 (학생, 레지던트, 주치의, 지도자)을 나타냅니다.

Table 1 identifies selected training programs we offer, primary training objectives, and target audiences (students, residents, attendings, leaders).


우리의 교육 프로그램은 문제 해결을위한 균형 빔balance beam  접근법을 강조합니다. 모든 접근법은 조치를 취하기 전에 고려되어야 하는 장단점을 가지고 있습니다. 예를 들어, 표 2는 T 사인을 방치 한 거주자를 상대하기위한 대안 전략과 관련된 찬반 양론을 나열합니다.

Our training programs, emphasize a balance beam approach to problem solving, in which every approach may have pros and cons that must be weighed before taking action. For example Table 2 lists selected pros and cons associated with alternative strategies for dealing with the resident who flashed the T-sign.


T-sign 상황을 다룸에 있어서 이해관계자에 따라 각각의 대안이 갖는 찬반의견에 두어야 하는 가중치가 다르므로, one-size-fits-all 해결책의 유혹에 빠져서는 안된다.

We resist the temptation to offer a one-size-fits-all solution to handling the T-sign situation, because each alternative does have pros and cons that will be differentially weighted by various stakeholders.



비공식 개입: 커피 한 자의 대화

Informal intervention: A“cup of coffee conversation”


가능하기만 하다면, 비공식적으로라도 UPB는 다루어져야address 한다. "커피 한 잔의 대화" 훈련은 나쁜 소식 전하기의 원칙에 기반을두고 있습니다. 

    • 우선 관찰한 unprofessional event를 간단히 검토하고, 그 당사자가 이에 대해서 설명할 수 있는 잠깐의 시간을 가질 수 있도록 private한 환을 찾아야 한다.

    • 이 때 UPB를 보여준 동료 또는 부하 직원은 일어난 일에 대한 자신의 견해를 설명할 수 있는 기회가 제공되어야 하며, 그 사건과 왜 그 사건이 발생했는지에 대해 성찰하도록 권장되어야 한다. 

    • 이러한 커피 한 잔의 대화가 있은 후에는, 가능하다면, 그 사람이 팀에 공헌한 바에 대한 감사의 표시가 있어야합니다.

It seems reasonable that, whenever possible, disruptive behaviors should be addressed, even informally. Training in having a “cup of coffee conversation” is based on principles of sharing bad news.37,38 The training encourages participants to choose a private setting for this informal intervention where there can be a brief review of the observations of the unprofessional event(s) followed by a pause to allow the individual to respond. The colleague or subordinate who has behaved unprofessionally should be invited to offer his or her view of what happened and should be encouraged to reflect on the event and why it may have occurred. Such encounters must be followed, if possible, by an expressed appreciation for the colleague’s contribution to the team.


(파괴적인 행동 피라미드 (pyramid)에 설명된) 다른 모든 수준의 개입을 위해서는, 그 전에 커피 한잔의 대화를 하기 위한 훈련을 필수적으로 받아야 한다. UPB를 하는 많은 전문가들이 자신의 나쁜 행동을 인식하지 못하고, 커피 한 잔의 대화와 같은 조기 개입이 부족하여 행동 패턴이 일상화 될 수 있다.

Training in having a cup of coffee conversation is essential for all other levels of intervention as outlined on the disruptive behavior pyramid. We believe that many professionals who exhibit unprofessional conduct may fail to recognize their own bad behaviors, and a lack of early intervention, like the cup of coffee conversation, allows patterns of behavior to become routine.


우리가보기에, 대부분의 커피 대화는 문서화 될 필요가 없습니다. 예를 들어 감독자는 자신의 책임하에있는 사람들에게 정기적으로 비공식적 인 피드백을 제공합니다. 그러나 비공식적 개입을 문서화하기로 결정하는 것은 해당 사건의 특성 또는 그러한 사건과 관련된 보고 요건의 영향을받을 수있다.

In our view, most cup of coffee conversations do not need to be documented. Supervisors, for example, regularly provide informal feedback to those under their charge. Deciding to document informal interventions, however, may be influenced by the nature of the event in question or reporting requirements related to such an event.


패턴이 드러나고, 반복될 때

When patterns emerge, then persist


인식 및 권한 중재는 그러한 행동에 따른 우려가 점점 높아지고 있음을 입증하는 데이터를 기반으로 이뤄져야 한다.

awareness and authority interventions rely on data demonstrating that the provider’s behavior warrants increasing levels of concern.



첫째, 우리는 건강 관리 제공자가 UPB를 계속해서 나타낼 수있는 이유를 고려하는 것이 왜 중요한지 가르친다. 감별 진단을 이해하는 것은 합리적으로 고안되고 적용되는 효과적인 개입에 필수적입니다. 너무 자주, UPB은 성격 문제로 치분된다. 연구에 따르면 성격 검사는 disruptive professionals를 식별하지 못하며, 경험과 연구에 따르면 UPB의 병인에는 적어도 다음 6 가지 원인이 있 24,28-30,40,41 :

First, we teach the importance of considering why a health care provider might continue to exhibit unprofessional behaviors. Understanding the differential diagnosis is essential for effective interventions to be reasonably devised and applied. Too often, the disruptive professional’s behavior is dismissed as a function of personality. Research suggests that personality tests do not identify disruptive professionals,39 and experience and research have demonstrated that the etiologies of unprofessional and disruptive behavior include at least the following six drivers24,28–30,40,41:


1. 약물 남용, 심리적 문제;

2. 나르시시즘, 완벽주의 (일이 완벽하게 진행되지 않을 때의 죄책감 또는 부끄러움에 대한 부적절한 취급) 또는 이기심;

3. 만성 또는 급성 가족 / 가정 문제의 파급;

4. 열악한 통제하에있는 분노 - 특히 스트레스가 심한 경우 - 아마도 다음의 원인으로 인한..

a. 부실한 임상 / 행정 / 시스템 지원,

b. 불쌍한 실무 관리 기술이나 열악한 동료와 관련된 과제

c. 다른 사람들에 대한 끊임없는 비판이 빈약 한 실천 환경을 조성하는 간병 제공자 (직업);

5. 나쁜 행동으로 원하는 결과를 얻고, 그러한 행동이 강화되는 것

6. 임상 및 행정 관성 (아무도 UPB를 초기에 해결하지 않아서, 다른 사람들도 마찬가지로 행동하게 되고, 이러한 행동이 "정상"인 것 처럼 받아들여짐).


1. Substance abuse, psychological issues;

2. Narcissism, perfectionism (inappropriate handling of one’s feelings of guilt or shame when things don’t go perfectly), or selfishness;

3. Spillover of chronic or acute family/ home problems;

4. Poorly controlled anger—especially under heightened stress—perhaps attributable to

a. Poor clinical/administrative/ systems support,

b. Poor practice management skills or challenges related to poor performing colleagues, or

c. Care providers (any profession) whose constant criticisms of others create poor practice environments;

5. Bad behavior gets desired results, so the behavior is rewarded; and

6. Clinical and administrative inertia (no one addresses the unprofessional behavior earlier and others in the environment may behave similarly, so the behavior becomes “normal” and accepted for the individual).


원인이 무엇이든, 이 의사들은 품질과 안전에 위협이되며, 권위개입이 필요하다

regardless of their driver(s), these physicians represent a threat to quality and safety, and they require what the pyramid terms an authority intervention.


PARSSM 프로세스

The Patient Advocacy Reporting System (PARSSM) process.


PARS 절차는 환자 / 가족 불만 사항에 대한 체계적이고 신뢰할 수있는 분석 및 프로파일 링으로 시작됩니다. 그것은 패턴을 인식하도록 고안되었으며 이전에 설명한 비공식적 인 커피 잔 대화를 뛰어 넘습니다.

The PARS process begins with systematic, reliable analysis and profiling of patient/family complaints. It is designed to recognize patterns, and it goes beyond the informal coffee cup conversation described earlier.


▪ 의사 심사 위원 또는 가능하다면 권한 수치로 구성된 환자 불만 감시위원회 (PCMC)는 법적인 발견으로부터 보호하기 위해 적용 가능한 동료 심사 및 품질 보증 법령에 따라 수립됩니다. 기밀 유지, 정중 한 태도, 지지 행동은 PARS 프로세스에서 필수적입니다.

▪ A Patient Complaint Monitoring Committee (PCMC) composed of physician peers or, if preferred, authority figures, is established under the applicable peer review and quality-assurance statutes to provide protection from legal discovery. Confidentiality, respectful attitudes, and supportive behaviors are essential in the PARS process.


▪ PCMC 위원은 6 ~ 8 시간의 교육 (표 1 참조) 및 연습을받습니다.

▪ PCMC members receive six to eight hours of training (see Table 1) and practice, including 

      • role play exercises, 

      • sharing sensitive information with colleagues who have a record of many complaints against them, and 

      • responding to their colleagues’ varied reactions.


▪ 대부분의 기관은 PARS 과정에서 3 가지 수준의 개입을 채택합니다. 

      • 1 단계는 인식개입이며 비밀리에 제공되고 징계는 없다.

      • 2 단계는 권위개입이며 특정 행동 계획의 개발을 요구한다

      • 3 단계는 징계조치로서 교육 기관의 최고 수준의 관리에 의한 검토 후 발생한다

▪ Most institutions adopt three levels of interventions in the PARS process: 

      • level one describes a confidentially delivered, nonpunitive peer awareness intervention; 

      • level two is the authority intervention and requires development of a specific action plan; and 

      • level three is a disciplinary intervention that occurs after review by the institution’s highest level of administration.


▪ 기관의 데이터베이스에서 가져온 환자 불만 기록을 사용하여 VUMC는 각 "고불만"의사에 대한 환자 불만 사항을 작성하고 프로필은 다른 그룹 구성원에 대한 각 의사의 불만 사항 점수를 나타냅니다. 조립 된 데이터는 눈에 띄는 불만 유형을 묘사합니다 (가상의 "Dr. X"에 대한 그림 2 및 표 3 참조).

▪ Using patient complaint records drawn from the institution’s database, VUMC creates a patient complaint profile for each “high-complaint” physician, and the profile depicts each physician’s complaint score relative to other group members. Assembled data portray the types of complaints that stand out (see Figure 2 and Table 3 for hypothetical “Dr. X”).




약 60 %의 의사가 1 단계 인식 인터벤션 후 불만 점수가 개선된다.19 재발하기도 하지만 희귀합니다 (2 % 미만). 다른 고불만 의사들은 약 20 %가 이직 또는 퇴직으로 인해 병원을 떠납니다. 또 다른 20 %는 개선을 위해 2 단계 권한 개입에서 추가적인 도움을 필요로합니다.

About 60%of physicians demonstrate improved complaint scores after level one awareness interventions.19 Recidivism exists, but it is rare: less than 2%. Other high-complaint physicians are mobile: about 20%leave the institution because of relocation or retirement. Another 20% require additional help at level two authority interventions to improve.19



주치의에 대한 개입 결과

Selected results of interventions on attending physicians.


감소

Our PARS team’s experience shows reductions in patient complaints and malpractice claims rates.19


전공의에 대한 개입 결과

Selected results of interventions on resident physicians.


감소

One-year post-intervention follow-up showed no, or many fewer, complaints about residents still at the institution


UPB 대응을 위한 기관의 자원

Institutional Resources for Dealing with Unprofessional Behavior


앞에서 언급 한 교육 및 개입 프로그램에도 불구하고, 소수의 의사는 환자와 동료간의 업무 관계를 방해하는 UPB를 계속합니다. 이 의사들은 스스로 행동 변화를 일으킬 수 없기 때문에 학장과 학과장에 의해 변화가 요구되어야 하며,그러한 변화를 돕기 위한 지원이 필요하고, 그 의사는 스스로 변화에 대한 책임을 져야합니다. 그럼에도 불구하고 UPB가 계속되면 징계 조치가 이뤄질 수 있습니다.

Despite the foregoing programs of education and intervention, a small proportion of physicians persist with unprofessional behavior that disrupts patient and peer working relationships. Because these physicians are unable to make behavioral changes on their own, their deans and their department chairs must therefore require change, suggest sources of assistance for making those changes, and hold the physician accountable for changing. If the unprofessional behavior nevertheless persists, disciplinary action leading to termination may result.


UPB를 다루는 것의 장점과 책임

The Benefits and Responsibilities of Addressing Unprofessional Behavior

이러한 프로그램을 운영하는 데 들어가는 비용은 중요한 고려 사항이지만, 마찬가지로 UPB에 대해 가르치지 않고 처리하는 데 드는 비용도 고려되어야 한다. 따라서 단순히 옳은 행동이기 때문이어서만이 아니라, UPB를 해결하는 것은 몇 가지 중요한 비용 절감 혜택을 가져올 잠재력을 가지고 있습니다.

Although the costs of such programs are important considerations, an equally important calculus involves the costs of failing to teach about and deal with unprofessional behavior. Therefore, besides being the right thing to do, dealing with disruptive behavior has the potential to yield several important cost-saving benefits,


1. 직원 만족도 및 유지력 향상;

2. AMC와 그 지도자들에 대한 명성 향상;

3. 학생, 거주자, 직원 및 서로에게 중요한 역할 모델 인 전문가 문화 창출.

4. 환자 치료의 문제를 관찰 할 때 더 큰 직원이 말하도록 기꺼이하기 때문에 환자 안전이 향상되었습니다.

5. 책임 감소 및 위험 관리 활동 감소 과

6. 전반적으로 생산적, 시민 적, 바람직한 작업 환경.


1. Improved staff satisfaction and retention;

2. Enhanced reputation for the AMC and its leaders;

3. Creation of a culture of professionals who are important role models for students, residents, staff, and one another;

4. Improved patient safety attributable to greater staff willingness to speak up when they observe problems in patient care;

5. Reduced liability exposure and risk-management activity; and

6. Overall more productive, civil, and desirable work environments.









 2007 Nov;82(11):1040-8.

complementary approach to promoting professionalismidentifyingmeasuring, and addressing unprofessional behaviors.

Author information

1
Department of Medical Education and Administration, Center for Patient and Professional Advocacy, Vanderbilt University Medical Center, Nashville, Tennessee 37232, USA. gerald.hickson@vanderbilt.edu

Abstract

Vanderbilt University School of Medicine (VUSM) employs several strategies for teaching professionalism. This article, however, reviews VUSM's alternative, complementary approachidentifyingmeasuring, and addressing unprofessional behaviors. The key to this alternative approach is a supportive infrastructure that includes VUSM leadership's commitment to addressing unprofessional/disruptive behaviors, a model to guide intervention, supportive institutional policies, surveillance tools for capturing patients' and staff members' allegations, review processes, multilevel training, and resources for addressing disruptive behavior.Our model for addressing disruptive behavior focuses on four graduated interventions: informal conversations for single incidents, nonpunitive "awareness" interventions when data reveal patterns, leader-developed action plans if patterns persist, and imposition of disciplinary processes if the plans fail. Every physician needs skills for conducting informal interventions with peers; therefore, these are taught throughout VUSM's curriculum. Physician leaders receive skills training for conducting higher-level interventions. No single strategy fits every situation, so we teach a balance beam approach to understanding and weighing the pros and cons of alternative intervention-related communications. Understanding common excuses, rationalizations, denials, and barriers to change prepares physicians to appropriately, consistently, and professionally address the real issues. Failing to address unprofessional behavior simply promotes more of it. Besides being the right thing to do, addressing unprofessional behavior can yield improved staff satisfaction and retention, enhanced reputation, professionals who model the curriculum as taught, improved patient safety and risk-management experience, and better, more productive work environments.

PMID:
 
17971689
 
DOI:
 
10.1097/ACM.0b013e31815761ee
[Indexed for MEDLINE]


오늘날의 프로페셔널리즘: 마음Mind 없는 마음Heart (Acad Med, 2005)

Viewpoint: Today’s Professionalism: Engaging the Mind but Not the Heart

Jack Coulehan, MD




H. L. Mencken은 "모든 인간 문제에는 항상 깔끔하고, 그럴듯하고, 동시에 틀린 해결책이 있습니다."1, p. 이것은 오늘날 의학 교육에 "프로페셔널리즘"을 심어주는 프로젝트에 적용됩니다.

H. L. Mencken wrote, “There is always an easy solution to every human problem—neat, plausible, and wrong.”1, p. 442 This applies to today’s project to instill “professionalism” in medical education.


래리 처칠 (Larry Churchill)은 이 문제를 15 년 이상 전에 제기했습니다. "어떻게 특유의 전문직업적 윤리를 중요시하지 않았는가? 자기 분야를 구분짓는 도덕적 신념이 없는 전문직profession은 profess 할 것이 없습니다. "2, p. 만일 우리가 의학 교육자로서 profess 할 것이 없다면, 훈련중인 의사들에게 전문적인 행동 규범을 주입시키고 촉진시키는 어떤 공격적 프로그램도 결국 실패 할 것입니다.

Larry Churchill raised the issue more than 15 years ago, “How didwe get to this point of not valuing a distinctive professional ethic? A profession without its own distinctive moral convictions has nothing to profess.”2, p. 34 If indeed we as medical educators have nothing to profess, then an aggressive program to instill and promote a code of professional behavior in physicians-in-training will be artificial and bound to fail.


프로페셔널리즘의 최근 역사

The Recent History of Professionalism



1970 년대 초, 생물 의학 윤리는 의학교육에서 구식 전문직 윤리를 대체했습니다. 많은 사람들은 미덕과 의무에 근거한 전문직 윤리가 의사의 특별한 관심과 의무에 국한되어 있다고 믿었습니다 .2-6

By the early 1970s, biomedical ethics, had replaced old-fashioned professional ethics in medical education. Many believed that professional ethics, based on virtue and duty, had confined itself to the special interests and obligations of physicians.2–6


2005 년 상황이 크게 바뀌 었습니다. 오늘날, "프로페셔널리즘"이라는 용어는 의학 교육의 모든 곳에 등장하는 칡kudzu와 같습니다.

In 2005, the situation has changed dramatically. Today, the term “professionalism” springs like kudzu from every nook and cranny of medical education.


왜 우리는 이 "명백한 전문직업적 미덕"을 다시 한 번 명시적으로 강조하게 되었을까?

Why have we resurrected this explicit focus on “a distinctive professional virtue”?


지난 수십 년 동안 미국의 의학은 방대하고 값 비싼 기술적 이익 센터로 진화했습니다.

Over the past several decades, medicine in the United States has evolved into a vast, increasingly expensive technological profit center,


전문가들은 강력한 기계를 휘두르는데 더 많은 시간을 보냈지만, 환자의 말을 듣거나 환자와 연락하는 시간은 줄어들었다.

While specialists spent more time wielding the mighty machine, they spent less time listening to or connecting with their patients.


상업주의는 의사와 환자의 이익 사이에 갈등이 커지기위한 발판을 마련했습니다. 시스템의 비용은 급격히 증가했지만 의료에 있어서 인구의 상당 부분은 여전히 불평등하고 접근하기 어렵다.

Commercialism set the stage for increasing conflict between the interests of physicians and their patients. The costs of the system skyrocketed, but it nonetheless remained inequitable and inaccessible to significant segments of the population.


이러한 문제가 발달함에 따라 의료 교육자들은 이를 무시하지 않고, 이러한 새로운 테크놀로지 환경에 의사 소통 기술에 대한 지식, 기술, 태도를 통합하기 위하여 여러 세대의 솔루션을 가져왔다. 초기 혁신에는 다음이 있다.

  • 가정 의학의 전문과 도입 

  • Whole-person 의학 (biopsychosocial model)을 위한 새로운 패러다임의 형성,

  • 커리큘럼에 새로운 기술(예 : 의사 소통, 인문학 및 생물 의학 윤리 코스) 추가

  • 창의적인 교수 방법 (예 : 문제 기반 학습)을 채택

As these problems developed, medical educators, far from ignoring them, responded with several generations of well-intended solutions that aimed to integrate the knowledge, skills, and attitudes of good doctoring into this new technological environment. Early innovations included creating the specialty of family medicine, formulating a so-called new paradigm for whole-person medicine (the biopsychosocial model), adding new skills to the curriculum(e.g., courses in  communication, humanities, and biomedical ethics), and adopting more creative methods of teaching (e.g., problem-based learning).


최근에 근거 중심의 의학 운동은 (의사가 정보를 바탕으로하는 배경을 깎아내어) 의사가보다 과학적인 근거로 임상 결정을 내릴 수있게하고, 따라서 환자 치료를 더욱 유익하게 만드는 수단을 제공합니다. 그러나 상황은 그다지 개선되지 않았습니다. 학생들의 마음은 그 어느 때보다도 예리해졌지만sharper 그들의 마음은 무뚝뚝하고 도덕적 나침반은 표류하는 것처럼 보였습니다. 이 시점에서, 교육자들은 본질적으로 1970 년대 이전의 전문직업적 가치에 대한 복귀라는 완전히 새로운 "압정"을 채택했다. 즉, 그들은 전문성 자체가 가르치고 평가되어야한다고 주장하기 시작했습니다.

 More recently, the evidence-based medicine movement has provided a means of cutting through the information-dense background to teach physicians to make more scientifically based clinical decisions, and,hence, to make patient care more beneficial. Still, the situation did not appreciably improve; while the minds of our students became sharper than ever, their hearts appeared to be listless, and their moral compasses adrift. At this juncture, educators adopted an entirely “new” tack, which in essence is a return to pre-1970s professional values; that is, they began insisting that professionalism itself be taught and evaluated. 


프로페셔널리즘 운동에 대한 나의 비판은 프로페셔널리즘을 좀 더 정량화하려는 시도에서 미덕에 대한 대리자로서 기술과 관습을 사용할 수 있다는 것입니다. 의사가되는 것은 단순히 행동하는 것이 아니라 증명witnessing하는 것입니다. 프로페셔널리즘이 필수 행동의 목록이 되는 한, 이것은 H. L. Mencken이 말한 깔끔하고 단순하지만 잘못된 솔루션의 예입니다.

My criticism of the professionalism movement is that, in the attempt to render professionalism more quantifiable, it may use skills and practices as surrogates for virtue. Becoming a physician involves witnessing, and not just behaving. To the extent that professionalism becomes a list of required practices, it is an example of H. L. Mencken’s neat and simple, but wrong, solution.



현재 상태
The State of the Art

프로페셔널리즘의 전통은 

  • 직업의 목표에 깊이 내재된 가치

  • "내가 가장 신성시하는" 도덕적 행동 기반에 헌신하고자 하는 것(히포크라테스 선서의 현대판을 인용)

  • 지역사회 정체성에 대한 뚜렷한 감각sense 등을 말한다. 

즉, 가치, 신념, 지역사회는 의료 프로페셔널리즘의 필수 구성 요소입니다. 그러나 그것이 의사의 생생한 경험에 나타나지 않는 한, 프로페셔널리즘은 (자율성과 선행의 생물 윤리 원칙과 같은) 단순한 학술적 추상물 일뿐입니다.

The tradition of medical professionalism holds that there are deeply held values internal to the goals of the profession, a commitment to moral behavior grounded in “that which I hold most sacred” (to quote a contemporary version of the Hippocratic Oath), and, a strong sense of community identity in medicine. Values, beliefs, and community are thus essential components of medical professionalism. But unless manifest in the lived experiences of physicians, they are mere academic abstractions, like the bioethical principles of autonomy and beneficence.


Trainee는 롤모델 의사 또는 다른 보건 전문가를 통해 [직접 관찰하거나], 이야기와 영화를 통해 [간접적으로 관찰하는] 현대 서사의 묶음bundle으로서 프로페셔널리즘을 경험해야합니다. 다른 말로하면, 프로페셔널리즘을 배우는 것은 특정한 종류의 서사에 들어가서 그것을 자신의 것으로 만드는 것입니다.

Trainees must also experience professionalism as a bundle of contemporary narratives, either observed directly through role-model physicians and other health professionals, or indirectly through stories and film. In other words, to learn professionalism is to enter into a certain kind of narrative and make it one’s own.


나는이 전통을 지칭하기 위해 내러티브 기반 프로페셔널리즘이라는 용어를 사용할 것이며, 이는 목표, 역량 및 측정 가능한 행동의 집합을 설명 할 때 사용하는 용어 인 규칙 기반 프로페셔널리즘과 대조하기 위함이다.

I will use the term narrative-based professionalism to refer to this tradition, contrasting it with rule-based professionalism, which is the term I’ll use to describe the sets of objectives, competencies, and measurable behaviors that attempt to capture the concept of professionalism



묵시적 vs 명시적 학습

Tacit versus Explicit Learning


많은 관찰자들은 우리가 의대생들과 젊은 의사들에게 가르친다고 생각하는 것(명시적 또는 공식적인 커리큘럼)과 다른 출처에서 배우는 두 번째 세트의 신념과 가치(암묵적, 비공식적 또는 숨겨진 커리큘럼) 사이의 갈등을 기술했습니다 ) .19-29 이 갈등은 전임상 교육 과정에서 시작되어, 임상실습(병원과 클리닉에서) 시기에 더욱 두드러진다.

Many observers have described a conflict between what we think we are teaching medical students and young physicians (the explicit, or formal, curriculum) and a second set of beliefs and values that they learn from other sources (the tacit, informal, or hidden curriculum).19–29 This conflict begins during students’ preclinical education and becomes more pronounced in the hospital and clinic.


  • 프로페셔널리즘 개발의 명시적 요소에는 전문직업적 가치를 심어주기 위해 고안된 강좌, 수업, 라운드, 조언 또는 기타 강의가 포함됩니다. 

  • 대조적으로, 암묵적 학습에는 명시 적으로 그 문제를 분명히 표시하지 않고 전문적인 가치와 정체성을 주입시키는 습 및 사회화 프로세스가 포함됩니다. 이 숨겨진 커리큘럼은 의학교육을 통하여 전수된다. 

  • 명시적 커리큘럼은 공감, 의사 소통, 고통의 완화, 신뢰, fidelity, 환자의 최대 이익 추구에 초점을 맞추지만, 

  • 실제로 병원에서 이들 가치는 구석으로 밀리며, 객관성, 분리, 자기 이익, 감정, 환자, 보험 회사, 관리자에 대한 불신 등을 암묵적으로 학습한다.

  • The explicit component of professional development includes courses, classes, rounds, advice, or other teaching designed to instill professional values. 

  • Tacit learning, by contrast, includes the learning and socialization processes that instill professional values and identity without explicitly articulating those issues. This hidden curriculum continues throughout medical training. 

  • While the explicit curriculum focuses on empathy, communication, relief of suffering, trust, fidelity, and pursuing the patient’s best interest, 

  • in the hospital and clinic environment these values are largely pushed aside by the tacit learning of objectivity, detachment, self-interest, and distrust—of emotions, patients, insurance companies, administrators, and the state.



병원의 내러티브

The Hospital Narratives


병원 진료의 질감texture, ​​특히 구전 문화, 당신 주변의 이야기에 세심한 주의를 기울이십시오. 그들은 어떤 종류의 이야기입니까? 어떻게 분류 될 수 있습니까?

Pay close attention to the texture of hospital practice, in particular to its oral culture, the stories that surround you. What sort of stories are they? How can they be categorized?


첫 번째 놀라운 사실은 병원이라는 우주의 활력이 병실 밖에 집중되어 있다는 것입니다. 내러티브의 세계는 교육 병원의 복도 및 회의실과 병동 스테이션에서 가장 활발합니다. 일반적으로 의사는 가능한 한 드물게 병실에 들어간다는 것을 발견합니다. 또한 병실에 가더라도 이들은 가능한 한 환자의 말을 적게 듣는다.

The first surprising observation you may make is that the vitality of this universe is centered outside the patient room. The narrative world is most alive in the teaching hospital’s hallways and conference rooms and unit stations. Generally, you discover that physicians enter their patients’ rooms as infrequently as possible; and when they do enter, they listen to these patients as little as possible.


실제로 의사가 다른 의사랑 대화할 때에는 환자와의 대화보다는 환자에게 수행되는 절차가 그 대화의 시작점이 되는 경우가 더 많다.

In fact, procedures performed on patients are more frequently the starting place for the stories doctors tell one another than are their conversations with patients.


두 번째 흥미로운 특징은 병원 기풍에 스며들어있는 이야기 환자는 대부분 능동적 주인공이 아니라는 것입니다. 오히려 환자는 영리하거나 좌절스럽거나 심지어 어리석은 음모 장치 역할을합니다.

The second interesting feature is that stories permeating the hospital ethos don’t usually have patients as their active protagonists. Rather, patients serve as clever or frustrating or even stupid plot devices


악당과 관련하여, 환자 자신의 가족은 그 자리에 있든지(예 : 적대적이거나 의문의 딸) 아니면 없든지(예 : 출현하지 않은 아들) 악역을 맡게 된다. 마지막으로, 환자 역시 그 자신이 악역을 맡을 수 있습니다. 보통 환자에 관한 스크립트는 무지, 분노, 그리고 무엇보다 '불순응'을 언급한다.

With regard to villains, the patient’s own family may play a malevolent role, either as a result of being present (e.g., the hostile, questioning daughter) or being absent (e.g., the son who never shows up). Finally, patients themselves may take on the role of Bad Guys, with scripts that that demonstrate ignorance, anger, and— above all—noncompliance.


감정적 측면에서, 환자에 관한 많은 병원 내의 이야기는 (비록 이러한 이야기가 지적으로 자극적임에도) 상당히 평이하게 느껴진다.

From an emotional perspective, many hospital stories about patients feel rather flat, even though at the same time these stories are intellectually stimulating.


그러나 환자와 의사의 이야기에서 정서적 공명력의 부족은 학생과 병원 직원 간의 상호 작용으로까지 확대되지 않습니다. 병원 문화에서 인정받는 감정의 대부분은 의사 또는 의료진의 부정적인 태도와 폭발outburst로 표현된다 . "이 곳은 정말 최악이야!"

Yet the lack of emotional resonance in patient-and-doctor stories does not extend to interactions among students and hospital staff. Most of the feelings in medical culture that do get acknowledged are those of doctors or other health professionals, which tend to be expressed in negative attitudes and outbursts: “This place sucks!”


이와 같은 표현은 허용되지만, 의사의 기풍은 일반적으로 감정을 인정하지 않고 금욕주의적 성향을 선호합니다. 실제로 이것은 의사가 종종 환자에 대해 감정적 우월감을 드러내는 한 방법으로서, 이들의 눈에 환자는 감정적이고 잘 해봐야 주관적 관점 정도만 얻을 수 있는 사람일 뿐이다.

Although expressions like these are permissible, the physician ethos in general disapproves of emotion and favors stoic acceptance. This, in fact, is one way that doctors demonstrate the superiority they feel over patients, who are often emotional and let subjective perspectives get the best of them.


의대생과 젊은 의사들이 속해 있는 세상은 이렇다.

world in which medical students and young physicians find themselves


  • 첫째, 간호, 사회 사업, 종군 사역 및 기타 많은 전문직의 내러티브를 무시합니다. 물론 이들 직군은 서로 겹쳐지고 서로 reverberate하고, 영향을 미치지만, 이들은 마치 의학의 문화에 거의 영향을 미치지 않는 것처럼 보입니다. 병원의 의사들은 여러 다른 전문가와 지원 인력에 전적으로 의존하지만 의학 자체의 문화는 고립되어 있으며 다른 전문직이나 지원인력에 영향을받지 않습니다.

  • 둘째로 요즘 의료 교육의 상당 부분이 진료소 및 사무 환경에서 이루어지며 환자 내러티브가 연수생의 전반적인 경험에서 더 큰 역할을 할 수 있습니다.

  • 마지막으로, 저는 의사들에 대해 너무 많이 과도하게 일반화를 했다. 다행스럽게도 환자와 의사는 활발하고 흥미 진진한 이야기를 전하고 많은 레지던트와 학생들은 그 이야기를 반복하여 배우게됩니다. 병원 문화는 결코 적대적이지 않으며, 대부분의 trainee는 긍정적이고 배려심있는 직업적 정체성을 키운 상태에서 졸업합니다.

  • First, it ignores the narratives of nursing, social work, chaplaincy, and many other professions. These professions, of course, overlap, reverberate with, and influence one another but—and this is quite remarkable—they seem to influence the culture of medicine very little. While physicians in the hospital are completely dependent on multiple other professionals and support personnel, the culture of medicine itself remains rather isolated and uninfluenced by them. 

  • Second, nowadays a substantial proportion of medical education takes place in clinic and office settings, where patient narratives may play a larger role in trainees’ overall experiences. 

  • Finally, I’ve overgeneralized about physicians themselves. Fortunately, patients and their physicians also tell vibrant and edifying stories, and many residents and students repeat them and learn from them. Hospital culture is by no means entirely hostile, and many trainees graduate from it having cultivated positive and caring professional identities.


프로페셔널리즘의 다양한 종류

The Varieties of Professionalism


경험적 차원에서, 의대생과 HO는 세 가지 스타일의 직업적 정체성 중 하나를 채택하여 내부 갈등을 해소하거나 해결합니다.

At an experiential level, medical students and house officers relieve or resolve their internal conflict by adopting one of three styles of professional identity.


  • 테크니컬 전문직업적 정체성: 젊은 전문의가 전통적인 가치관을 포기하고 병원 문화와 일치하는 의료 실천 관점을 채택하는 . 그들은 의무, 성실, 기밀성, integrity에 관하여 냉소적이된다; 그들 자신의 동기와 다른 사람들의 동기에 의문을 제기함으로써 테크니컬 영역에 대한 책임 범위를 좁히는 것이다.

  • 비성찰적 전문직업적 정체성: 의사가 의식적으로는 전통적인 의학적 가치를 고수하지만, 무의식적으로 그 가치와 상반되는 가치에 기반하여 행동하는 것. 이런 유형의 self-delusion에 대해 한 젊은 의사는 병원 문화에 따라 행동 할 때, 병원에서 표현되는 것은 잠재적 가치와 숨겨진 교육과정이지만, 겉으로는 교실에서 배운 명백한 가치를 manifest할 것이라고 생각합니다. 예를 들어 병원에서 연민은 detachment로 의해 가장 잘 표현되며, 객관성이 부족하다는 이유로 개인적 상호작용은 의심의 대상이 된다.

  • 연민적, 반응적 전문직업적 정체성: 제 3의 상당수의 젊은 의사들에 의해 채택되는 방식. 암묵적 사회화와 명시적 사회화 간의 갈등을 극복하는, 연민적, 반응적 전문적 정체성.

  • A technical professional identity, in which young physicians abandon traditional values and adopt a view of medical practice consistent with hospital culture. They become cynical about duty, fidelity, confidentiality, and integrity; and question their own motivation and that of others, thereby narrowing their sphere of responsibility to the technical arena.

  • A nonreflective professional identity, in which physicians consciously adhere to traditional medical values while unconsciously basing their behavior, or some of it, on opposing values. In this type of self-delusion, a young physician believes that when she acts in accordance with hospital culture, she actually manifests the explicit values she learned in the classroom, although instead it is the hidden, negative values that are being expressed. For example, compassion is best manifested by detachment, and personal interaction is suspect because it lacks objectivity.

  • A compassionate and responsive professional identity, adopted by a third, substantial group of young physicians, who thereby overcome the conflict between tacit and explicit socialization.


윌리엄스와 저는 많은 졸업생 대부분은 nonreflective professionals라고 주장합니다. 즉, 의사들은 virtue를 실천하는 과정에서 그러한 virtue와 상충하지 않는다고 믿고 있으나, 실제로는 이러한 미덕과 충돌 할뿐 아니라, 그러한 행동이 헬스케어의 현대적 문제에 기여하는 작동한다.

Williams and I claim that a large percentage of our graduates are best characterized as nonreflective professionals; that is, physicians who believe that they embody virtues while acting in ways that not only conflict with these virtues, but also contribute to contemporary problems in health care


"의학의 핵심적 역설은 이기심과 이타주의 사이의 긴장이다."30, p. 7

“The central paradox in medicine is the tension between self-interest and altruism.”30, p. 7


바람의 깃발

A Flag in the Wind


토마스 누이 (Thomas Inui)의 보고서, "바람의 깃발 : 의학의 전문성 교육"

Thomas Inui’s report, “A Flag in the Wind: Educating for Professionalism in Medicine,”


첫째, "우리가 프로페셔널리즘의 요소로 생각하는 대부분의 것은 이미 여러 차례에 걸쳐 잘 묘사되어왔다."31, p. 그러나 의학의 문학과 수사학은 의학 교육과 실천에서 "이미 잘 인정되고 알려진 행동의 미덕과 우리가 실제로하는 것"사이의 격차를 파악하지 못한다고 지적한다. Inui는 의사들이 "이 격차 중 일부는 인식하지도 못하고 있다"고 인정하지만, 인식하고 있더라도 "불협화음dissonance에 대해 침묵하거나 표현을 제대로 하지 않는" 경향이 있습니다. 4

First, “the major elements of what most of us in medicine mean by professionalism havebeen described well, not once but many times.”31, p. 4 Next he observes, however, that the literature and rhetoric of medicine fail to grasp “the gap between these widely recognized manifestations of virtue in action and what we actually do” in medical education and practice.31, p. 4 Inui acknowledges that physicians “may be unconscious of some of this gap” but when they are conscious of it, they tend to be “silent or inarticulate about the dissonance.”31, p. 4


다섯 번째 결론에서, Inui는 "학생들이 관찰하는 것"(숨겨진 커리큘럼)과 "학생들이 듣는 것"(공식 커리큘럼) 사이의 불일치에주의를 둡니다. 이러한 상황에서, "학생들은 프로페셔널리즘에 대해 냉소적 인 태도를 보였습니다. 실제로 그들은 냉소주의를 의학에 내재 된 것으로 본다."31, p. 이러한 맥락에서 "프로페셔널리즘에 대한 과목을 추가하는 것으로는 이러한 유감스러운 상황을 근본적으로 바꾸지 못할 것이다. 대신 우리는 실제로 우리 행동, 우리 기관, 우리 자신을 변화시켜야 할 것입니다. "31, p. 마지막으로, Inui는 모든 학생들이 가장 어려운 도전은 의학 교육이 기술교육의 한 종류가 아니라, "특별한 형태의 개인적 및 전문적 발달"(강조가 추가됨)임을 학생들과 교육자가 이해하는 것이다5

In his fifth conclusion, Inui draws attention to the discrepancy between “what they see us do” (the hidden curriculum) and “what they hear us say” (the formal curriculum). Under these circumstances, “students become cynical about the profession of medicine— indeed, they may see cynicism as intrinsic to medicine.”31, p. 5 In this context, “additional courses on medical professionalism are unlikely to fundamentally alter this regrettable circumstance. Instead, we will actually have to change our behaviors, our institutions, and ourselves.”31, p. 5 Finally, Inui indicates that the most difficult challenge of all is for students and educators to understand that medical education is “a special form of personal and professional formation” (emphasis added), rather than a species of technical learning.31, p. 5


Inui는 우리의 교육 병원을 특징 짓는 믿음과 행동 사이의 gap이 부분적으로는 무의식적이라는 것을 알고 있습니다. 이것이 사실이라면 의사들은 비성찰적 프로페셔널리즘을 나타내는 것이다. 즉, 전문직업적 정체성의 형성 과정에서, 그들은 어떤 nonvirtuous한 행동이 virtuous하다는 신념을 내면화하게 되는데, 왜냐하면 그것이 "의료에서 일이 작동하는 방식"이기 때문이다. "비성찰"이라는 용어는 의사들이 한 발자국 뒤로 물러서서 그들의 행동이 [자기 자신] 뿐만 아니라 [한 사람의 인간으로서 돌봄과 존중을 받을 자격이 있는 다른 사람들]에게 미치는 영향을 거의 고려하지 않는다는 뜻이다.

Inui recognizes that the gap between belief and behavior that characterizes our teaching hospitals is partly unconscious. To the extent that this is true, these physicians manifest nonreflective professionalism; that is, in the formation of their professional identities, they have internalized the belief that certain nonvirtuous behaviors are virtuous, since they are “the way things are in medicine.” The term“nonreflective” implies that these physicians rarely, if ever, step back and consider the impact of their behavior on themselves and others, as human beings deserving of care and respect.


믿음과 실천 사이의 기관 내에서의 갭의 또 다른 부분은 의식적이고 따라서 위선적이라고 볼 수 있다. 불행히도, 의사의 내러티브와 가치관에 거의 관심이없는 의사조차 때로는 교사로 역할해야 할 수도 있습니다. 이 의사들이 자신의 단순rote "지혜"를 전할 때 위선적으로 그렇게합니다. 그러나 연수생은 이를 신속하게 감지하고 냉소적 인 반응을 보입니다.

another part of the institutional gap between belief and practice is conscious and, therefore, hypocritical. Unfortunately, physicians with little interest in the narrative and value dimensions of medicine may at times be required to serve as teachers . When these physicians impart their rote “wisdom,”they do so hypocritically. Trainees quickly detect this and respond with cynicism.


내러티브 기반 프로페셔널리즘

Narrative-Based Professionalism


Inui는 전문적 미덕이나 서사적 전문성을 양성하기 위해 "우리는 실제로 우리의 행동, 기관 및 우리 자신을 변화시켜야 할 것입니다."31, p.

To nurture the professional virtue, or narrative-based professionalism, Inui observes that “we will actually have to change our behaviors, our institutions, and our selves.”31, p.


나는 4 가지 상호 연관된 교육 요구 사항을 제안 할 것이다.

I will suggest four interrelated educational requirements


학습자가 전문적인 미덕을 배우는 과정을 통해 진행되는 과정에서 연수생의 성과를 평가하는 수단으로 교육 포트폴리오를 제안했습니다 .32-35 이러한 포트폴리오는 시간 경과에 따라 모아진, 학습 및 성취의 증거를 제공하는 자료 모음입니다. 의료 연수생의 포트폴리오는 특정 역량을 다루기 위해 구성 될 수 있으며, 그 내용으로는 공식 서류, 증례보고, 연장 된 환자 서술, 비판적 사건의 서술, 성찰적 글쓰기 및 자기 평가를 포함 할 수 있습니다.

as a means of evaluating a trainee’s performance as he or she progresses through the process of learning professional virtue, I proposed the educational portfolio.32–35 Such a portfolio is a collection of material assembled over time that provides evidence of learning and achievement. A medical trainee’s portfolio might be structured to address specific competencies and include, for example, formal papers, case reports, extended patient narratives, descriptions of critical incidents, reflective writing, and self-assessment.36



프로페셔널리즘 역할 모델링

Professionalism role-modeling


첫 번째 요구 사항은 의학 교육의 모든 단계에서 전문적인 미덕을 롤모델링 할 수있는 의사의 수를 극적으로 늘리는 것입니다.

The first requirement is to increase dramatically the number of physicians who are able to role-model professional virtue at every stage of medical education. 


그러한 의사들은 성찰적이기 때문에, 프로페셔널리즘에 대해 비성찰적인 의사들과 달리, 병원의 명시적인 가치와 암묵적인 가치 사이의 갈등을 희석시키고 줄입니다. 또한 이러한 의사는 정직하게, 직접적으로 연수생과 의사 소통합니다. 더 많은 교수진이 참여하게 되면, 교육 환경은 (행동으로는 "분리"라고 말하면서, 말로만 "참여"라고 하는) 상반된 메시지를 거의 포함하지 않을 것이다. Trainee가 필요로 하는 것은 시간과 휴머니즘이다. 

Because such physicians are reflective, as opposed to nonreflective,in their professionalism, their presence would dilute and diminish the conflict between tacit and explicit values, especially in the hospital and clinic. Such physicians communicate honestly and directly with trainees . With the incorporation of more such faculty, the teaching environment would contain fewer mixed messages, where, for example, the voice says “engage” while the behavior says “detach.” What trainees need is time and humanism.


그러나 그러한 교수진은 pay for themselves 할 수 없으며, 이것은 의학 교육을위한 새로운 중요한 자금 조달 필요성을 의미합니다.

However, such faculty members cannot pay for themselves, and this implies major new financing for medical education.


자기 인식

Self-awareness


두 번째 전제 조건은 의대와 레지던트 기간에, 학생과 레지던트가 자신의 경험을 공유하고 개인의 인식을 향상시킬 수있는 안전한 장소를 제공하는 것입니다.

The second prerequisite is to provide, throughout medical school and residency, a safe venue for students and residents to share their experiences and enhance their personal awareness.


의사는 자신의 신념, 감정, 태도 및 반응 패턴을 이해해야합니다. 의사는 감정을 부정적이거나 파괴적이라고 생각하는 경향이 있으며, 자신의 반응을 지능화intellectualize하는 것(affect라고 부름)을 genuine emotion과 종종 혼동합니다. 의사는 만성 질환을 돌볼 때 불안, 외로움, 좌절, 분노, 우울증 및 무력감에 특히 취약합니다. 그들은 종종 이러한 감정을 억압하거나 합리화함으로써 이러한 감정에 대처하려고 노력합니다.

Doctors need to understand their own beliefs, feelings, attitudes, and response patterns. Physicians tend to view emotions as negative or disruptive, and often confuse intellectualizing their responses (naming an “affect”) with genuine emotion.38 Physicians are particularly vulnerable to anxiety, loneliness, frustration, anger, depression, and helplessness when caring for chronically or terminally ill patients.39 They often try to cope with these emotions by suppressing or rationalizing them.


또한, 연수생의 도덕 발달은 일상적인 학습 상황에 의해 방해받을 수 있습니다. 이러한 상황을 토론하고, 분석하고, 비평하고, 수리 할 수있는 기회는, 학생들로 하여금 자신의 목소리를 찾아 내고, 결과적으로 그 목소리를 효과적으로 개발할 수 있도록 empower 합니다 .40-43

In addition, the trainee’s moral development may be hindered by everyday learning situations. the opportunity to discuss, analyze, critique, and sometimes repair these situations allows students to find their own voice and may eventually empower them to develop that voice effectively.40–43


내러티브 역량

Narrative competence


의료 실습은 서사를 중심으로 구성됩니다. 그러나 학생들은 환자를 객관화하고 주관성을 devalue하도록 배웁니. 동시에, 그들은 병원 내러티브를 내면화하는데, 이것은 냉소적이고, 거만하고, 자기 중심적이고, 자기 축하하고, 고도로 rationalized 함에도 불구하고 연수생의 전문직 페르소나 형성에 지대한 영향을 미친다.

Medical practice is structured around narrative .However, students learn to objectify their patients and devalue subjectivity. At the same time, they internalize hospital narratives, which tend to be cynical, arrogant, egotistic, self-congratulatory, and highly rationalized, but nonetheless become influential in the formation of the trainee’s professional persona.


학생들은이 이러한 스토리에 몰두할 시간이 없으며 환자의 이야기를 이해하고 그에 대응할 기술이 부족할 수 있습니다.

students immersed in these stories have little time to listen to, and may also lack the skill to understand and respond to, their patients’ stories,


따라서 세 번째 전제 조건은 내러티브 역량의 개발이다.

the third prerequisite is the development of narrative competence.


이것은 "다른 사람들의 이야기와 역경을 인정하고, 흡수하고, 해석하고, 행동 할 수 있는 능력"으로 이해 될 수 있습니다.

This can be understood as “the ability to acknowledge, absorb, interpret, and act on the stories and plights of others.”44


내러티브 역량은 임상적 공감과 치료적 관계를 수립하고 유지하는 데 있어 핵심이 되며, 그 뿐만 아니라 직접적으로 알지 못하는 사람들의 경험에 "연결"할 수있게 해주는 상상적 공감imaginative empathy와도 관련된다. 예컨대, Appalachia에 무보험자, HIV 감염 어린이 (남아공), 수단 (Sudan)의 난민들과 같은 사람들을 말한다.51-55


It draws upon the centrality of clinical empathy in establishing and maintaining therapeutic relationships, and also more imaginative empathy that allows observers to “connect with” the experience of persons not immediately known to them, such as the uninsured in Appalachia, HIV-infected children in South Africa, or refugees in Sudan.51–55


긍정적 인 역할 모델링과 성찰적 실천을 통해 만들어진 연수생 자신의 삶의 경험은, 서술적 역량이 발전할 수 있는 기초 자료로 사용됩니다. 그러나 학생들은 실제 및 가상의 의사의 서면, 촬영 및 구두 서술에 노출되어 자신의 인생 경험 레퍼토리를 향상시킬 수 있습니다. 학생들은 개인적이고 전문적인 서술을 꾸준히 그리고 규칙을 가지고 씀으로써, 직업적 정체성 발달에 대한 인식을 높일 수있다 .56-61

The trainee’s own life experience, molded by positive role-modeling and reflective practice, serves as the basic material from which narrative competence may develop. However, students may enhance their repertoires of life experience by exposure to the written, filmed, and oral narratives of real and fictional physicians; and they may increase awareness of their own developing professional identities by writing personal and professional narratives consistently and with discipline.56–61


커뮤니티 서비스

Community service


마지막으로 의료 커리큘럼에는 사회적으로 높은 관련성을 가지는 봉사-지향 학습이 포함되어야합니다.

Finally, the medical curriculum must include socially relevant service-oriented learning.


병원이나 사무실 환경에서 환자와의 상호 작용은 학생과 젊은 의사에게 학제 간 실습, 생리 심리 사회적 모델링 및 사회적 책임에 대한 내러티브를 제공하기에 충분하지 않습니다.

Interaction with patients in the hospital or office setting is insufficient to provide students and young physicians with narratives of interdisciplinary practice, biopsychosocial modeling, and social responsibility.


서비스 학습은 지역적으로 일어나는 활동에서부터 국가적 또는 국제적 차원의 활동에 이르기까지 다양한 지리학 적, 사회적 수준에서 운영 될 수 있습니다. 

    • 임상 진료 (예 : 무료 진료소에서 근무하는 학생, 제 3 세계 국가에서 임상 시험을하는 학생),

    • 공중 보건 사업 (예 : 이주 노동자 예방 접종, 금연 금연 캠페인 지원)

    • 보건 교육 (예 : 지역 고등학교의 HIV 교육 참여, 교회 단체 및 지역 사회 단체 연설)

    • 지역 사회 봉사 (예 : 지역 기관 또는 제 3 세계 국가에 대한 직접적인 도움을 제공하는 단체의 자원 봉사)

    • 보건 및 복지 문제에 대한 정치적 행동.

관련 업무가 무엇이든 지역사회 관련 교육의 최소한의 "투입량dose"은 학생들이 분절된 add-on이 아닌, 의학 교육 문화에 필수 요소로 간주될 수 있을 만큼 충분히 커야합니다.

Service learning may operate on many different geographic and social levels, from activities that take place locally to those on a national or international level. Moreover, the focus may include students 

    • contributing to clinical care (e.g., working at free clinics, doing clinical work in third-world countries), 

    • public health work (e.g., vaccinating migrant workers, assisting in “Stop Smoking” campaigns), 

    • health education (e.g., participating in HIV education in local high schools, speaking at church groups and community organizations), 

    • community service (e.g., volunteering in local agencies or with groups that provide direct assistance to third-world countries), and 

    • political action on health and welfare issues.63–70 

Whatever the specific tasks involved, the minimal required “dose” of community service must be sufficiently large for students to view it as integral to the culture of medical education, rather than an unconnected add-on.


결론

Conclusions


프로페셔널리즘은 오늘날 의학에서의 au courant이지만, 프로페셔널리즘을 가르치고 평가하는 운동은 의학 교육자들에게 약간의 수수께끼를 안겨줍니다. 그 의도는 칭찬 할만합니다. 그러나 의학교육에 대한 이 운동의 영향은 "자기 이익과 이타주의 사이의 긴장"인 "핵심 역설"에 직접적으로 대면하지 않는 한 미미할 뿐이며, 오도되기 쉽다.

Professionalism is au courant in medicine today, but the movement to teach and evaluate professionalism presents medical educators with somewhat of a conundrum. Its intent is laudable . However, the impact of this movement on medical education is likely to be small and misleading unless it directly confronts the “central paradox in medicine,” which is the “tension between self-interest and altruism.”30


학생들과 젊은 의사들은 명시적 교육과정과 암묵적 교육과정을 조화 시키는 과정에서, 내적 갈등을 경험하며, 종종 비성찰적 프로페셔널리즘을 개발합니다. 현재 진행되고있는 프로페셔널리즘에 대한 추가 연습이나 강좌는, 그것이 역량 목록으로 보완 되더라도, 이러한 다이나믹을 바꾸기 쉽지 않다. 프로페셔널리즘에 대한 이 규칙-기반 접근법은 명시적 가치와 암묵적 가치 사이의 긴장이나 갈등을 변화시키기 못한다.

Students and young physicians experience internal conflict as they try to reconcile the explicit and covert or hidden curricula, and they often develop nonreflective professionalism. Additional exercises in or courses on professionalism as it is currently taught are, in themselves, unlikely to alter this dynamic, even if they are supplemented by lists of competencies . This rule-based approach to professionalism does not alter the tension or conflict between tacit and explicit values.


대신, 나는 내러티브 중심의 프로페셔널리즘을 의학 교육의 문화를 변화시키고, 위의 핵심 역설을 다루는 보다 포괄적 인 접근 방법으로 제안한다. 이것은 (프로페셔널한 덕목을 보여주는) [자신의 경험]뿐만 아니라 [다른 사람들의 경험]에서 끌어 낸 다양한 내러티브에 immersing하게 해준다. 본질적으로 이 접근법은 맹세와 화이트 코트 의식과 같은 상징적인 것 뿐만 아니라, 일상 생활에서 자신을 수행하는 방식으로 반-문화counterculture를 제공합니다.

Instead, I propose promoting narrative-based professionalism as a more comprehensive approach to changing the culture of medical education and addressing its central paradox. This involves immersing students and young physicians in a wide array of narratives, drawn from their own experiences as well as those of others, that display professional virtue. In essence, this approach would provide a counterculture , not just symbolically through oaths and White Coat ceremonies, but in the ways they conduct themselves in their day-to-day practice. 


이 발달을위한 많은 요소들이 이미 존재하지만, 대부분의 의대에서는 의학 교육의 문화에 중대한 영향을 미치기에는 너무 흩어져 있거나 너무 희박하게 분산되어있다. 내러티브 중심 프로페셔널리즘을 위한 연쇄 반응을 일으키는 데 필요한 임계질량이 무엇인지는 알 수 없습니다. 그러나 모든 학부모와 주치의가 덕과 공감을 위한 리트머스 테스트를 통과해야하는 것은 아니며, 상업주의가 사라질 것을 요구하는 것도 아니다. [상대적으로 적은 수의 교수진, 커리큘럼, 교수진 개발 프로그램 및 제도적 지원]으로도 적극적인 대처 방안이 마련 될 경우 문화적 변화가 일어날 수 있다고 생각하기 때문에 촉매의 개념이 중요합니다. 병약 한 전문 문화의 증상뿐만 아니라 회복을위한 문화를 정착시켜야합니다.

Many of the elements for this development are already present, but in most medical schools dispersed too thinly and/or integrated too sparsely to produce a significant impact on the culture of medical education. I don’t know what critical mass might be required to initiate a chain reaction in medical education in favor of narrative-based professionalism. Presumably, however, it would not require that every faculty member and attending physician pass a litmus test for virtue and empathy. Nor would it mandate that commercialism disappear. The concept of a catalyst is important here because I believe that cultural change can take place if a relatively small number of well-placed faculty members, curricula, faculty development programs, and institutional supports are brought together with an aggressive treatment plan not only to alleviate the symptoms of an ailing professional culture, but also to set that culture on the road to recovery.






 2005 Oct;80(10):892-8.

Viewpoint: today's professionalismengaging the mind but not the heart.

Author information

1
Division of Medicine in Society, Department of Preventive Medicine, HSC L3-086, Health Sciences Center, School of Medicine, Stony Brook University, Stony Brook, New York 11794-8036, USA. jcoulehan@notes.cc.sunysb.edu

Abstract

Professionalism is au courant in medicine today, but the movement to teach and evaluate professionalism presents a conundrum to medical educators. Its intent is laudable: to produce humanistic and virtuous physicians who will be better able to cope with and overcome the dehumanizing features of the health care system in the United States. However, its impact on medical education is likely to be small and misleading because current professionalism curricula focus on lists of rules and behaviors. While such curricula usually refer to virtues and personal qualities, these are peripheral because their impacts cannot be specifically assessed. The author argues that today's culture of medicine is hostile to altruism, compassion, integrity, fidelity, self-effacement, and other traditional qualities. Hospital culture and the narratives that support it often embody a set of professional qualities that are diametrically opposed to virtues that are explicitly taught as constituting the "good" doctor. Young physicians experience internal conflict as they try to reconcile the explicit and covert curricula, and they often develop nonreflective professionalism. Additional courses on professionalism are unlikely to alter this process. Instead, the author proposes a more comprehensive approach to changing the culture of medical education to favor an approach he calls narrative-based professionalism and to address the tension between self-interest and altruism. This approach involves four specific catalysts: professionalismrole-modeling, self-awareness, narrative competence, and community service.

PMID:
 
16186604
[Indexed for MEDLINE]


UME에서 성찰 용도로의 포트폴리오 활용 조건(Med Educ, 2005)

Conditions for successful reflective use of portfolios in undergraduate medical education

Erik W Driessen,1 Jan van Tartwijk,2 Karlijn Overeem,1 Jan D Vermunt3 & Cees P M van der Vleuten1




도입

INTRODUCTION


포트폴리오는 진료 평가를위한 정보의 출처가 될뿐 아니라 학생들의 경험을 성찰하는 데 도움을주기 위해 의학교육에 널리 사용됩니다 .1 성찰은 학생들이 자신의 행동을 돌아보고 반복하는 자기조절의 순환적 과정이다. 그들을 분석하고, 대안을 생각하고, 실제로 이것을 시도하고, 다시 돌아본다 .2이 과정의 목적은 경험으로부터 배우는 것입니다. 따라서 성찰는 전문직업적 발달을 위한 조건이됩니다 .2

Portfolios are widely used in health care education, not only as a source of information for authentic assessment but also to help students reflect on their experiences.1 We regard reflection as a cyclic process of self-regulation in which students look back on their actions, analyse them, think up alternatives, try these out in practice, look back on them, etc.2 The objective of this process is to learn from experience. Reflection thus becomes a condition for professional development.2


연구 결과에 따르면 포트폴리오만으로는 성찰이 발생할 것이라는 보장이 없습니다.

Research has shown that a portfolio is no guarantee that reflection will occur. 


피어슨 (Pearson)과 헤이우드 (Heywood)는 GP에 의한 포트폴리오의 성찰적 사용을 조사했다.

Pearson and Heywood investigated the reflective use of a portfolio by general practice registrars.3


피어슨 (Pearson)과 헤이우드 (Heywood)는 다음을 성찰의 근거로 인정했다. 정보의 기록이 능동적인 회상과 결합되어야 하며, 능동적인 회상이란 정보에 대한 자기 성찰 또는 그 정보를 가지고 트레이너와 토론하는 것으로 구성되어야 한다. 3 대다수의 기록원과 그들의 트레이너들은 포트폴리오를 성찰에 사용하지 않았으며, 포트폴리오의 목적이 불분명하다고 말했습니다. 더욱이, 많은 trainer들은 포트폴리오를 사용할 동기가 없으므로, trainee에게 사용을 권장하지도 않았다. 이것은 포트폴리오를 성찰 목적으로 사용하지 않는 것과 관련이 있습니다. 마지막으로 형식이 엄격하게 규정되었을 경우 수용가능성을 더욱 악화 시켰습니다.

Pearson and Heywood considered as evidence of reflection  …recording information … combined with active recollection , consisting of  …either a memory of self-reflection on the information, or discussion of the information with the trainer .3 It appeared that the majority of the registrars and their trainers did not use the portfolio for reflection and that its purpose was unclear. Moreover, many trainers were not motivated to work with the portfolio and thus did notencourage its use. This correlated with poor use of the portfolio for reflection. Finally, the strictly prescribed format further hampered acceptability. 


교사 교육에 관한 연구에 따르면 포트폴리오는 특정 조건이 충족되는 경우에만 성찰을 자극한다는 것이 밝혀졌습니다. Wade와 Yarbrough는 포트폴리오를 유용하게 사용하기위한 다음과 같은 조건을 확인했습니다. 

  • 포트폴리오가 무엇이며 사용 의도가 무엇인지에 대한 인트로덕션

  • 학생의 오너십

  • 명확한 구조 

  • 코치 또는 강사와의 토론에서 포트폴리오의 적절한 사용.

Research in teacher education has revealed that portfolios only stimulate reflection if certain conditions are met. Wade and Yarbrough identified the following conditions for reflective portfolio use: 

  • a good introduction to the portfolio and its intended use, 

  • student ownership, 

  • a clear structure, and 

  • appropriate use of the portfolio in discussions with coaches or trainers.4


성찰은 많은 혁신적인 의학 커리큘럼의 중요한 특징인 실제 실행real practice의 맥락에서 학습을 위한 전제 조건입니다. 포트폴리오는 학습 환경이 호의적인 경우 성찰적 기술을 촉진할 수 있습니다.

Reflection is a prerequisite for learning in the context of real practice, which is a prominent feature of many innovative medical curricula. A portfolio can foster reflective skills, provided the learning environment is favourable.



방법

METHODS


연구 맥락

Context of the study


In the curriculum of Maastricht Medical School, the Netherlands, authentic learning is introduced in Year 1, during which the students’ learning environment consists of authentic and real cases. Although portfolios are predominantly used at more senior levels of training, it was decided that it would be appropriate to introduce a portfolio early in the curriculum to help students develop reflective ability. The portfolio consisted of 3 parts:


• [학생들의 개인적인 발전에 대한 4 가지 전문적 역할에 대한 자기 평가서 작성]과 [추가적 역할 개발 목적으로 자기 평가에서 파생 된 학습 목표]

• 자기 평가를 뒷받침하는 예시 자료

• 첫 번째 두 부분에 대한 학생들의 개인 멘토에 의한 (서면) 피드백.


• written self-assessments of students’ personal development in 4 professional roles and the learning goals students derive from these self-assessments to further their role development;

• illustrative materials underpinning the self-assessments, and

• (written) feedback by students’ personal mentors on the first 2 parts.


Every year students discuss their portfolios in at least 2 one-to-one meetings with their personal mentors. Mentors evaluate portfolio quality and address aspects that need improvement. Their written feedback is added to the portfolios.


Students’ reflective skills are assessed (pass or fail) annually by the Portfolio Committee

  • In the preclinical phase, reflective ability is assessed. 

  • In the clinical phase, portfolios contribute to the assessment of students’ clinical performance

All mentors sit on the Portfolio Committee, but mentors do not assess the portfolios of the students they are mentoring.


멘토

Mentors


We interviewed all mentors (n ¼ 13) who were coaching Year 1 and 2 students during the period of the study.


인터뷰

Interviews


Three topics were addressed in each interview:


• the mentor’s (implicit) definition of reflective skills;

• the portfolio’s effectiveness in stimulating students to reflect on their experiences and development, and

• conditions for successful reflective portfolio use.


분석

Analyses


The interviews were analysed according to the principles of grounded theory, using the program ATLAS ⁄ ti. After the first 5 interviews, 3 interviews were coded independently by 2 researchers (EWD and JvT). 

  • Coding comprised selecting citations and assigning labels to them. 

  • The outcomes were compared and any differences discussed until consensus was reached. 

  • The researchers then re-read the interviews to check that no relevant information had been overlooked. 

  • The resulting refined interview schema was used in the interviews with the remaining 8 mentors. 

  • The final step of the analysis was member checking, or determining whether interviewees agreed that data and conclusions accurately reflected interview content.7 

  • For this purpose, 2 of the interviewees read and commented on the results and conclusions of the study. This part of the analysis did not necessitate any changes.



결과

RESULTS


성찰 기술의 정의

Definition of reflective skills


대부분의 멘토의 눈에는 성찰이 프로페셔널의 특성에 초점을 맞추어야 하며, 그 목적은 퍼포먼스의 강점과 약점을 파악하여 개선 방향을 제시하는 것이어야 한다. 멘토들에게 성찰이란 [왜 어떤 것이 그러한 상태인가]라는 질문에 대답하기 위해 원인을 확인하는 방법이었다. 이러한 "왜-"질문은 필수적이라고 여겨졌다. 한 멘토는 성찰이 없는 포트폴리오를 다음과 같이 묘사했다.

In the eyes of most mentors, reflection focuses on professional attributes and its purpose is to offer directions for improvement by identifying strengths and weaknesses in performance. The mentors saw reflection as a method of identifying causes in order to answer the question of why things are as they are. The  why-question  was regarded as essential. One mentor described a portfolio without reflection:


 ... whys와 wherefores을 묻지 않는 단순한 사실들의 모음. (멘토 1)

 ...as a collection of facts without questioning the whys and wherefores.  (Mentor 1)


멘토는 "왜-" 질문에 대해서 개인의 관점 바깥에서의 질문을 던지는 것이 학생들에게 중요하다고 말했다. 멘토는 다른 사람들의 의견에 대한 개방성을 객관성의 전제 조건으로 보았습니다.

Mentors attached great importance to students addressing why-questions from a position outside their personal perspectives. They saw openness to the opinions of others as a prerequisite for objectivity:


 자신의 태도와 행동을 객관화하고 모든 편견을 제거하여 자신의 입장을 명확하게 파악하고 다른 사람이 어떻게 보았는지 이해할 수있게하십시오. (멘토 2)

 That you can objectify your own attitude and behaviour and try to eliminate all bias so as to obtain a clear view of your position and understand how you are seen by others.  (Mentor 2)


포트폴리오를 [학생의 경험에 대한 성찰과 발달을 자극]하기 위한 목적으로 활용하는 효과성

Effectiveness of the portfolio in stimulating students to reflect on their experiences and development


모든 멘토들은 포트폴리오를 작성하고 반사 보고서를 작성하는 것이 학생들의 성과에 대한 비판적 태도를 육성하고 자신의 발전을 관리하는 데 도움이되었다고 말했습니다. 멘토들은 포트폴리오가 학생들의 경험을 소급하여 체계적으로 검토하도록 자극했을뿐만 아니라 개발 방향도 제시했다고 말했다. 이 과정은 학생들의 발달 속도에 영향을 미치는 것으로 나타났습니다.

All mentors said that compiling portfolios and writing reflective reports fostered a critical attitude in students towards their own performance and helped them manage their own development. The mentors said that the portfolio not only stimulated students to examine their experiences retrospectively and systematically, it also offered directions for development. This process was seen as affecting the pace of students’ development:


멘토들은 능력, 태도, 동기가 학생들이 얼마나 쉽게 반영했는지를 결정했다고 말했다.

The mentors said that ability, attitude and motivation determined how easily students learned to reflect:


자신의 성과를 비판적으로 평가할 능력이 부족한 학생들을 찾아야 할 필요성이 멘토에 의해 강조되었는데, 이는 의사의 중요한 기술로 간주되기 때문입니다. 학생들과 함께 포트폴리오를 토론하는 것은이 그룹을 식별하는 한 가지 방법입니다.

The need to identify those students who lack the ability to critically appraise their own performance was emphasised by the mentors, because this is considered to be a vital skill for medical doctors. Discussing portfolios with students is 1 way of identifying this group.


성공적인 포트폴리오 활용을 위한 조건

Conditions for successful reflective portfolio use


성공적인 성찰 포트폴리오를위한 네 가지 범주의 조건 : 

  • 륭한 코칭; 

  • 구조 및 지침; 

  • 성찰을 위한 적절한 경험과 자료;

  • 평가.

Four categories of conditions for successful reflective portfolio : good coaching; structure and guidelines; adequate experiences and material for reflection, and summative assessment.



코칭

Coaching


코칭은 성찰에서 중요한 역할을합니다. 대부분의 학생들에게 성찰은 자연스럽게 일어나지 않기 때문에 코치 나 멘토는 학생들이 스스로의 퍼포먼스를 성찰던져야 할 질문을 학생들에게 제시하는 것이 중요합니다. 몇몇 멘토들은 이것이 많은 학생들에게 어렵다는 것을 깨닫지 못했다고 말했습니다.

Coaching plays a crucial role in reflection. As reflection does not come naturally to most students, it is an important task for coaches or mentors to show students what questions to ask themselves when reflecting on their performance. Several mentors said they had not realised this was difficult for many students.


 나는 학생들에게 자기 분석이 그렇게 어려운 것인지 몰랐다. '(멘토 12)

 I didn t know self-analysis was so difficult for students. ’ (Mentor 12)


코칭의 또 다른 중요한 기능은 학생들이 학습 요구를 파악하고 학습 계획을 수립하도록 도와주는 것이 었습니다. 멘토에 따르면, (학생들이 가지고 있던) 학습 계획은 [관련 학습 목표를 향한 심사숙고한 현실적인 단계]라기보다는 그저 [결심한 것들의 목록] 일뿐이었습니다.

Another important function of coaching involved helping students to identify learning needs and design learning plans. According to the mentors, these learning plans were often no more than a list of resolutions, rather than well thought out, realistic steps towards relevant learning goals.


성공적인 동기 부여 포트폴리오 사용에있어 학생 동기는 중요한 요소로 언급되었습니다. 멘토들은 학생들에게 성찰 포트폴리오 사용의 이점을 납득시키기 위해 상당한 시간이 필요할 때가 있다고 지적했습니다.

Student motivation was also mentioned as an important factor in successful reflective portfolio use. The mentors indicated they sometimes had to go to considerable lengths to convince students of the benefits of reflective portfolio use:


구조 및 가이드라인

Structure and guidelines


멘토에 따르면, 포트폴리오는 잘 구성되어야하며, 가이드라인은 학생들에게 기대되는 것과 성찰에 적합한 주제가 무엇인지 학생들에게 알려야합니다. 몇몇 멘토들은 또한 학생들이 성찰하는 법을 익히게 되면 구조적으로 더 개방적인open 포트폴리오 구조가 바람직하다고 지적했습니다. 약한weaker 학생들은 구조와 지침이 필요했지만 지나치게 구체적인 구조는 좋은 성찰 기술을 가진 학생들에게는 장애가 될 수 있습니다.


According to the mentors, a portfolio should be well structured and guidelines should tell students what is expected of them and what are suitable subjects for reflection. Several mentors also pointed out that a more open portfolio structure was preferable once students had learned how to reflect. Although weaker students needed structure and guidelines, too much structure may become an obstacle for students with good reflective skills.


경험과 재료

Experiences and material


효과적인 포트폴리오를 위한 또 다른 조건은 성찰을 위한 주제로서 다양하고 충분한 양의 흥미로운 경험이었다. 멘토들은 학생-멘토 모임이 (시간적으로) 너무 가깝게 계획된 경우 경험 부족이 문제가 있다고보고했습니다. 또한 학생들에게 성찰을 위한 주제subject가 없다면 이것은 다소 쓸모없는 exercisre가 됩니다 :

Another condition for an effective portfolio was sufficient variety and quantity of interesting experiences as subjects for reflection. The mentors reported that lack of experiences was problematic if student)mentor meetings were planned too closely together. If students have no subjects for reflection, it becomes a rather futile exercise:


그들이 스스로를 반복하고 있는 것처럼 보입니다. 즉 의무적이기 때문에 그저 해야 할 일을하고있는 것처럼 보입니다. (멘토 8)

It seems to me that they are actually repeating themselves, i.e. they are doing what they have to do just because it is obligatory.  (Mentor 8)


총괄 평가

Summative assessment


멘토들은 포트폴리오가 학생들과 멘토에 의해 진지하게 받아 들여지는 것을 보장하기 위해 성찰 기술에 대한 총괄 평가에 사용되어야 한다고 지적했다. 성찰 포트폴리오 사용은 학생과 멘토 모두에게 노동 집약적입니다. 평가가 없다면 포트폴리오가 덜 진지하게 받아들여지고, 학생들과 멘토는 필요한 시간과 에너지를 투자하는 것이 가치 있다고 생각하지 않는다는 생각하게 되었다.

The mentors indicated that the portfolio should be used for summative assessment of reflective skills to ensure that it is taken seriously by students and mentors. Reflective portfolio use is labour intensive for both students and mentors. There was agreement among the mentors that, without assessment, portfolios would be taken less seriously and students and mentors would not consider it worthwhile investing the necessary time and energy: 


포트폴리오를 평가할 때 학생들은 포트폴리오를 훨씬 더 심각하게 받아들인다고 생각합니다. (멘토 5)

I really think students take the portfolio much more seriously when the portfolio is assessed.  (Mentor 5)


    • 위에서 언급 한 조건이 충족되지 않으면,

    • 학생들이 성찰할 새롭고 관련있는 경험을 충분히 경험하지 못한 경우,

    • 학생들에게 너무 많은 규칙과 지침이 주어 지거나

    • 포트폴리오 내용이 멘토와의 진지한 토론의 대상이 아닌 경우.

멘토들은 일반적으로 학생들이 포트폴리오에서 정직하고 학생-멘토 회의에서 개방적이었다고 생각했습니다. 그들은 학생들을 멘토를 평가자로 보지 않는다고 생각했다.

if the above mentioned conditions are not met, 

if there are not enough new and relevant experiences for students to reflect on, 

if students are given too many rules and guidelines, or 

if portfolio content is not the subject of serious discussions with mentors. 

Mentors generally thought that students were  honest  in their portfolios and  open  in student-mentor meetings. They did not think students looked upon them as assessors:



고찰

DISCUSSION


인터뷰 참여자들은 포트폴리오 작성 및 토론이 학생들의 성찰 능력 개발을 향상시키는 데 동의했습니다. 단지 소수의 학생들만이 성찰 기술을 개발하지 못합니다.

The interviewees agreed that compiling and discussing portfolios enhanced the development of students’ reflective abilities. Only a small minority fails to develop reflective skills.


지지적 교사 (멘토링) 또는 동료 의견은 성찰 포트폴리오의 성공에 주요 요인으로 널리 인식됩니다. 3,4,8 Pearson과 Heywood는 성찰이 주로 supervisor에 의해 자극되었고, 포트폴리오는 (성찰을 위한 자극에) 아주 약간의 추가적인 도움만을 제공한다고까지 말하기도 했다.

A supportive teacher (mentoring) or peer feedback are widely recognised as key factors in the success of reflective portfolios.3,4,8 Pearson and Heywood even went so far as to say that reflection was primarily stimulated by supervisors and that a portfolio offered little added value as a stimulus for reflection.3


또한 이들은 그들이 연구 한 포트폴리오의 목적이 다소 불분명하다고보고했다. 트레이너는 열의가 없으며 포트폴리오 형식이 너무 rigid했다. 마찬가지로 Wade와 Yarbrough는 성찰 포트폴리오의 효율성에 중요한 요소로 '구조'를 언급했다. 우리의 연구에서 멘토들은 매우 구체적으로 짜여진 구조와 완전히 자유로운 구조 사이에서 조심스러운 균형을 주장했습니다. 

  • 구체적으로 짜여진 구조는, 구조가 부족할 때 좌절감을 유발할 수있는, 특히 학생들이 포트폴리오 작성을 처음 시작할 때 주로 도움이 될 것으로 생각되었습니다 .9 

  • 그러나 성찰 능력이 뛰어난 학생들에게는 개인적인 자질을 보여줄 수있는 여지를 제공해야합니다. Wade와 Yarbrough가 말했듯이, 학생들은 자신의 포트폴리오에 대한 소유권을 가져야합니다 .4

The same authors reported that the purpose of the portfolio they studied was rather unclear, trainers were poorly motivated and the portfolio format was too rigid.3 Similarly, Wade and Yarbrough identified structure as an important factor in the effectiveness of a reflective portfolio.4 In our study, mentors advocated a careful balance between a highly prescribed structure and full freedom. A well defined structure was thought to be mainly helpful at first, when lack of structure might cause frustration, especially when students are new to portfolio compiling.9 However, students with good reflective skills should be offered leeway to display their personal qualities. As Wade and Yarbrough put it, students should have ownership of their portfolios.4


멘토들은 또한 포트폴리오의 효과가 [학생이 성찰에 활용할 수 있는 의미있는 경험을 했는지]에 달려 있다고 지적했습니다. 이것은 조기 학부 의학 교육에 포트폴리오를 성공적으로 도입하는 데 결정적인 요소가 될 수 있습니다. 임상실습 기간에 비해서 의학과 1학년기간에 대부분의 학생들은 관련성이 높거나relevant 뚜렷한 경험이 없습니다. 도전적인 경험에 노출되지 않은 상태에서 성찰하도록 지시받은 학생들은 Snadden과 Thomas가 겪었던 현상인 "포트폴리오 피로portfolio tiered" 상태가 될 수 있습니다.

The mentors also pointed out that the effectiveness of the portfolio depended on students having different and meaningful experiences on which to reflect. This may well be a decisive factor in the successful introduction of a portfolio in early undergraduate medical education. In the first pre-clinical years, most students have fewer relevant and salient experiences than during clinical training. Students who are told to reflect without being exposed to challenging experiences can easily become  portfolio tired ,a phenomenon also encountered by Snadden and Thomas in the context of general practice training.8


우리 연구의 결과는 총괄 평가가 학생들과 멘토가 포트폴리오에 대해 지나치게 casual한 태도를 갖는 것을 막는다는 것을 보여줍니다. 효과적인 포트폴리오는 학생들과 멘토로부터 상당한 노력과 시간을 필요로합니다. 포트폴리오가 점수화되지 않은 경우, 학생과 멘토는 이러한 작업이 노력할만한 가치가 있는지 의문을 가질 수 있습니다. 문헌에서 우리는 이러한 현상에 기인 한 실망스러운 포트폴리오 경험의 사례를 발견했다. Snadden과 Thomas는 GP 연수생 포트폴리오가 일반적으로 평가되지 않는다는 결과를 보고했다 .8 GP들은 다른 총괄평가가 시간을 잡아먹게 된 즉시 포트폴리오 작업을 중단 한 것처럼 보였다. 

The results of our study show that summative assessment prevents students and mentors from adopting too casual an attitude towards the portfolio. Effective portfolios require substantial effort and time from students and mentors. If a portfolio is not graded, students and mentors may question whether the whole exercise is worth the effort. In the literature we found some examples of disappointing portfolio experiences that may be attributable to this phenomenon.8,10 Snadden and Thomas reported a study in which a portfolio of general practice trainees was not assessed summatively.8 Trainees appeared to stop working on their portfolios as soon as other, summative, assessments made demands on their time.


성찰은 학생들이 전문적인 성과를 향상시키는 데 도움이되는 사고 과정으로, '멘토'로 특징지어진다. 보편적인 견해는 성찰은 학생들의 미래의 의료 전문가로서 직접적으로 관련된 행동과 그 결과에 초점을 맞추어야한다는 것이었다. 교사 교육과 같은 다른 분야에서는 교사의 개인적인 정체성과 신념에 중점을 두는 경향이 있는데, 이는 이것들이 전문적 개발에 결정적인 역할을하기 때문입니다 .11

Reflection was characterised by the mentors as thought processes that help students improve their professional performance. The prevailing opinion was that reflection should focus on actions – and their consequences – which are directly related to students’ future work as medical professionals. In other fields, such as teacher education, more emphasis tends to be placed on student teachers’ individual identities and beliefs, because these are regarded as crucial to their professional development.11



5 Driessen EW, van Tartwijk J, Vermunt JD, van der Vleuten CPM. Use of portfolios in early undergraduate medical training. Med Teach 2003;25(1):18–23.


6 Driessen E, van der Vleuten C, Schuwirth L, van Tartwijk J, Vermunt J. The use of qualitative research criteria for portfolio assessment as an alternative to reliability evaluation: a case study. Med Educ 2005;39(2):214–20.







 2005 Dec;39(12):1230-5.

Conditions for successful reflective use of portfolios in undergraduate medical education.

Author information

1
Department of Educational Development and Research, Faculty of Medicine, University of Maastricht, Maastricht, The Netherlands. e.driessen@edu.unimaas.nl

Abstract

AIM:

Portfolios are often used as an instrument with which to stimulate students to reflect on their experiences. Research has shown that working with portfolios does not automatically stimulate reflection. In this study we addressed the question: What are the conditions for successful reflective use of portfolios in undergraduate medical education? METHODOLOGY/RESEARCH DESIGN: We designed a portfolio that was aimed at stimulating reflection in early undergraduate medical education, using experiences described in the medical educationliterature and elsewhere. Conditions for reflective portfolio use were identified through interviews with 13 teachers (mentors), who were experienced in mentoring students in the process of developing their portfolios. The interviews were analysed according to the principles of grounded theory.

RESULTS:

The conditions for successful reflective use of portfolios that emerged from the interviews fell into 4 categories: coaching; portfolio structure and guidelines; relevant experiences and materials, and summative assessment. According to the mentors, working with a portfolio designed to meet these conditions will stimulate students' reflective abilities.

CONCLUSION:

This study shows that portfolios are a potentially valuable method of assessing and developing students' reflective skills in undergraduate medical training, provided certain conditions for effective portfolios are recognised and met. Portfolios have a strong potential for enhancing learning and assessment but they are very vulnerable and may easily lead to disappointment. Before implementing portfolios in education, one should first consider whether the necessary conditions can be fulfilled, including an appropriate portfolio structure, an appropriate assessment procedure, the provision of enough new experiences and materials, and sufficient teacher capacity for adequate coaching and assessment.

PMID:
 
16313582
 
DOI:
 
10.1111/j.1365-2929.2005.02337.x
[Indexed for MEDLINE]


'이게 일반적인가요?' 전임상 학생의 프로페셔널 딜레마에 대한 접근(Med Educ, 2011)

‘Is that normal?’ Pre-clerkship students’ approaches to professional dilemmas

Shiphra Ginsburg1 & Lorelei Lingard



도입

INTRODUCTION


프로페셔널리즘은 어떤 맥락에서의 일련의 행동으로 정의 될 수 있습니다 .1) 따라서 프로페셔널리즘에 대한 연구에서 맥락이 반복적으로 주요 변수로 부각되는 것은 전혀 놀랍지 않다. 연구자들은 프로페셔널 또는 unprofessional 이라고 학생들이 보는 것은 훈련 단계에 따라 다르다는 것을보고했다 .3 학생들은 단계에 따라 프로페셔널리즘의 서로 다른 측면을 강조하며, 윤리적 민감성은 종종 학년이 올라가며 감소한다 .5,6

Professionalism can be defined as a set of behaviours in context.1,2 Not surprisingly then, context repeatedly emerges as a key variable in studies of medical student professionalism. Researchers have reported that what students view as professional or unprofessional varies by stage of training,3 that students at different stages emphasise different aspects of professionalism4 and that ethical sensitivity often declines during medical school.5,6


프로페셔널리즘 개발이 임상실습에서 시작되는 현상이 아니기 때문에 전임상실습과 임상실습 학생 간의 차이점이 중요합니다. 오히려 학생들은 의과대학 초기 경험에서 의사로서 프로페셔널리즘을 형성하기 시작합니다. 이런 현상은 'proto-professionalism'이라고 불립니다.

differences between pre-clerkship and clerkship students are important because it has been recognised that professional development is not a phenomenon that commences in clerkship; rather, students begin to form their professional ethos as medical practitioners from their early medical school experiences, a phenomenon that some have termed ‘proto-professionalism’.7


대부분의 북미 의과대학에서 Pre-clerkship 커리큘럼은 임상 환경에 대한 조기 노출을 포함합니다. 이 때에는 직접적인 환자 치료에 대한 책임이 없지만, 이러한 노출을 통해 임상 및 교육 환경에서 직접 관찰하고 참여합니다. 이러한 경험은 학생들의 긍정적이든 부정적이든 전문직 정체성 개발에 강력한 영향을 줄 수 있습니다. 한 연구에서 의과 대학에 막 입학한 학생들도 전혀 임상 encounter가 없었음에도 휴머니즘과 전문직업적 책무에 대해서 상당한 이해를 갖추고 있었다. 물론 비록 이들은 실제로 이러한 속성들이 어떻게 작용 하는지를 알지는 못했다.

most Pre-clerkship medical curricula in most North American incorporate early exposure to clinical environments. They are not responsible for direct patient care, but through these exposures they observe and participate directlyin the clinical and educational environments. These experiences can have powerful effects on students’ development of professional identities, in both positive and negative ways.3,8,9Matriculating medical students in one study were shown to have a good understanding of humanism and professional responsibilities, even prior to any clinical encounter,although they did not necessarily know how these attributes would function in practice.10 


프로페셔널리즘 연구에서 중요한 부분은 학생들이 전문적으로 어려운 상황에서 의사 결정을 내리는 방식을 탐구하는 것입니다.

An important thread in professionalism research concerns the exploration of how students make decisions in professionally challenging situations.


그러나 각 학생이 직접 또는 개인적으로 마주 쳤던 딜레마에 대해 글을 썼거나 토론했기 때문에 프로페셔널리즘 영역과 반응의 다양성으로 인해, 학생들 간의 직접적인 비교를 할 수 없었다. 또한, 학생들의 행동에 대한 묘사와 그 뒤에 가려진 rationale는 시간의 흐름과 반성 과정 자체에 의해 영향을 받을 수 있습니다. 마지막으로, 학생들이 자신의 훈련에 대해 성찰하고 토론하거나 토론 할 특정 사건을 선택하는 시간이 주어졌기 때문에 좋은 인상을 줄 만한 사건을 선택할 수도 있었다. 이러한 유형의 impression management는 실제로뿐만 아니라 연구 연구에서도 나타납니다.

However, because each student reported in these studies wrote about or discussed a dilemma he or she had personally encountered, the diversity of professionalism domains and responses precluded a direct comparison between students.11–13 Further, students’ descriptions of their actions and the rationales behind them may have been affected by the passage of time and the process of reflection itself; Finally, as the students were given time to reflect upon their training and to select particular incidents to write about or discuss, they may have been more likely to choose those they felt showed them in a good light.11–13 This type of impression management has been shown to occur in research studies, as well as in practice.


이러한 효과를 줄이기 위해 다른 연구에서는 학생들이 현장에서보고 반응해야하는 표준화 된 딜레마를 활용하여 더 많은 원시 반응과 반응을 유발하고 학생들 간의 비교를 허용했습니다.

To mitigate these effects, other studies have utilised standardised dilemmas that students must view and respond to on the spot, provoking more raw reactions and responses and allowing for comparison between students.


전문직 딜레마를 발견하고, 대안을 검토하고, 행동 방법을 결정할 때 임상실습 학생에게 영향을주는 요소들은 다음이 있다.14-16

factors that influenced clerkship students as they identified a professional dilemma, weighed alternatives, and decided how to act.14–16


  • 전문성의 원칙 (인정하든 인정하지 않든)

  • 감정 (감정, 신념, 직감)

  • 행동의 함의에 대한 고려 (환자, 다른 사람들 또는 그들 자신에게) .17

principles of professionalism (which could be considered as avowed or unavowed), issues of affect (feelings, beliefs, gut instincts) and consideration of the implications of their actions (on patients, others or themselves).17


방법

METHODS


This was a constructivist grounded theory19 study in which the current project was informed by our previous conceptual work in the domain. 

  • A constructivist approach acknowledges that researchers’ background assumptions, disciplinary perspectives and programmatic efforts along a line of study shape their research processes and conceptual emphases.19 

  • In this tradition, this study used as ‘sensitising concepts’ recurrent themes from our past research into professionalism as a starting point from which to challenge, elaborate and refine existing theoretical concepts around student professionalism.11,17,18


모집

Methodologically, the study involved structured interviews prompted by five standardised scenarios depicting medical students in professionally challenging situations. Potential participants were all medical students in Years 1 and 2 at the University of Toronto in 2004. 

Following research ethics board approval, recruitment was conducted via e-mail to class listserves. 

  • Participant responses were sent directly to the research assistant, who was unknown to participants, so that the principal investigators did not know who did or did not participate. 

  • This process was engaged to protect participants’ anonymity and to avoid any impression of coercion because the lead researcher (SG) was involved in the administration of the undergraduate curriculum at the time. 

  • Sample size was estimated to be sufficient based on the principle of theoretical saturation20 and our previous experience with this methodology (i.e. with a relatively homogeneous population, we expected to reach saturation with approximately 15 interviews per group). 

  • There were no exclusion criteria and we accepted the first 15 students from each class who volunteered.


비디오

The five videos were created based on previous research (Fig. 1).11,17 Briefly, the scenarios were developed based on focus group discussions in which clinical clerks at three medical schools discussed lapses in professionalism of which they had personal knowledge. 

  • The cases ultimately chosen were meant to be challenging, to feature no obvious right answer and to cover a range of professionalism domains. 

  • Each scenario was made into a 1.5–2.0-minute video which ended at the point at which the student depicted in it must act (i.e. must either say or do something as an immediate response to events in the scenario). 

  • Each participant took part in a private, structured interview conducted by the same research assistant, during which the five videos were played in the same pre-set order. 

  • This order was maintained to minimise any potential effects of confounding that might result from cueing between one scenario and the next. 




Following each video, students were asked 

  • what they would do next, 

  • why they would do it, and 

  • what might happen as a result of that action. 

Interviews were audiotaped and transcribed verbatim.


The transcript for each interview was analysed with attention to both sensitising concepts from previous analytical structures and novel, emergent themes

  • Thus, we coded instances that were reflective of the theoretical framework developed in our previous research (Principles [avowed or unavowed], Affect and Implications).17,18,39 

  • We also undertook an open coding process to capture themes that were either new or not adequately explained by the previous framework.21 

  • Codes were modified in an iterative process using constant comparison by the authors and the research assistant. 

  • We resolved disagreements by returning to problematic instances in the data and coming to consensus. 

  • The sample of 30 interviews offered recurrent and elaborated instances of both existing and new themes, and was therefore considered adequate for saturation. NVivo Version 8.0 (QSR International Pty Ltd, Doncaster, Australia) was used to facilitate coding and analysis. 

  • Although the use of numbers in qualitative research can be considered controversial, it has become more accepted (and at times has even been advocated).22 

  • We included simple counts of the presence of codes to illustrate their relative prevalences.


결과

RESULTS


임상실습과 preclerkship 데이터 세트 사이의 주제와 진화에 대한 간략한 설명과 설명 인용을 표 1과 2에서 볼 수있다.

A brief description of themes and their evolution between the clerkship and preclerkship datasets, along with illustrative quotations, can be seen in Tables 1 and 2.


임상 경험이 부족 함에도 불구하고, 이 전임상 학생들은 각 경우에 관한 토론에 광범위하게 참여하고, 행동에 대한 많은 제안을 제공하며,이 행동의 배후에 많은 이유를 설명했습니다.

despite their lack of clinical experience, these junior students engaged extensively in discussion around each case, offered many suggestions for action and explained many rationales behind this action.




원칙과 불가피성

Principles and imperatives


시나리오를 통해 추론 할 때, 전임상 학생들은 임상 학생들과 동일한 전문성 원칙을 언급했다 (표 1).

When reasoning through the scenarios, pre-clerkship students referenced the same general principles of professionalism as clinical clerks had done (Table 1).


두 가지 반복되는 패턴이 전임상 학생을 임상 학생과 구별합니다 : 

  • '시스템을 안다'는 주제와 

  • 환자의 '권리'에 초점을 두는 것

Two recurrent patterns distinguished preclerkship students from their clerkship counterparts: the prominence of the theme ‘know the system’, and the focus on patients’ ‘rights’.


임상실습생의 자료에서 '시스템을 아는 것'의 중요성은 비교적 사소한 주제의 패턴을 나타냈다. 그러나 전임상 학생들은이 아이디어를 중요하게 보았다. 이에 대한 한 가지 가능한 이유는 전임상 학생들이 병동에 대한 경험이 적기 때문에 '어떻게 일하는가'에 대해 더 염려하기 때문일 것이다

In the clerkship data, the importance of ‘knowing the system’ represented a relatively minor thematic pattern. However, the current students referenced this idea pervasively . One possible reason for this is that junior students have less experience on the wards and so are more anxious and concerned about ‘how things work’. 


두 번째 큰 차이점은 전임상 학생들이 환자와의 동일시를 반영하는 방식으로 몇 가지 원리를 골라내는 것이 었습니다. 이러한 동일시identification이 임상실습 학생에도 있었지만, 전임상 학생에게서 환자의 관점이 보다 강하게 자리잡았. 환자의 '권리'를 표현하는 방법은 '그들의 선택이다'(여러 경우), '그것은 자신(환자)의 몸'(여러 사례), '모든 환자는 치료를 거부할 권리가 있고 요청할 권리가 있다 (모든 경우)'와 같은 문구를 사용하였다.

The second major difference involved the current students’ framing of some principles in a way that reflected their identification with patients. Although this identification was present in the clerkship data, pre-clerkship responses were more strongly positioned from a patient’s perspective. One way in which this manifested was in students’ invocation of patients’ ‘rights’, as illustrated by the use of phrases such as ‘It’s their choice’ (multiple instances), ‘It’s their body’ (multiple instances) and ‘Every patient has the right to refuse treatment, or object or make a request’ (Scenario 5, Student 10, Year 2).



감정

Affect


임상 실습생에 대한 연구에서, 주제별 영향력 범주는 전문적인 딜레마에 직면하는 법을 결정할 때 자신의 내적 감정, 직감 또는 신념에 의존하는 경향을 반영했다 .17) 전임상 학생에서도 Affect가 있었지만, 덜 눈에 띄는 패턴을 보여 주었고, 1 학년과 2 학년의 학생 사이에 눈에 띄는 차이가있었습니다.


In the original study of clinical clerks, the thematic category of Affect reflected student reports of relying on their internal feelings, gut instincts or beliefs when deciding how to act in the face of professional dilemmas (Table 2).17 In the current dataset, students also referenced Affect, but their references demonstrated a less prominent pattern and there was a notable difference between students in Years 1 and 2.



함의

Implications


우리는 현재 학생들에게서 얻은 데이터와 이전의 임상실습 학생의 데이터에서, 어떻게 행동할지를 결정할 때 학생이 '행동의 함의'를 고려하는 것에 대해 차이점을 발견하지 못했습니다 .17


We found no recurrent differences between the data derived from the current students and our previous clerkship data regarding students’ consideration of the implications of their actions when deciding how to act.17


고찰

DISCUSSION


1, 2 학년 학생들의 프로페셔널 딜레마에 대한 접근 방식은 이전의 제한된 임상 경험에도 불구하고 임상실습학생의 접근 방식과 매우 유사했습니다. 임상실습학생처럼, 이 학생들은 행동 방법을 결정할 때 전문성의 원칙과 감정의 문제를 언급하고 그들의 행동의 함의를 고려했습니다. 그러나 전임상학생들은 본능과 감정에 대한 의존도가 낮았으며 시스템 관련 문제에 더 관심이있었습니다.

The approaches of students in Years 1 and 2 to professional dilemmas were very similar to those of clinical clerks, despite the former’s limited clinical experience. Like clerks, these students, in deciding how to act, made reference to principles of professionalism and issues of affect, and considered the implications of their actions. However, pre-clerkship students expressed less reliance on instincts and emotions, and were more concerned with systems-related issues.


전임상 단계에서의 학생들의 초점은 주로 의학 지식과 임상 기술 습득에 있지만, 학생들이나 감독자가 명시적으로 다루지 않을 수도있는 직업적 정체성을 형성합니다. 이 연구의 결과는 학생들의 전문직 정체성 형성의 맥락에서 가장 잘 이해 될 수 있습니다.

Students’ focus in the pre-clerkship stage is mostly on acquiring medical knowledge and clinical skills, but they are also forming professional identities, a process that may not be explicitly acknowledged by students or their supervisors. Our findings may be best understood in the context of students’ professional identity formation.


감정: 이것에 대한 한 가지 가능한 이유는 이 단계의 학생들도 의사 역할을 수행하기를 열망 할 수 있기 때문입니다. Monrouxe에서 제안한 것처럼 "의사처럼 이야기하는 법은 내용을 배우는 것만큼이나 중요합니다."23

One possible reason for this is that students at this stage of training may be eager to take on the doctor role, which, as suggested by Monrouxe, may be ‘as much about learning to talk like a doctor as it is about learning the content’.23


하스 (Haas)와 샤피 어 (Shaffir)는 학생들이 흔히 "역량의 망토"뒤에 감정을 숨긴다고 지적했으며, 다른 연구자들도 의과 대학에서 학생들의 감정 억제에 대해 기술했다 .25,26이 문헌을 고려할 때, 우리의 연구 결과는 전임상 학생들이 [임상 상황에서 자신의 '개인적인'감정이나 본능을 고려하거나 명료하게 표현하는 것]이 부적절하다고 느끼는 감정을 보여주는 것일 수 있다.

Haas and Shaffir noted that students often hide their feelings behind a ‘cloak of competence’, and others have also described the suppression of emotions in medical school.25,26 In view of this literature, our results may reflect a sense on the part of pre-clerkship students that it would be inappropriate to consider or articulate their own ‘personal’ feelings or instincts in the clinical situations presented to them.



이와 관련하여, 전임상 학생들은 지식과 내용에 더 초점을 맞추기 때문에, 병원 환경에서 외부인처럼 느껴질 수 있습니다. 아마도 이 결과로 학생들은 선생님 앞에서 '인상 관리impression management'에 관심을 보이는 것으로 나타났습니다. 이것은 사회적으로 바람직한 반응의 한 요소이며, 심지어 연구 환경에서도 나타나기도 한다따라서 본 연구의 학생들은 면접관이나 연구 조사관에게 전달되는 인상을 관리하기 위하여 affect를 professional decision에 주요 rationale로 표현하지 않았을 수 있다.

Related to this is the notion that pre-clerkship students may be more focused on knowledge and content, which can make them feel like outsiders in the hospital environment.27 Perhaps as a result of this, students have been shown to be concerned with ‘impression management’ in front of their teachers; this is one component of socially desirable responding and has been shown to occur even in research settings.28 Thus, students in our study may have avoided expressions of Affect as a rationale for professional decisions as a way of managing the impressions they were conveying to the interviewer or to the study investigators.


학생들이 자신의 추론에서 '시스템을 아는 것'을 되풀이하며, 훈련의 초기 단계에 있음을 반영합니다. 그들은 시스템을 알지 못하며, 그것이 어떻게 작동하는지 불확실해했다. 이들은 '규칙'및 '계층 구조'와 같은 용어를 사용하면서 그들이 '무엇을 해야 하는지'를 궁금해했다. 더 나아가, 학생들은 빈번하게 '시스템이 존재한다'는 것에 대한 믿음을 보여주었으며, 따라서 일단 그 시스템을 이해하기만 하면 문제를 해결하는데 도움이 될 것이라고 생각했다.

Students’ recurrent reference to ‘knowing the system’in their reasoning also reflects their early stage of training. They frequently spoke about not knowing the system and being uncertain about how things worked, using terms such as ‘rules’ and ‘hierarchy’ and wondering what they were ‘supposed to do’. Further, they frequently exhibited a sense of trust that a system existed, which, once understood, wouldhelp them resolve problems: 


'... 의대생, 심지어는 거주자, 심지어는 주니어 스태프 멤버 일지라도, 당신은 항상 당신이 무엇을 해야할지를 듣게 될 것입니다.'(시나리오 5, 학생 2, 2 학년)

‘…as a medical student, and even as a resident, and even as a junior staff member, you’re always going to have someone telling you what to do.’ (Scenario 5, Student 2, Year 2)


학생들은 시스템을 배우고 이해하기를 열망하는 것처럼 보였지만, 어딘가 잠금을 해제 할 수있는 비밀 코드가 있거나 누군가가 무엇을 해야할지 항상 알려줄 것이라는 나이브한 기대를 드러냈다. 이러한 결과는 또한 초기 의대생이 모호성이나 불확실성에 대한 상대적으로 낮은 수준의 내성을 제공한다는 것을 시사한다 .29-31

Students seemed eager to learn and understand the system, but revealed a naı¨ve hope that there might be some secret code to unlock or that someone would always be around to tell them what to do. These findings also suggest junior medical students’ relatively low levels of tolerance for ambiguity or uncertainty.29–31


모든 연구자는 아니지만 일부 연구자들은 모호성에 대한 내성이 낮으면 퍼포먼스가 저하 될 수 있다고 제안했습니다. 이러한 반응은 Kohblerg의 도덕 발달 단계에 근거한 종단 적 연구에서 설명한 바와 같이, 저학년 의대학생들과 관련된 도덕적 발전의 '통상적 인'단계를 반영 할 수 있습니다. 이 단계는 다음과 같은 특징이 있습니다.

  • 기대에 순응하기

  • 다른 사람들의 승인을 얻기

  • 권위를 존중

  • 질서 유지

그러나 이것은 직업적 정체성의 발달이 반드시 특정 단계를 따르는 것으로 고정되어있음을 의미하지는 않으며, 훈련 과정을 거치며 자연스럽게 펼쳐지는 매끄러운 흐름을 따름을 의미하지도 않는다. 오히려, 이러한 단계는 아마도 유동적이고 상황에 따라 다르며, 학생의 상황의 특성과 이전의 경험에 따라 서로 다른 수준에서 수준에서 작동한다. 그럼에도 불구하고, 지금껏 우리는 전문성에서 중요한 맥락적 요소로서 단계stage를 무시함으로써, 교육을 위한 중요한 기회를 놓쳐왔다.

Some, but not all, researchers have suggested that less tolerance for ambiguity might translate into poorer performance.23,30,33 Such responses may be reflective of the ‘conventional’ stage of moral development associated with junior medical students, as described in a longitudinal study based on Kohblerg’s stages of moral development.34 This stage is characterised by conformation to expectations, gaining the approval of others, respecting authority and maintaining order. however, this is not meant to imply that the development of professional identity necessarily follows a lock-step movement through specific stages, or that it follows a smooth arc that naturally unfolds during training. Rather, these phases are probably more fluid and context-dependent, with students functioning at different levels depending on the specifics of the situation and their own previous experience.37,38 Nonetheless, by neglecting stage as an important contextual factor in professionalism, we miss important opportunities for education.


우리의 발견은 교육자들이 학생들의 의대 초반부터 전문성 개발에 더 많은 관심을 기울일 것을 요구합니다. 트레이닝 초기 단계에서도 의대생들은 전문적인 딜레마에 직면 해 있습니다. 교수개발에 대한 노력은 

  • 전임상 학생과 임상실습 학생 사이의 정체성 차이, 

  • 전문적 딜레마에 대한 그들의 반응, 

  • 딜레마가 발생할 때 적절한 접근법을 가르치는 전략

..에 중점을 두어야한다.

Our findings reinforce calls for educators to pay more attention to students’ professional development, starting at the beginning of medical school. Even at the earliest stages of training, medical students are faced with professional dilemmas that they must negotiate, with little experience to guide them. Efforts at faculty development should focus on 

  • increasing awareness of the difference between pre-clerkship and clerkship students’ emerging identities, 

  • their responses to professionalism dilemmas, and 

  • strategies for teaching appropriate approaches for use when dilemmas do occur.


novice 학생들은 그들이 전문직 정체성을 구축하는 과정에서 의사의 역할을 감당할 필요성을 느끼면서, 학생의 역할을 숨기고 감정을 억제한다. 그러나 일부 연구에 따르면 교수들은 학생들의 감정과 본능을 일반적인 수준보다 더 인정해주고 용서할 수 있음을 보여주었고, 학생의 감정과 본능이 그들의 발전을 돕는데 보다 명확하게 사용될 수 있습니다. 학생들의 교육 수준에 따라 지식 및 임상 기술에 대한 교육 및 평가를 조정하는 것처럼, 우리는 프로페셔널리즘 교육에 대해서도 발달 단계를 명시적으로 인정하고 접근해야합니다.

As novice students construct their professional identities, they seem to feel a need to take on the role of doctor and shed the role of student, which involves the suppressing of emotions; however, some research has suggested that faculty doctors may be more accepting and forgiving of students’ emotions and instincts than is usually acknowledged, and this information could be used more explicitly to aid in students’ development.15,39 Just as we tailor our teaching and evaluation of knowledge and clinical skills to students’ level of training, we should approach their professionalism education by explicitly acknowledging their stage of development.









 2011 Apr;45(4):362-71. doi: 10.1111/j.1365-2923.2010.03903.x.

'Is that normal?' Pre-clerkship students' approaches to professional dilemmas.

Author information

1
Department of Medicine, University of Toronto, Toronto, Ontario, Canada. shiphra.ginsburg@utoronto.ca

Abstract

OBJECTIVES:

Context has been recognised as a key variable in studies of medical student professionalism, yet the effect of students' stage of training has not been well explored, despite growing recognition that medical students begin to form their professional ethos from their earliest medical school experiences. The purpose of this study, which builds on previous research involving clinical clerks, was to explore the decision-making processes of pre-clerkship medical students in the face of standardised professional dilemmas.

METHODS:

Structured interviews were conducted with 30 pre-clerkship (Years 1 and 2) medical students at one institution. During the interviews, students were asked to respond to five videotaped scenarios, each of which depicted a student facing a professional dilemma. Transcripts were analysed using an existing theoretical framework based on a constructivist grounded theory approach.

RESULTS:

Pre-clerkship students' approaches to professional dilemmas were largely similar to those of clerks, despite their limited clinical experience, with several notable exceptions. For example, reliance on instincts and emotions was not as pervasive, but concerns with systems-associated issues were more recurrent. These findings were explored in the context of theory on professional identity formation.

CONCLUSIONS:

As the novice student constructs a professional identity, he or she may feel the need to take on the role of doctor and shed that of student, a process that involves the suppressing of emotions, but this may be misguided. Educators should be aware of these stages of identity formation and tailor their teaching and evaluation of professionalism accordingly.

PMID:
 
21401684
 
DOI:
 
10.1111/j.1365-2923.2010.03903.x
[Indexed for MEDLINE]


메디컬 프로페셔널리즘: 미래 의사의 상충하는 가치(J Gen Intern Med, 2010)

Medical Professionalism: Conflicting Values for Tomorrow's Doctors

Erica Borgstrom, MA, Simon Cohn, PhD, and Stephen Barclay, FRCGP, MD

General Practice and Primary Care Research Unit, University of Cambridge, Cambridge, UK.




도입

INTRODUCTION


전 세계적으로 의료 프로페셔널리즘이 변화하고 있습니다 .1-6. 우선 순위가 변화하면서 의사와 환자 간의 관계가 변화하고 프로페셔널리즘에 대한 토론을 촉진합니다 .7

Internationally, medical professionalism is changing1–6.Shifting priorities are transforming the doctor-patient relationship and stimulating debate about the concept of professionalism7. 


그러나 '의료 프로페셔널리즘'은 모호한 용어로 남아있다 .12-16.

However, ‘medical professionalism’ remains an ambiguous term12–16.


가부장주의, 정서적 분리, 확실성 확립으로 특징 지어진 '오래된'모델은 환자 중심주의와 협동을 강조하는 '새로운'모델로 대체되고있다 (Box 1).

An ‘old’ model, characterised by paternalism, emotional disengagement and establishing certainty, is being replaced by a ‘new’ one emphasising patient-centredness and collaboration (Box 1)17.


비판적인 학습을 통합하는 성찰 연습은 이러한 새로운 특성을 촉진시키는 것으로 주장됩니다 20.

Reflective practice that incorporates critical learning is claimed to foster these new qualities20.


영국 의대생들의 커리큘럼 개혁에도 불구하고, 새로운 요소들과 함께 전통적인 "숨겨진 커리큘럼"이 가르쳐집니다 .26.

Despite recent reforms in the curriculum of UK medical students, a more entrenched traditional ‘hidden curriculum’ is taught alongside the new elements26. 


수년 동안 사회학 연구는 계층 구조와 팀 작업 27-30, (정서적)분리 30,31, 권위의 특징, 불확실성 다루기 32를 포함하여 차세대 의사가 사회화되는 방식에 영향을 미치는 의학 교육의 문화적 차원을 강조했다 .32) 33. 실제로 수십 년 동안 의료 커리큘럼을 개혁하려는 시도는 전반적인 '학습 환경'의 저항에 부딛쳤으며, 이는 단순한 공식 교육과정의 도입보다 학습 환경의 변화가 더 어렵다는 점이 지적되고 있다.

For many years sociological studies have highlighted such cultural dimensions of medical education that influence the ways in which the next generation of doctors are socialised, including issues of hierarchy and working in teams27–29, detachment30,31, features of authority and dealing with uncertainty32,33. Indeed, it has been noted that for decades attempts to reform the medical curriculum have always been held back by the resistant nature of the overall ‘learning environment’, which is always far harder to change than the simple introduction of the formal curriculum34.


<Box 1>



METHODS


This study focuses on how different ideas are received and reproduced by a relatively young (typically early 20s) cohort of soon-to-be qualified doctors during the academic year 2007– 2008.


Analysis focused on the topic of ‘professionalism’, viewing the content of the portfolios as representative of general values imparted to students throughout their education. 

  • All items were coded and analysed in NVivo 8 using an interpretative approach. 

  • Following the social science traditions of two of the authors (EB and SC), the methodology employed a hermeneutic approach, striving to find meaning beyond straightforward discrete references35. 

  • Accordingly, rather than assuming the meaning of isolated sections of text in a reductive manner, they were always analysed in context and in relation to one another. 

  • Given the difficulty many students had in addressing the topic of end of life care, and consequently the very discursive descriptions of their observations, the authors were committed to code more than just those phrases in which a theme was referred to explicitly, and so included concerns that were expressed less directly. 

  • A coding scheme was derived from initial independent item analysis (EB, SC and SB) and adjusted through discussion. 

  • It was initially applicable to explicit statements by drawing on key words and then was augmented to include the more implicit references that potentially alluded more to the hidden dimensions of their teaching (see Box 2). 

  • The inclusion of these required careful interpretative readings of the entire text but provided an essential contribution to our overall analysis. 

  • The first author (EB) then led on-going analysis, with regular meetings to discuss emerging themes.


<Box 2 Examples of explicit and implicit references>



결과

RESULTS


결과적으로 우리는 오래된 프로페셔널리즘의 가치가 새로운 프로페셔널리즘과 함께 존재한다는 것을 발견했을뿐만 아니라 학생들은 병치가 문제가되는 것으로 경험했다. 학생들은 낡은 것과 새로운 것, 숨겨진 것과 공식적 것 사이에 명확한 위계를 구분하거나 적용하지 않았습니다.

We consequently not only found that values of the old professionalism existed alongside new, but that students experienced their juxtaposition as problematic. Students made no distinction or applied any obvious hierarchy between what might be considered old and new values, or hidden versus formal teaching.



긴장의 근원 인 윤리

Ethics as a Source of Tension


도덕적 및 법적 문제를 검토하는 것은 과제의 필수적인 부분 이었지만 대다수의 학생들은 이것을 훌륭한 현대 의사가되는 핵심 요소라고 설명합니다. 그러나 그들은 자주 환자 자율성과 의료의 beneficence 사이의 갈등을 강조했다 (표 1).

Although examining ethical and legal issues was an integral part of their assignment, the majority of students describe them as a key aspect of being a good modern doctor. However, they frequently highlighted conflicts between patient autonomy and medical beneficence (Table 1), reflecting their increased emphasis in health care policy36.


종종 환자 상태가 안 좋아졌을 때 자율성이 제한될 수 있다고 여겨진다.

autonomy is often thought to be jeopardised when patient capacity is in question;


표 2는 이러한 윤리적 인 긴장을 해결하기 위해 사용 된 전략을 나열합니다. 일부 학생들은 정책 또는 법적 원칙을 윤리적 긴장 해소를 위한 핵심 자원으로 사용했습니다. 다른 사람들은 집단적 목소리로 불릴 수있는 것을 사용하여 권위 또는 확실성의 입장을 확립하려고 노력했습니다. 대명사를 바꾸거나, 일인칭을 사용하기보다는 "우리 ..."라고 말하면서, 그들은 직업 전체에 걸쳐 미묘하게 책임을 분산시키는 비-개인화 된 입장을 채택했습니다.

Table 2 lists strategies used to address these ethical tensions. Some students drew on policy or legal principles as a key resource to provide a solution. Others tried to establish a position of authority or certainty using what can be termed a collective voice. By altering pronouns and stating “we…” rather than using the first person, they adopted a de-personalised stance that also subtly distributes responsibility across the profession as a whole.


그럼에도 불구하고, 많은 학생들은 긴장이 해결되지 않은 채 남아 있고 추상적이고 외부적인 기준의 적용이 불충분하다고 느꼈다.

Nevertheless, many students felt tensions remained unresolved and the application of abstract, external criteria insufficient.


<Table 2. Examples of Strategies>

긴장을 풀고 시도하는 주요 전략

  • 문제점을 지연시키기위한 경험 부족에 대한 언급 만들기

  • 집합적 표현, 수동태 사용 - 우리 "/"하나 "

  • 의견 제시의 필요성 피하기

  • 다른 사람들, 특히 동료들과 이야기하기

  • 윤리적 원칙 또는 법률에 대한 언급

  • 환자 자율 / 환자 선택 언급

  • 시간이 지남에 따라 환자와의 의사 소통을 확대

  • 의사 소통을 제한하는 환경 비난

  • 환자와 함께 개방적이고 정직하게 우선 순위 지정

  • 직업과 개인 생활의 분리

  • 환자와의 신체적 거리를 찾거나 다른 의사에게 케이스 제공

  • 문제를 피하기 위해 다른 전문 분야를 선택

  • 전문적 측면과 개인적 측면의 중복을 허용.


Main strategies to try and resolve tension

  • Making reference to lack of experience to defer the issue 

  • Use of a collective/passive voice -we"/"one"

  • Avoiding having to provide an opinion

  • Talking to others, especially colleagues

  • Reference to ethical principles or laws

  • Reference to patient autonomy/ patient choice

  • Extend communication with patient over time

  • Blame the environment for restricting communication

  • Prioritising being open and honest with patient

  • Separation between professional and personal life

  • Seek physical distance with the patient or give case to another doctor

  • Choose a different speciality to avoid problems

  • Allow overlap between the professional and personal aspect


환자와의 상호작용

Interacting with Patients


"어려운 균형잡기이다: 어려운 상황에서 도망치고 싶지는 않지만, 환자가 준비가되지 않았을 때 문제를 강요하여 그들에게 심리적 상처를 입혀서도 안됩니다."(ID 145).

“It is a delicate balancing act: you do not want to shy away from difficult areas, but then equally you must not cause psychological harm by forcing the issue when the patient is not ready to do so” (ID 145).


환자와의 상호 작용은 전체 학습 환경 내에서 학생들에게 전달 된 '과거'과 '새로운'가치 사이의 긴장 영역으로 판명되었습니다. 학생들은 폭 넓은 의사 소통 기술 훈련을 받지만, 그럼에도 불구하고 정보가 초래할 수 있는 잠재적 harm에 대한 우려가 있습니다 (표 1). 그들의 주요 관심사는 솔직하게 말하면서도 환자를 화나게 하지 않는 것이 었습니다. 또한 학생들이 자기자신의 감정적인 반응에 대해서도 어려움을 겪는 것이 분명했습니다. 어떤 사람들은 의사가 이상적으로 "한 편으로는 민감하고, 다른 한 편으로는 개방적이고 정직한 것 사이의 직관적 인 균형"을 취해야한다는 점을 분명하게 설명했다 (ID 120)

Interacting with patients proved to be a further area of tension between the ‘old’ and ‘new’ values communicated to the students within their entire learning environment. Whilst Cambridge medical students receive extensive communication skills training37, they nonetheless worry about the possible harm information can cause (Table 1). Their main concern was trying to be frank but not upsetting patients. It was also evident that students struggled with their own emotional reactions. Although some explicitly described how the doctor should ideally strike “an intuitive balance between being sensitive on the one hand and being open and honest on the other” (ID 120)


나쁜소식 전하기 또는 환자의 치료 계획을 다른 사람과 상의하는 것에 관련된 기밀 유지 및 informed consent 는 학생들의 평가를 더욱 복잡하게 만듭니다. 그런 어려운 경험을 해결하기 위해 한 학생은 "가족이 도착할 때까지 discussion을 연기하겠다는 것을 환자에게 동의를 얻음으로써, 환자의 자율성을 존중하고 가까운 가족이 engage할 수 있게 했습니다"(ID26). 얼마나 많은 정보를 제공하고 어떤 종류의 정보를 제공해야 하는지를 결정하기 위해 외부 원칙에 기반한 전략을 채택했다 (표 2).

Issues of confidentiality and informed consent around instances of breaking bad news or discussing a patient’s care with others further complicated students’ evaluations. In an attempt to resolve such difficult experiences, one student wrote that “By gaining patient consent to postponing a discussion until family arrive, one can both respect autonomy of the patient and allow the close family to feel engaged” (ID26). Some employed strategies that referred to external principles to establish how much, and what kind, of information should be provided (Table 2).


마침내 많은 사람들이 의료 환경이 고통스러운 대화에 도움이되지 않는다고보고했습니다. 개인 공간 또는 사적인 공간에 대한 우려는 "커튼만으로 가려서는 기밀성이나 사생활에 대한 감각을 제공하지 못했습니다"(ID 98).

Finally, many reported that medical environments, were rarely conducive to distressing conversations. Concern was raised over the physical space not being sufficiently private or appropriate—“pulling the curtain…did little to provide a sense of confidentiality or privacy” (ID 98).


다른 사람들은 물리적, 일반적인 업무 환경을 덜 강조하였다. 왜냐하면 이미 그들은 각 환자에 대해 충분한 시간을 갖지 못할 것이라고 예측하기 때문이다. (ID 61) "검사를 제대로 할 시간도 거의 없습니다 , 고상한 이야기는 말할 것도 없습니다. "(ID 132). 물리적 환경과 작업 부하의 압력에 의한 긴장은 불가피한 외부 요인에 의한 것이기 때문에 따라서 해결할 책임도 없었다.

Others concentrated less on the physical and more on the general work environment, predicting that in the future they simply “will not have the time I want for each patient” (ID 61) since already consultations provide “hardly even enough time for a full examination, let alone a decent talk” (ID 132). Attributing the physical environment and pressures of workload to generating tensions placed blame on unavoidable external factors that were therefore not their responsibility to resolve.


주관적 경계 관리

Managing Subjective Boundaries


"의학에서 우리는 어려운 균형에 직면 해 있습니다. 우리에게는 환자와 그 가족에 대한 전문적인 의무가 있습니다. 그러나 우리는 또한 개인이며 우리 자신의 경험을 가지고 있습니다 ... 우리는 우리의 경험을 억제하는 자동화기기가 될 수 없으며, 그렇게 하는 것이 임상에도 도움이 되지도 않습니다. 직업적 측면과 개인적 측면의 결합은 가장 중요한 이 곳으로 휴머니티를 가져옵니다 ... "(ID 129).

“In medicine we face a difficult balance. We have a professional duty to the patient and their family. However, we are also individuals and carry with us our own experiences… We cannot be automatons, suppressing our experiences, nor is it good for clinical practice. Combining professional and personal aspects brings humanity… where it matters most” (ID 129).


강의에서 학습한 새로운 가치관과 마찬가지로, 학생들은 자신의 개인적인 경험이 영향을 미치고 전문적인 실천을위한 귀중한 자원을 제공 할 수 있음을 인정합니다.

In line with the new values promoted in their lectures, students acknowledge that their personal experiences both influence and can provide a valuable resource for their professional practice.


전문가와 개인, 지식과 감정 사이의 분명한 구분을지지하는 과거 세대와는 달리, 새로운 의사는 공감을 표현하고 자신의 감정에 개입engage하는 것이 좋습니다. 주관적 경계를 모호하지 않게끔 유지하는 능력은 결과적으로 희미 해지는데 (표 1), 이는 또 다른 불확실성의 근원이 된다.

Unlike past generations that upheld a more distinct divide between their professional and personal selves38, and a clear distinction between knowledge and emotion, new doctors are now encouraged to show empathy and engage with their feelings. The ability to maintain an unambiguous subjective boundary consequently becomes blurred (Table 1), generating a further source of uncertainty.


그러나 학생 포트폴리오는 그들이 공식 커리큘럼 내에서 혼합 된 메시지를 어떻게 민감하게 받는지 보여줍니다.  "때로는 환자와 그 가족들에 대해서 감정적이어도 괜찮다."라고 말하면서도 그들 앞에서 결코 감정적으로 무너지지 않아야 한다고 말했다.

The student portfolios, however, reveal how they receive mixed messages, even within the formal curriculum, to be sensitive and that it is “ok to sometimes be emotional with patients and their families” (ID 70), but never to breakdown in front of them.


간병을 제공하면서도 자신을 보호하는 것 사이의 균형을 찾으려고 노력한다는 것을 분명히 말하면서, 많은 학생들은 환자와 경계에 관해 '오래된 방식'과 '새로운 방식'을 혼합합니다. 한 사람은 "정서적으로 영향을 받지 않으면서" "공감을 표현하도록" 발전했다고 보고했지만, 다른 학생들은 자신이 환자와 신체적으로 거리를 두면서도, 현대의 프로페셔널 페르소나를 어떻게 채택하는지 설명했습니다.

By overtly stating that they try to find a balance between providing care yet ensuring they protect themselves, many students mix ‘old’ and ‘new’ ways of relating to patients and guarding boundaries. One reported having developed “the art of being empathetic” without being “emotionally affected” (ID 45), while others described how they adopt a modern professional persona by nevertheless physically distancing themselves from patients.


긴장 관리 전략

Strategies for Handling Tensions


"나는 좋은 의사는 의학지식 그 이상이라는 것을 배웠으며, 삶의 마지막 단계에서 슬픈 느낌을 두려워해서는 안된다는 것을 배웠다"(ID 30).

“I learnt that there is far more too [sic] a good doctor than medical knowledge and I should never be afraid of feeling sad for someone in this [end of life] situation” (ID 30).


학생들은 그들이 직면 한 다양한 긴장을 다루기위한 다양한 전략을 채택했다 (표 2). 일부는 명시 적으로 배운 요소를 사용했지만, 이것만으로는 충분하지 않았습니다. 더욱이, 어떤 사람들은 학생으로서의 지위 또는 경험 한 어려움을 설명하기위한 경험 부족을 언급했지만, 다음처럼 대부분의 경우에 straightforward하지 않았다.

students employed a variety of strategies for handling the various tensions they encountered (Table 2). Whilst some drew on explicitly taught elements, these were rarely sufficient in themselves. Moreover, although some referred to their status as a student or lack of experience to explain the difficulties encountered, this tactic was rarely regarded as straightforward, as the following statement captures:


"의대생으로서 나는 "미안합니다. 저는 학생이고, 회진 때 의사에게 물어보세요."라고 말하고 숨을 수도 있다. 하지만, 내가 만약 의사에게 의사에게 직접적으로 질문을 하는 환자라면 나는 곧바로 대답을 원할 것이라고 확신합니다. "(ID 99).

“As a medical student it is very easy to hide behind the ‘I’m sorry, I’m only a student, why don’t you ask the doctor when they come round’ excuse… However, if I imagine myself as a patient asking a doctor a direct question I am almost certain that I would want a straight answer” (ID 99).


학생들은 이 연습이 단순히 교육의 일부분이라는 사실에서 편안함을 얻었지만 일부 학생은 단순한 지식 축적이 결코 완전한 솔루션을 제공하지 못한다는 것을 인식했습니다. 그들은 자신의 정서적 반응과 감수성에 관여하는 것을 포함하여 다른 태도의 범위가 앞으로 어떻게 그러한 문제를 성공적으로 다루는 중심에 있을지 설명합니다. 이를 위해 일부 사람들은 더 많은 경험을 원한다고 명시 적으로 진술했거나 단순히 "한 발 물러나 상황을보다 명확하게 파악하고 상황을 재평가 할"수있는 충분한 시간이 필요하다고 말했습니다 (ID 131). 이 일반적인 통찰력은 주목할만한 가치가 있습니다. 오래된 그리고 새로운, 잠재 그리고 정규 교육과정 사이의 잠재적 갈등 경험은 계속 진행되는 경험을 통해서만 해결 될 수 있습니다.

Whilst students took comfort from the fact that this exercise was merely part of their education, some recognised that a simple accumulation of knowledge was never going to provide entire solutions. They describe how a range of other attitudes, including engaging with their own emotional reactions and sensibilities, would be at the centre of successfully dealing with such issues in the future. To that end, some explicitly stated that they wanted more experience, or simply have sufficient time to “step back and have a clearer view of the situation one is in, and to reassess the situation” (ID 131). This general insight is worth noting; the potential conflict experiences between old and new, and hidden and formal curricula, might only ever be resolved through on-going experience.



고찰

DISCUSSION


모든 학생들은 '오래된'과 '새로운'형태의 의학 프로페셔널리즘의 가치 특성을 조화시키고 균형을 잡아야하는 어려움에 봉착했습니다.

All of the students encountered challenges that required them to try and balance values characteristics of ‘old’ and ‘new’ forms of medical professionalism.


전문성의 '오래된'가치에서 '새로운'가치로의 전환과 병행하여 공식적인 교육 과정과 숨겨진 교육 과정 간의 갈등이 긴장을 야기 할 수도있다. 우리의 연구에서 공식 교육 과정은 '새로운 프로페셔널리즘'을 받아들이도록 명시 적으로 고안되었으며, '오래된 프로페셔널리즘'은 더 비공식적 인 잠재 교육과정으로 전달됩니다. 그러나 자신의 경험을 개인적으로 성찰하려고 노력하며, 모든 교육과정경험에서 종합적으로 draw하기 때문에, 이 두 영역이 구별되지 않습니다. 큰 조직은 집단적 경험과 개념이라는 기관적 기억이 있습니다. 이것은 교육 환경을 형성하는 구조와 정책뿐만 아니라 교수 요소를 통해 은연중에 전달됩니다. 이 기능은 의학 교육에 대한 이해를 복잡하게합니다. 그것은 가치가 조직의 일과 관행에 편입되어있는 정도를 강조하므로, 변화를 이끄는 커리큘럼이나 개인을 재 설계함으로써 단순히 해결할 수는 없습니다.

In parallel with shifts from ‘old’ to ‘new’ values of professionalism, conflicts between the formal and the hidden curricula may also generate tensions44. In our study, the formal curricula is explicitly designed to embrace the ‘new’, leaving the ‘old’ to be communicated through more informal and hidden aspects of teaching. Yet for the students trying to personally reflect on their experiences and summatively draw from their entire educational experience for the exercise, no distinction is made between these two domains. Large organisations have institutional memories45—collective experiences and concepts. These are communicated imperceptively through teaching elements as well as the very structures and policies that shape the educational environment. This feature serves to complicate understandings of medical education; it emphasises the extent to whichvalues are embedded in the routines and practices of the organisation, and cannot therefore be simply addressed through redesigning curricula or individuals championing change.


CONCLUSION


우리의 분석은 프로페셔널리즘의 '오래된' 형태가 단순히 재 설계된 커리큘럼에 의해 전달 된 '새로운'변종으로 대체되는 것이 아니라, 오히려 각각의 가치가 다양한 의학적 맥락에서 출현 할 수 있음을 시사합니다. 결과적으로 전문성은 일련의 고정되거나 추상적인 개념으로 구성되지 않고, 그보다는 의료 행위를 통해 나타납니다.

Our analysis suggests that ‘old’ variants of professionalism are not simply being replaced by ‘new’ ones delivered by a redesigned curriculum, but rather that values from each can emerge in a range of medical contexts. As a result, professionalism does not consist of a set of fixed or abstract concepts, but rather surfaces through medical practice.


개인의 성찰이 이제 '새로운'전문성의 필수 구성 요소로 예고된다면, 교육의 공식적 측면과 잠재적 측면이 종종 모순되며, 변화하는 아이디어와 신념 속에서 폭 넓은 역동적 관계가 필요하다는 점을 인정해야합니다. 이 연구는 [의료에 대한 더 공감적이고 환자 중심의 접근 방식에 대한 확실한 헌신]이 [기관적 실천에 포함 된 숨겨진 커리큘럼의 일부로 남아있는 더 많은 처방 된 가치와 행동]을 반드시 대체하지 않는다는 것을 보여줍니다. '새로운' 핵심 가치와 기술을 훌륭한 의료 실습에 통합하는 과정은 부드럽거나 단순하게 전환되지 않는다. 또한 공식 교육을 통해 의사 소통을 시도하는 간단한 시도는 의학적 조우의 현실을 학생들에게 준비시키기 쉽지 않습니다. 대신 긴장감과 광범위한 이슈에 걸쳐 균형과 해결책을 모색하려는 개인의 욕구 자체가 의학 전문성의 핵심적이고 지속적인 특징 일 수 있습니다.

If individual reflection is now heralded as an essential component of the ‘new’ professionalism, it should be acknowledged that it demands a dynamic engagement with the wide range of often contradictory and shifting ideas and beliefs from both formal and more hidden aspects of their education. This study illustrates that overt commitment to more empathic and patient-centered approaches to medical care do not necessarily replace other more prescribed values and behaviours that remain part of a hidden curriculum embedded in institutional practices. Integration of ‘new’ core values and skills into good medical practice is not a smooth or simple transition. Additionally, it seems any simple attempt to communicate them through formal teaching is unlikely to prepare students for the reality of medical encounters. Instead, the experience of tension and the individual desire to seek balance and resolution across a wide range of issues may themselves be key and lasting features of medical professionalism.










 2010 Dec;25(12):1330-6. doi: 10.1007/s11606-010-1485-8. Epub 2010 Aug 26.

Medical professionalismconflicting values for tomorrow's doctors.

Author information

1
General Practice and Primary Care Research Unit, University of Cambridge, Cambridge, UK. eb442@medschl.cam.ac.uk

Abstract

BACKGROUND:

New values and practices associated with medical professionalism have created an increased interest in the concept. In the United Kingdom, it is a current concern in medical education and in the development of doctor appraisal and revalidation.

OBJECTIVE:

To investigate how final year medical students experience and interpret new values of professionalism as they emerge in relation to confronting dying patients and as they potentially conflict with older values that emerge through hidden dimensions of the curriculum.

METHODS:

Qualitative study using interpretative discourse analysis of anonymized student reflective portfolios. One hundred twenty-three final year undergraduate medical students (64 male and 59 female) from the University of Cambridge School of Clinical Medicine supplied 116 portfolios from general practice and 118 from hospital settings about patients receiving palliative or end of life care.

RESULTS:

Professional values were prevalent in all the portfolios. Students emphasised patient-centered, holistic care, synonymous with a more contemporary idea of professionalism, in conjunction with values associated with the 'old' model of professionalism that had not be directly taught to them. Integrating 'new' professional values was at times problematic. Three main areas of potential conflict were identified: ethical considerations, doctor-patient interaction and subjective boundaries. Students explicitly and implicitly discussed several tensions and described strategies to resolve them.

CONCLUSIONS:

The conflicts outlined arise from the mix of values associated with different models of professionalism. Analysis indicates that 'new' models are not simply replacing existing elements. Whilst this analysis is of accounts from students within one UK medical school, the experience of conflict between different notions of professionalism and the three broad domains in which this conflict arises are relevant in other areas of medicine and in different national contexts.

PMID:
 
20740324
 
PMCID:
 
PMC2988149
 
DOI:
 
10.1007/s11606-010-1485-8


프로페셔널리즘 발달: 교육과정이 중요하다(Acad Med, 2000)

The Development of Professionalism: Curriculum Matters

Delese Wear, PhD, and Brian Castellani, PhD




50 년 동안 프로페셔널리즘 연구는 늘 같았다. 

  • 의학 교육은 심리사회적인 것들을 희생하여 의학의 생물학적 / 기술적 측면에 너무 중점을 둔다

  • 인본주의 자질 (돌봄, 공감, 겸손, 열정, 감수성 등)은 뒤로 밀려났다. 

  • 전문직과 관련된 인본적 가치를 강요하기 위한 일종의 커리큘럼 개입이 이루어져야 한다

For 50 years the professionalism literature has sounded uncannily the same: medical education places too great an emphasis on the biological/technical aspects of medicine at the expense of the psychosocial; humanistic qualities (call it caring, empathy, humility, com-passion, sensitivity, and so on) have taken a back seat; some kind of curriculum intervention should take place to rein-force the humanistic values associated with the profession.


Rene'e Fox는 "의학 교육을 수정하려는 과거의 노력에 대한 리뷰는 문제의 대부분을 드러내고 있습니다. . . 새로운 것은 없다. 간헐적으로 교육 기관이 교육과정을 변경했지만, 불행히도 의사가 교육을받는 방법에 대한 근본적인 재평가는 거의 이루어지지 않았습니다. 따라서 결함이 발견된다는 것조차 더 이상 참신하지 않다. "3

Rene´e Fox reminds us that ‘‘A review of past efforts to modify medical education reveals that most of the problems . . . are not new. Institutions intermittently have changed their curricula, but unfortunately little progress has been made toward a fundamental reappraisal of how physicians are educated. Thus, we do not claim novelty in the discovery of deficiencies.’’3


불행히도 프로페셔널리즘 개발이라는 용어는 정확성을 잃어 버리는 것이므로, 이제 CME, 교수 개발, 경력 계획 또는 CV 구축 세미나 또는 출판 방법을 언급 할 수도 있습니다. 그러나 이 논문에서는 메니컬 프로페셔널리즘 개발을 매우 구체적인 의미로 사용할 것이다. 즉 생각, 감정, 행동적 습관을 포함하는 지속적이고 자기 성찰적인 과정. 우리는 프로페셔널리즘이 특정 종류의 컨텐츠에 대한 학생들의 참여로 유의미하게 촉진 될 것을 제안합니다.

Unfortunately, the term professional development is losing whatever precision it had, so that now it may also refer to CME, faculty development, career planning, or even seminars in CV construction or how to get published. In this paper, however, we use the term very specifically to denote the development of professionalism in medical trainees—an ongoing, self-reflective process involving habits of thinking,feeling, and acting. We propose that professionalism is fostered in significant measure by students’ engagement with certain kinds of con-tent.


프로페셔널리즘 개발과 관련된 내용은 간-학제적이며 개방적이며, 답변만큼이나 많은 질문을 산출합니다. 그것은 다음의 것들을 포함하지만 여기에 국한되지 않습니다 

  • 의학의 철학과 역사 (우리는 누구인가? 우리는 어떻게이 위치에 도착 했는가? 우리는 왜 이런 식으로 연습 하는가?);

  • 의료 지식의 사회학 (의학 분야에서 어떤 분야와 방법이 사용되며 어떤 분야는 무시됩니까?)이 분야와 방법의 강점과 약점은 무엇입니까?

  • 의료 행위를 둘러싼 정치적, 경제적, 사회적 탐구 (누가 우리에게 도움을 줄 것인가? 누가 남겨두고 누가 이것을 결정할 것인가는 누가이 나라에서 의약품을 제정 할 것인가?); 또는

  • 문학적 탐구 (병에 걸렸을 때의 느낌은 어떻습니까? 피곤하고 불에 타는 의사가되는 것이 어떻습니까?).

The content associated with developing professionalism is interdisciplinary and open-ended, and yields as many questions as answers. It includes but is not limited to 

  • the philosophy and history of medicine (Who are we? How did we arrive in this location? Why do we practice this way?); 

  • the sociology of medical knowledge (Which disciplines and methods does medicine draw from, and which ones are ignored? What are the strengths and weaknesses of these disciplines and methods?); 

  • political, economic, and social inquiry surrounding medical practice (Who do we serve? Who is left out? Who decided this was the way medicine would be enacted in this country?); or 

  • literary inquiry (What does it feel like to be sick? What does it feel like to be a tired, burned-out doctor?).


의학 교육자들은 프로페셔널리즘은 (마치 신체적 성숙처럼) 학생들이 교육과정을 거치며 그것과 동일한 속도로 전문직으로서 발전하는 것이라고 가정하하지 않는다. 예를 들어, 어떤 교수도 임상 추론에 대해 그렇게 가정하지 않는다. 사실, 프로페셔널리즘이 발달하기 위해서 학생들은 전통적인 의학 커리큘럼에서 제공하는 것보다 광범위한 지적 경험이 필요합니다.

Medical educators cannot assume that students develop professionally at the same pace as they move through the curriculum, or that professional development just naturally happens, like physical maturity. No faculty member would make such as assumption about clinical reasoning, for example. In fact, for professionalism to flourish, students need a broader intellectual experience than those provided by traditional medical curricula.


의학 교육은 전통적으로 과학적(합리주의자적) 지식에 가장 큰 가치를 두었습니다. 이 지식은 자신에 대한 비판적 사고, 의료전문직, 사회 등과는 거의 관련이 없지만, 사실 이 모든 것이 프로페셔널리즘 개발의 기초가됩니다. 우리는 학생들이 과학적, 임상 적 지식, 방법 및 기술에 필요한 도구뿐만 아니라 생명과학 영역 밖의 특정 지식, 방법, 기술이 제공해줄 수 있는 프로페셔널리즘 개발을 위한 기타 관련 도구를 습득하도록 의학 커리큘럼의 지적 확장을 제안합니다. 그렇게 된다면, 학생들은 환자를 만나는 동안 각 임상상황의 독특한 복잡성을 고려하여, 이와 관련된 여러 가지 도구 중에서 필요한 것을 선택할 수 있습니다.

Medical education has traditionally placed the highest value on scientific (rationalist) knowledge, which may have little to do with the critical thinking about oneself, the medical profession, and society, all of which are basic to professional development. We propose an intellectual widening of the medical curriculum, so that students acquire not only the necessary tools of scientific and clinical knowledge, methods, and skills but also other relevant tools for professional development that are provided by particular knowledge, methods, and skills outside bioscience domains. So endowed, students would be able to choose from multiple tools, each relevant to the unique complexities of clinical encounters with patients.


그러나 학생들이 이러한 여러 가지 도구를 사용하는 데 능숙하고 융통성있게되기 위해서는 커리큘럼이 학제 간 콘텐츠 및 방법에서 arise하는 지식과 기술을 반영해야합니다. 그러한 지식들은 임시적이며, 맥락-특이적이고, 우연적이고, 때로는 모순적이다.

But for students to become this adept and flexible in using these multiple tools, our curriculum must reflect knowledge and skills that arise from interdisciplinary content and methods—knowledge that is often provisional, context-specific, and contingent, and sometimes contradictory.


우리는 이러한 생각과 행동의 습관habits of thought and action이 성장하는 프로페셔널리즘의 발전을 보여준다고 판단하며, 그러한 습관이 체크리스트 형태로 나열 될 수 있는 보편적인 행동이라는 것에 회의적입니다.

we see the development of professionalism as growing from within these habits of thought and action, and we remain skeptical that there are any universal behaviors that can be listed as the checklist manifestations of such habits.


기존 가정: 과학이 곧 의학지식이다.

THE EXISTING ASSUMPTION: MEDICAL KNOWLEDGE =SCIENCE


모든 직업의 중심에는 전문 지식과 그 전문 지식에 대한 가정이 있습니다. 의학에서 학생들은 과학의 내용과 방법이 의학에서 "지식"을 위해 필수적이라고 가르칩니다. 즉, 그들은 임상 추론과 질병 이해의 기초입니다. 이 지식의 깊이와 폭이 의사를 다른 건강 관리 제공자와 차별화시킵니다.

At the heart of all professions are specialized knowledge and assumptions about that knowledge. In medicine, inductees are taught that the content and methods of science are essential to ‘‘knowing’’ in medicine—that is, they are the foundation of clinical reasoning and understanding of disease. The very depth and breadth of this knowledge sets doctors apart from other health care providers.


의학 교육에서 객관성, 보편성, 복제 가능성을 특징으로하는 합리적인 탐구를 통해 '실제 지식'- 과학적 지식-을 얻을 수 있습니다. 비록 개성과 주관이 질병의 경험과 많은 관련이 있지만, 학생들이 나중에 배우게 될 것이기 때문에 이러한 자질은 강의와 실험실에서의 교육을 통해 과학 지식을 형성하는 데 아무런 자리가 없습니다. 인간의 신체를 형태와 기능면에서 기계적으로 연구하고, 개인의 특이성보다는 인간의 보편을 배우고, 서사보다는 패러다임으로 생각해보십시오.이 모든 것이 성공적인 의학 학생의 일상적인 사고 습관이됩니다.

In medical education, ‘‘real knowledge’’ —scientific—is gained through rational inquiry that is characterized by objectivity, universality, and replicability. Even though individuality and subjectivity have much to do with the experience of illness, as students will later learn, these qualities have no place in the making of scientific knowledge as taught in these lectures and labs. Studying the human body mechanistically in terms of form and function, learning human universals rather than human idiosyncracies, thinking in paradigms rather than narratives: all these become a successful medical student’s routine habits of thinking.


서구의 '의사처럼 생각하는 것'이라는 개념의 기원은 무엇입니까? 그 중 많은 부분이 지난 200-300 년 동안 발전해 온 현대 세계의 지적 이상과 관련이 있습니다. 헬스케어 직업은 의학보다 합리적인 (즉, 합리적인, 객관적인, 거리가 먼) 탐구에 대한 충성을 더 많이 나타 냈습니다. 우리는 임상 연구와 임상 추론에서 형성된 이 사고 방식이 수백만 명의 사람들에게 더 나은 건강을 제공했다는 것을 쉽게 알 수 있다.

What are the origins of contemporary Western notions of ‘‘thinking like a doctor’’? Much of it has to do with the intellectual ideals of the modern world as they have developed over the past 200–300 years. health care professions has exhibited more allegiance to the rational (i.e. reasoned, objective, distanced) inquiry associated with science than medicine. We are quick to point out that this mode of thinking, enacted in clinical research and clinical reasoning, has afforded millions of people better health


그러나 우아하고 엄청나게 유용한 이 "합리적 사고" 모드가 의사들에게 자비 로움, 의사 소통 능력, 사회적 책임감을 교육시키는 것과 무슨 관련이 있습니까?

But what does this admittedly elegant and enormously useful mode of rationalist thinking have to do with educating doctors to be compassionate, communicative, and socially responsible?


과학적 사고를 포함한 합리주의 사고는 강력한 도구입니다. 그러나 실제로는 더 큰 프로페셔널 개발이라는 퍼즐에서 단 하나의 조각일 뿐이다. 성공적인 의사의 큰 도구 상자에서 하나의 도구입니다. 생의학 담론의 범위 내에서 연민, 의사 소통 기술 및 사회적 책임을 개발하도록 학생들에게 요구하는 것은, 현대 의학 교육의 성공 및 역량에 대한 평가 기준을 감안할 때, 부당하지는 않지만 비현실적입니다.

Rationalist thinking, which includes scientific thinking, is a powerful tool. Yet it actually represents only one piece in the larger professional development puzzle, one tool in a larger toolbox of successful physicianhood. To ask students to develop compassion, communication skills, and social responsibility within the confines of a biomedical discourse is unrealistic, if not unfair, given the evaluative criteria of success and competency in contemporary medical education.


예를 들어, 객관성, 복제 가능성 및 일반화 가능성이 모든 의학 현상을 연구하기위한 필수 기준이 될 때 프로페널리즘 개발은 방해받을 수 있습니다. 게다가 학생들은 초기에 과학에 몰두하며 너무나 많은 시간을 소비하므로 "그들이 배우는 것", 즉 생물 과학적 지식과, "그 지식이 어떻게 만들어지는지/만들어져야 하는지"를 동등하게 여기기 시작합니다. 이러한 가정은 어떤 지식이 가장 가치 있고 가장 기본적인 것 ( "지식"으로 간주되는 것)인지에 대한 학생들의 후속 신념에 영향을 미친다.

For example, developing professionalism can be obstructed when objectivity, replicability, and generalizability become essential criteria for studying all medical phenomena. Moreover, students’ initial immersion in science is so consuming and extended that they begin to think that what they’re learning—bioscientific knowledge and how it is made—is the same as medical knowledge and how it is/should be made. These assumptions influence students’ subsequent beliefs about what knowledge is of the most worth and—most basic —what counts as ‘‘knowledge.’’


학생들은 과학 및 과학에서 지식을 만드는 방법이 과학과 신체의 모든 비밀(즉 어떻게 작용하는지, 어떻게 유지되는지, 어떻게 분해되는지, 어떻게 수리되는지 (기계적 은유는 고의적인 것))을 풀어주는 열쇠라고 여길 뿐만 아니라 환자 및 다른 건강 관리 제공자와의 관계에도 핵심이라고 여긴다. 이러한 신념은 해로운 것입니다.

Students, then, look to science and its methods of making knowledge as key to unlocking all the secrets of the body—how it works, how it is maintained, how it breaks down, and how it is fixed (the mechanical metaphor is deliberate)—but also the key to their relationships with patients and other health care providers. These beliefs are pernicious


우리가 강조하는 이 관찰은 과학과 그 방법에 대한 비판이 아닙니다. 꽤 반대. 워커 퍼시는 한계를 인식했다 :

This observation, we state emphatically, is not a critique of science and its methods. Quite the contrary.Walker Percy recognized its limits:


나는 결코 과학에 등을 돌리지 않았다. 그렇게하는 것은 실수 일 것입니다. 아기에게 목욕탕을 던지십시오. 나는 과학적 방법의 적용을 통해 해답을 찾고 싶었다. 나는 그 방법이 다소 인상적이고 아름다운 것으로 나타났습니다 : 체계적인 탐구의 논리와 정확성; 차갑게 추론하는 마음의 인상적인 능력. 그러나 점차 과학자, 의사, 병리학자인 저는 사람에 대해 많이 알고 있었지만, 사람이 무엇인지는 거의 알지 못한다는 사실을 깨닫기 시작했습니다.

I never turned my back on science. It would be a mistake to do so—throw out the baby with the bath water. I had wanted to find answers through an application of the scientific method. I had found that method a rather impressive and beautiful thing: the logic and precision of systematic inquiry; the mind’s impressive ability to be clear-headed, to reason. But I gradually began to realize that as a scientist—a doctor, a pathologist—I knew very much about man, but had little idea of what man is.6


그러나 의대생은 생물 과학적 / 경험적 방법 외의 방법을 통해 얻어진 지식 체계에 engage in하거나 문제를 해결해볼 수 있는 기회가 거의 없습니다. 즉, 과학의 내용과 방법은 너무 표준화되어있어서 학생들은 편안하지만 명백하게 사실이 아닌 생각의 패턴으로 쉽게 빠져들고, 과학에서 파생되지 않은 모든 것은 부드럽고soft 일화적이며anecdotal 신화적이고myth, 추측, 추론에 가깝고, 잠재적으로 유용하지만 지식이 아니라고 생각한다. 그러나 이러한 철학, 사회학, 문학, 신학, 미학은 종종 연민, 의사 소통 및 사회적 책임이 다루어지고, 조명되고, 연습되고, 배워지는 내용 영역입니다.

Yet, medical students have little opportunity to engage in and puzzle over any body of knowledge that is not gained through bioscientific/empirical methods. That is, the content and methods of science are so normalized that students easily fall into a comfortable but patently untrue pattern of thought wherein everything not derived from that method is soft, anecdotal, closer to myth, conjecture, or speculation, perhaps potentially useful but not ‘‘knowledge.’’ Yet these— philosophy, sociology, literature, spirituality, and aesthetics —are often the very content areas where compassion, communication, and social responsibility are addressed, illuminated, practiced, and learned.


더욱이 - 그리고 역설적으로 - 학생들은 과학 언어를 관찰과 이론을 전달하는 데 문제가 없는 매개체로 보지만, 환자의 언어가 명백한 주관성 때문에 부적절하거나 부정확하다는 것을 알게됩니다. 의학교육자들이 임상에서의 의사와 환자 관계에 많은 관심을 갖지만, 그 관계를 이해하는 데 사용된 이론과 방법은 (의대생이 보기에) 과학적 지식의 영역에 있지 않습니다. 그러므로 당연히 의사와 환자의 관계는 임상 지식이 담긴 상자의 포장지와 같은 것, 메인디시 옆의 곁들임과 같은 것, 의상을 완성시키는 액세서리와 같은 것, 의료 지식의 중요한 핵심이 아닌 것이 된다. 그들의 세계관에 내재되어있는 것은 물론 의학 교육 에서뿐만 아니라 문화 전반에서 당연하게 받아 들여지는 수 백년 된 이원론이다 (객관-주관, 이성-감정, 신체-정신, 임상전문성-침상옆의 매너와 같은 either-or 쌍의 모든 것들). Fox는 말한다.

Moreover—and paradoxically—students come to see scientific language as an unproblematic medium for transmitting observations and theories, but see patients’ language as inadequate or inaccurate because of its obvious subjectivity. Indeed, although medical educators give the doctor–patient relationship much attention (and therefore validation) during the clinical years, the theories and methods used to understand that relationship are not in the domain of ‘‘scientific’’ knowledge as medical students are led to view knowledge. Naturally, therefore, the doctor–patient relationship is the wrapping on the box containing clinical knowledge, the garnish beside the real food, the accessory that makes the outfit complete, not a vital core of medical knowledge. Embedded in their world view are, of course, centuries-old dualisms— objectivity/subjectivity, reason/emotion, body/mind, clinical expertise/bedside manner, and a whole host of either/or pairs —that are taken for granted not only in medical training but in the culture at large. Moreover, Fox maintains,


타 문화적 관점에서 볼 때, 우리 의학적 사고의 이원론과 그것을 타파하기위한 어려움은 오히려 서양에서 이상한 것이라기보다는 서구적인 것을 특징짓는 것이다. 우리 자신보다 전체론적인 세계관을 갖는 서구사회와 그들의 의학 시스템에서는 보다 전체적인 관점에서 세상을 바라보며, 학생들에게 "사람은 신체와 마음을 가지고 있으며, 마음과 뇌는 역동적으로 상호연결되어 있으므로, 이상적으로는 질병의 예방, 진단 및 치료가 '생물 심리 사회적'틀에서 이루어져야한다. "라는 점을 굳이 별도로 "떠올리게"하기 위한 특수분야, 회의, 강의, 코스, 수사학이 필요없다. 우리는 이 연관성을 위해서 의학은 "과학이자 예술이다"라는 우스꽝스러운 경구적 문구를 사용하고 있다.

seen in cross-cultural perspective, the dualism of our medical thinking and our difficulties in breaking through it are distinctively and rather oddly Western. In non-Western societies and medical systems whose world views are more holistic than our own, there is no need for special fields, meetings, lectures, courses, and rhetoric to ‘‘remind’’ and teach medical students and practitioners that human beings have bodies and minds, and minds and brains that are dynamically interrelated; that ideally, the prevention, diagnosis, and treatment of illness should be approached in a ‘‘biopsychosocial’’ framework; that medicine is ‘‘both a science and an art’’—to use some of the clumsy, aphoristic phrases that we have coined in this connection.3


의과대학생에게 경험적, 객관적, 정량적 탐구에만 유일하고 진정한 의학 지식이 있음을 명시적으로나 묵시적으로 가르 치는 과정에서 이들은 자연스럽게 다른 방법으로 얻은 지식을 불신합니다. 성, 인종, 교육, 사회 계급, 민족적 정체성, 정치적 기후와 같은 요소는 종종 '적절한'의학 지식의 외부적인 것 또는 보조적인 것으로서 간주되며, '적절한' 의학 지식을 만드는 과정과 그 결과는 이 요인들과 독립적으로 존재한다고 믿는다. 이것이 의대생들이 전임상에서 임상 교육으로 나아가면서, 과학자들이 '객관성'이라고 부르는 프로세스를 믿는 이유입니다. 이들이 말하는 객관성이란 "절대로 사고 과정에 관여하지 못하도록, 다른 주관적인 요소들을 모두 배제시켜놓을 수 있는 인간 마음의 장소"를 의미하며, 이것이 적절하며 심지어 달성가능하다고 믿는다.

When medical students are taught, explicitly and implicitly, that the only true medical knowledge comes from empirical, objective, quantitative inquiry, they naturally distrust all knowledge that is gained from other methods. Factors such as gender, race, education, social class, ethnic identity, the political climate are often viewed as outside or secondary to ‘‘proper’’ medical knowledge, the assumption being that both the product and the process of making ‘‘proper’’ medical knowledge exist independently of these factors. This is why medical students move from their preclinical to their clinical education believing that the process scientists strive for called ‘‘objectivity’’ —a place in the human mind where all these other subjective factors can be held at bay, never leaking into the thought process—is also appropriate, even achievable for clinicians.


우리는 학생들에게 이 메시지를 성공적으로 전달합니다. 임상적 객관성이 달성 가능하다는 그들의 신념은 환자가 누구인지에 상관없이 모든 환자를 동등하게 대우한다는 것이 (그저 그렇게 하기 위해 노력한다가 아니라) 실제로 의사들이 그렇게 하고 있다고 믿게 만든다.

We are successful in getting this message to students. Their belief that clinical objectivity is attainable is so sincere that they truly believe that they treat all their patients equally regardless of who those patients are—not that they strive to but that they actually do.


교육과정에서 지식으로 현현하는 생의학

MANIFESTATIONS OF BIOSCIENCE =KNOWLEDGE IN THE CURRICULUM


숨겨진 커리큘럼을 통해 전달되는 많은 메시지는 [의학 윤리에 관한 공식 강좌 나 윤리적 행위에 대한 바람직한 기준으로서] 학교에서 공식적으로 교육하는 내용과 직접적으로 충돌 할 수 있습니다 .- HAFFERTY and FRANKS8

Many of the messages transmitted via the hidden curriculum may be in direct conflict with what is being touted in formal courses on medical ethics or with what are formally heralded by the institution as desirable standards of ethical conduct.— HAFFERTY and FRANKS8


어떻게 의학 커리큘럼은 과학 지식이 의학의 계층 구조의 최상위에 있으며, 학생들이 도달가능한 위치이자 과정으로서의 객관성, 주관성이란 의사가 되는 과정에서 중요하지만 객관성에 부차적이라는 점을 강화하는가? 왜 의과대학 커리큘럼은 (과학 외) 다른 도구가 필요하다는 것이 점차 분명해졌음에도, 고작 소수의 도구만을 넣었습니까? 즉, 생물학적 개인은 실험실이나 외부와 격리되어 존재하지 않고, 주관적, 맥락-특이적, 문화적인 사회적 매트릭스가 속에 존재합니다.

How does the medical curriculum continue to reinforce the belief that scientific knowledge is at the top of the hierarchy in medicine, that objectivity as a location and process is attainable for students, that the ‘‘subjective’’ part of doctoring is important but is secondary to its objective essence? Why does the medical curriculum put so few tools in the caregiving toolbox, when it is increasingly clear that other tools are necessary? That is, the biological individual exists not in a lab or bubble but in a social matrix infused with subjective, context-specific, culturally bound dimensions.


이것은 의료 커리큘럼이 의학의 주관적인 차원의 중요성에 응답하지 못했다는 것을 의미하지는 않습니다. 대부분의 의학 커리큘럼에는 행동 과학 및 사회 과학, 생명 윤리 및 의학 인문학, 문제 기반 학습 및 문화적 역량 중 일부 또는 전부가 포함됩니다. 그러나 몇 가지 예외를 제외하고, 이러한 커리큘럼은 철학적으로 [객관성, 예측 및 통제를 가치있게 여기는 지식에 대한 논리 - 합리적 접근]에 붙어 있습니다.

This is not to suggest that the medical curriculum has failed to respond to the importance of the subjective dimensions of medicine. Most medical curricula include all or some of the following: the behavioral and social sciences, bioethics and medical humanities, problem-based learning, and cultural competency. Yet with few exceptions, these curricula often remain philosophically attached to logico-rational approaches to knowledge that value objectivity, prediction, and control.


하 퍼티 (Hafferty)와 프랭크 (Franks)가 지적했듯이, 학생들이 특정 감정, 내성 또는 개인적 성찰을 저해하는 의학 문화에 둘러싸이고, 단순 암기를 강조하는 기본적인 과학 커리큘럼에 푹 빠져있는 경우, 의대 학생들은 교육과정 초반부터 그러한 성찰적 근시를 상당히 받아 들이게 된다.

As Hafferty and Franks note, if students are ‘‘surrounded by a medical culture that discourages certain feelings, introspection, or personal reflection, and buffeted by a basic science curriculum that emphasizes rote memorization, medical students may come to embrace such a reflexive myopia quite early in the training process.’’8


게다가 기존의 의학 커리큘럼은 과학과 과학적 방법으로만 배타적으로 정렬되어있어 진정한 'knower'는 환자가 아니라 의사가됩니다. 환자의 지식은 종종 일화 (anecdote)로서 절하되며, 흥미롭고 기억에 남을만한 좋은 의학적 이야기지만, 지식은 아니라고 여겨진다.

Moreover, the existing medical curriculum, aligned as it is almost exclusively with science and its methods, results in doctors, not patients, who are the real ‘‘knowers.’’ Patients’ knowledge is often doomed to the same category as the dreaded ‘‘anecdote’’: interesting, memorable, the stuff of good medical stories, but not knowledge.


그러나 대부분의 의과대학생들은 여러 종류의 지식 사이를 오갈 도구가 없기 때문에, 환자의 서사가 고통의 근원일지라도, 그 자체로는 의료 기록에 대해 충분히 유효한 지식을 산출하는 것으로 보지 않습니다. 이 태도는 본질적으로 오만하고 나쁜 의사화doctoring과정이다.

But lacking the tools to move back and forth between and among different kinds of knowledge, most medical students do not view patients’ narratives as yielding knowledge valid enough for the medical record, even though it may be the source of a patient’s suffering. This attitude is inherently dismissive, as well as bad doctoring.


환자의 이야기는 내용 (주관적, 개인적)과 방법 (일반화 할 수 없음) 모두에서 의사 지식 템플릿에 맞지 않는 것으로 여겨지기 때문이다.

patients’ stories do not fit within doctors’ knowledge template in both content (they are subjective, personal) and method (they are not generalizable).


또한 대부분의 의학 커리큘럼은 헬스케어 시스템의 사회적, 경제적, 정치적 환경에 대한 적절한 이해를 촉진시키지 않으며, 그러한 요인들이 어떻게 수련과정에서 의료행위를 수행 할 것인지에 직접적으로 영향을 미치게 되는지를 가르치지 않는다.

In addition, most medical curricula do not promote adequate understanding of the social, economic, and often messy political climates of health care systems and how such factors will directly influence the ways trainees will perform their life’s work.


그러나 이러한 것을 가르치는 커리큘럼이 부족하고 생의학을 압도적으로 강조함에도 있음에도 불구하고, 교수들은 학생들이 비판적 이해도 부족하지 않게 하는 프로페셔널한 가치관을 보여줄 것으로 기대합니다. 이로서 학생들은 자신의 경력을 시작하기 전에 이미 냉소주의와 resignation의 문을 엽니다.

Yet despite the lack of curricula and the overwhelming emphasis on bioscience, faculty expect students to exhibit certain professional values of which they do not have the slightest critical understanding. This opens the door for cynicism and resignation among students before they even begin their careers.


마지막으로, 의학 교육은 "앎의 여러 방법들", 전문 영역, 다양한 분야 사이에서 경계와 구분짓기의 사고를 장려합니다. 미분화된 의사가 갖추어야 할 기술, 태도, 가치가 개발되고 장려되는 잘 만들어진 4 년 경력의 경험이 아니라, 대부분의 의학 교육과정은 지식의 차별화, 계층화, 영역간의 명확한 구분, 임상전문과 사이의 통제된 구분 등에 초점을 맞춘다.

Finally, medical education encourages thinking in borders and partitions between ways of knowing, areas of specialization, and divisions of labor in medicine. Rather than a well-crafted, four-year experience where the skills, attitudes, and values relevant to undifferentiated physicians are developed and encouraged, most medical curricula are focused on differentiation and hierarchies of knowledge, on clearly defined spheres of practice, and on controlled distinctions among medical specialties.


"생명과학 = 지식"이라는 발현의 누적 효과는 현대 의학 교육의 핵심에 너무 얽혀있어, 그 과정 속에 있는 사람이 아니라면 뒤로 물러나서 그 결과를 관찰하기가 어렵습니다. 또한 그러한 사람이 아니라면 환자에게 온당하고 의사가 갖추어야 할 넓은 분야의 지식을 위해서는 의학교육 및 의료 행위가 어떠해야하는지 생각해보기 어렵다.

The cumulative effect of these manifestations of bioscience = knowledge are so woven into the heart of modern medical education that it is hard for anyone enmeshed in the process to step back and look at the consequences and then think about what medical education and medical practice would look like if opened up to the properly broad areas of knowing that doctors need and patients deserve.


교육과정 전체에 대한 유토피아적 제안

THE FULL-SPECTRUM CURRICULUM: A UTOPIAN PROPOSAL



완전한 스펙트럼 커리큘럼에서 의사는 필요한 지식의 종류를 배울 것입니다. 단지 생체 과학뿐만 아니라, 종종 뒤죽박죽으로 추가 된 다른 정보가 포함되어 있습니다.

In a full-spectrum curriculum, doctors would learn the kinds of knowledge they need, not just bioscience with a smattering of other, often ill-incorporated information added as afterthought.


입학

Admission


MCAT는 여러 영역의 지식을 가진 신청자의 숙련도를 반영하여 제거되거나 크게 변경됩니다. 학부 평점 (GPA)은 여전히 ​​중요한 요소이지만 여러가지 가중척도 중 하나일 뿐이다.

MCATs would be either eliminated or dramatically changed to reflect an applicant’s adeptness with knowledge across multiple domains. Undergraduate GPAs would remain a major factor but would be one among other weighted measures.


루이스 토마스 (Luis Thomas)의 훌륭한 글쓰기 에세이 인 'Premedical Curriculum을 고치는 법'을 상기시키면서, "의사의 작업에 필요한 지성의 범위를 보장하기 위해서는 다른 비과학 분야의 학생들의 성공에 더 많은 관심을 기울여야한다. "10

We are reminded of Lewis Thomas’s wonderfully wry essay, ‘‘How to Fix the Premedical Curriculum,’’ where he suggest that ‘‘more attention should be paid to the success of students in other, nonscience disciplines before they are admitted, in order to assure the scope of intellect needed for a physician’s work.’’10


대학 교수의 추천은 너무 많지는 않겠지만 직장이나 자원 봉사 감독자의 서한이있을 것입니다. 입학위원회에는 교수뿐만 아니라 다른 의료 전문가, 동료 학생 및 우리가 제공하는 의사의 지분을 가진 커뮤니티 회원도 포함되어야 한다.

Recommendations from college professors would not count too much , but letters from work or volunteer supervisors would.Admission committees would include not only faculty but other health care professionals, fellow students, and community members who have a stake in the kind of doctors we give back to our communities.



교육과정

The Medical Curriculum



사회적 인식

A sociologic consciousness.


1 학년 동안 학생들은 

(1) 지식에 대한 비판적 접근,

(2) "알기"가 의미하는 바에 대한 확대 개념

(3) 순수한 객관성이나 합리성에 대한 어떤 주장에 대해서 '회의주의'에 의해 조정 된 과학의 개념적 우아함과 진리에 대한 인식.

During the first year students would be required to take a philosophy of science or sociology of knowledge course that promotes 

(1) a critical approach to knowledge, 

(2) an enlarged conception of what it means to ‘‘know,’’ and 

(3) an appreciation of the conceptual elegance and truths of science tempered by skepticism for any claims to pure objectivity or rationality.


사회적 구조, 당연하게 여겨지는 지식과 방법, 제도적 실천을 "꿰뚫어 볼 수 있는"능력

the ability to ‘‘see through’’ social structures, taken-for-granted knowledge and methods, and institutional practices


버거 (Berger)에 따르면 사회학적 인식은 엄격한 지적 능력을 요구합니다. 첫 해 의학 커리큘럼에서 학생들은 점점 더 그들과 별개의 부분으로apart 멀어지고 있는 사회 시스템을 밝히거나 드러내는 기술을 배워야 한다.

A sociologic consciousness, according to Berger, requires rigorous intellectual skills. In the first-year medical curriculum, students would learn skills to unmask or divulge the social systems of which they are increasingly becoming apart


학생들이 일반적으로 학생들의 비판적인 조사 밖에 남아있는 의학적 관례와 전통을 목표로 질문 할 것을 배우게 될 질문에는 다음을 포함 할 수 있습니다. 

    • 의사 교육에 2 년간의 기본 과학이 필요한 이유는 무엇입니까? 누가 결정 했습니까?

    • 그것이 의료 행위의 과학적 기초를 배우는 가장 좋은 방법임을 우리는 어떻게 알 수 있습니까?

    • 이 가정을 테스트하는 방법은 무엇입니까? 아니면 누가 의학 분야에서 어떤 분야를 표시 했습니까?

    • 누가 의사 (간호사 / 조산사 / 의사 보조원 등)가 이것을 결정했으나 결정을 내리지 않았습니까?

    • 이 협약의 혜택을받는 사람은 누구입니까?

    • 이 행동 패턴이 바뀌면 어떻게 될까요?

    • 어떻게 될지 어떻게 알 수 있습니까? 또는 교육 수준과 권력의 관계는 무엇입니까? 교육 수준과 돈 사이에?

    • 이러한 관계의 의학적 함의는 무엇입니까?

Questions they would learn to ask, aimed at medical practices and traditions that usually remain outside students’ critical scrutiny, might include:

    • Why are two years of basic science deemed necessary in the education of doctors? Who decided? 

    • How do we know it is the best way to learn the scientific basis of medical practice? 

    • What are the ways to test this assumption? Or, Who marked out spheres of practice in medicine? 

    • Who decided that doctors (nurses/ midwives/physician assistants/etc.) do this but not that? 

    • Who benefits from this arrangement? 

    • What would happen if these practice patterns changed? 

    • How do we know this would happen? Or, What is the relationship between level of education and power? Between level of education and money? 

    • What are the medical implications of these relationships?


사회학적 인식의 두 번째 기술은 의과 대학생들이 사회의 "respectable"과 "unrespectable" 영역에 대해 스스로를 자세를 취하는 법을 배웁니다.

A second skill of sociologic consciousness is how medical students learn to position themselves with regard to ‘‘respectable’’ and ‘‘unrespectable’’ sectors of society.



의대생에게 이러한 친화력을 키우는 데는 돌봄을 주는 것은 물론 받는 것 양쪽에서 가장 힘이없는 사람에게 배우는 것이 포함됩니다.

    • 돌보미 또는 가정 건강 관리 제공자의 업무에 대해 대부분의 의대생은 무엇을 알고 있습니까?

    • 이 간병인들의 지식을 통해 무엇을 배울 수 있습니까?

    • 대부분의 의대생은 가난한 사람들의 건강 관리에 대해 그들의 관점에서 무엇을 배울 수 있습니까?

    • 의학계 학생들은 보험이없는 'house' 환자들에게 종종 병원을 가르치는 데 도움이되는 사회적 상태에 대해 얼마나 배우는가? 그들의 지식으로 무엇을 배울 수 있습니까? (빈곤, 부적절한 주택, 만성 실업, 스트레스, 낮은 자존감)

Developing these affinities in medical students would involve having them learn from persons at the least powerful ends of both giving and receiving care. 

    • What do most medical students know about the work of aides or home health care providers? 

    • What might be learned from these caregivers’ knowledge? 

    • What do most medical students learn about the health care of indigent persons—from their perspectives? 

    • How much do medical students learn from uninsured ‘‘house’’ patients about the social conditions that often bring them to teaching hospitals? What could be learned from their knowledge? (—poverty, inadequate housing, chronic unemployment, stress, and low self-esteem—)


수잔 셔윈 (Susan Sherwin)은 의사들이 다른 사람들의 삶의 조건을 알지 못하는 경우에도 모든 사람들에 대해 "잘 알고 있다"고 가정한다고 지적한다.

Susan Sherwin provides a provocative example of how medical professionals assume to ‘‘know best’’ for all people even as we are oblivious to the conditions of others’ lives.


대부분의 의료 전문가, 특히 의사들은 자신의 삶과 복지에 관한 문제를 통제하고 존엄하고 존경받으며 치료받는 것에 익숙합니다. 그러나 일반적으로 [삶을 거의 통제하지 못하는] 취약한 건강 관리 소비자의 관점에서 볼 때, 통제를 유지하는 것은 주된 관심사가 아닌데, 왜냐하면 잃어버릴 통제권도 없기 때문이다. 삶의 다른 부분에서 돌봄을 받거나 존경받는 데 익숙하지 않은 환자는, 오늘날 생명 윤리 분야에서 중심 단계를 차지하고있는 사람들과 비교했을 때, 보건의료직과의 관계에서 다뤄야 할 가치와 우선 순위가 서로 다를 수 있습니다

Most medical professionals, especially doctors, are accustomed to being treated with dignity and respect and having control over matters concerning their own lives and well-being....From the perspective of less privileged health care consumers who normally have little control over their lives, however, maintaining control when ill may not be of paramount concern, since control is not theirs to lose. Patients who are not used to being cared for or respected in the rest of their lives may have a different ordering of values and different priorities in their dealings with health professionals than do those who now occupy center stage in the bioethics arena.12


사회적인 의식의 세 번째 기술은 버거가 여러 인간의 가치와 지향에 대한 ''Mobile mind''를 개발하는 것과 관련이있다. 모바일 정신은 고정되어있는 엄격한 과학적 / 의학적 사고 방식과는 대조적입니다. 

      • 젊은이가 영웅적 조치를 원하지 않는 이유는 무엇입니까?

      • 어떻게 대체 치유력을 실제로 믿을 수 있습니까?

      • 왜 안전에 관심이있는 사람은 가정 출산을 원할 것입니까?

의대생은 학습 환경에서 상대적으로 immobile하기 때문에 그들의 마음도 immobile할 수 있습니다.

A third skill of sociologic consciousness has to do with what Berger calls developing a ‘‘mobile mind’’ toward multiple human values and orientations. A mobile mind contrasts with those that are held stationary by rigid scientific/ medical ways of thinking, such as 

      • How could someone that young not want heroic measures? 

      • How could someone really believe in alternative healing? 

      • Why would anyone interested in safety want a home birth? 

Because medical students are relatively immobile in their learning environments, their minds may become immobile too.


Susan Sherwin이 우리에게 상기시켜 주듯이,

And as Susan Sherwin reminds us,


어떤 분야에서든 참가자들 사이의 동질성은 논쟁에 영향을 미친다. 한 가지 중요한 효과는 대부분의 종사자가 자신의 업무에 대해 자기가 이미 가지고 있는 위치와 관점의 중요성을 알지 못하게하는 것입니다. 교육 수준이 높고 백인 남성 엘리트가 지배하는 다른 분야와 마찬가지로, 대부분의 동료가 동일한 관점을 공유하기 때문에 경험으로부터 거짓 일반화로 빠지기가 매우 쉽다. 상반되는 지점의 직접적인 경험에 대항하여 실제 입장의 특수성을 지적하는 사람이 아무도 없을 때, 자신을 중립적인 '이상적인 관찰자'로 착각하는 것은 너무 쉽습니다 .12

Homogeneity among participants in debates has consequences in any field. One important effect is that it allows most practitioners to remain oblivious to the significance of their own location and perspective for their work. As in other disciplines that are dominated by a well-educated, white, male elite, the fact that most of their colleagues share the same perspective makes it easy . . . to lapse into false generalizations from their own experience. It is all too easy to mistake oneself for a neutral ‘‘ideal observer’’ when no one is present to point out the specificity of one’s actual stance by countering with direct experience from a different vantage point.12


다수의 유리한 점에 대한 인식은 '모빌리티'정신뿐만 아니라 Berger의 사회학적 인식의 네 번째이자 마지막 기술인 Cosmopolitism에도 관련되어있다. 간단히 말하면, 환경에 대한 개방성, 사고와 행동의 다양한 방식에 대한 개방성이다. 그것은 모든 변형에서 인간의 삶에 대한 폭 넓은, 민감한, 해방 된 신념입니다. 이것은 모든 종류, 가치 및 생활 방식의 사람들에 대한 진정한 수용으로부터 진정한 동정심이 나오는 정신입니다.

Awareness of multiple vantage points is related not only to ‘‘mobile’’ minds but also to cosmopolitism, the fourth and final skill of Berger’s sociologic consciousness. Simply, cosmopolitism is an openness to the environment, to diverse ways of thinking and acting; it is a broad-minded, sensitive, emancipated belief about human life in all its variations. This is the spirit from which genuine compassion arises, from an authentic acceptance of people in all their varieties, values, and lifestyles.


학제 간 사고.

Interdisciplinary thinking.


학생들이 일상적으로 기초 과학 및 임상 과학에서 발견 된 것 이외의 여러 분야의 내용, 방법 및 기술에 engage하면서 풍부하고 복잡하며 도발적인 지식을 찾게 된다. 그들은 자신과 직업에 대해 다른 질문을 하게 될 수도 있다. 그들은 다른 분야의 지식에서 자기가 가진 지식의 틈, 빈 곳, 유해한 편견을 인식합니다. 이러한 지적인 모험은 다학제 학습에서 발생하지만, 단, 교수 및 교실 환경이 비판적이고 자기 성찰적인 탐구의 정신을 키우는 경우에만 발생합니다.

When students routinely engage in the content, methods, and skills of multiple disciplines other than those found in the basic and clinical sciences, they find rich, complicated, provocative knowledge They may be moved to ask different questions of themselves and their profession. They recognize gaps, absences, and harmful biases in their knowledge . These intellectual adventures occur during interdisciplinary studies , but only when teaching and classroom environments foster a spirit of critical, self-reflective inquiry.


실제로 생명 윤리, 문학, 철학, 사회학 및 의학의 역사를 포함한 학제 간 탐구가 '마법의 총알'의 특성을 피하기위한 것이라면 의학 교육자는 단순히 콘텐츠만 추가해서는 안 된다. 가능한 한 언제든지 다학제적 학습은 과정 안에서 존재하여 지적으로 도전적일 때 가장 효과적이며, 반대로 개별 분야들을 discrete하게 나란히 배치되어 있을 때는 그렇지 않다.

Indeed, if interdisciplinary inquiry—including bioethics, literature, philosophy, sociology, and history of medicine— is to avoid the characterization of a ‘‘magic bullet,’’ medical educators cannot merely add on content. Whenever possible, interdisciplinary inquiry works best and is most intellectually challenging when it exists within course work, not when disciplines are placed side by side in discrete, self-contained entities.


교수 자체가 모바일 정신을 소유하고 있다면 교육 과정 가능성은 무한합니다. 

    • 순환기 과목에서는 기초 과학 분야, 역학 (인종, 민족 정체성, 성별 및 계급 문제 포함), 임상 심장학, 심장 발작이있는 사람들을위한 지원 그룹, 이식 윤리 및 기본 진료에 대한 접근 문제, 교육, 예방, 역사적, 종교적, 예술적, 문학적 묘사 등을 다룬다. 

    • 해부학에서는 호스피스 경험과 함께 교차 문화적, 영적 / 종교적 시각을 포함하여 죽음과 죽음에 대한 조사를 논리적으로 포함 할 수 있습니다.

The curricular possibilities are endless if faculty themselves possess mobile minds. Cardiovascular study could include relevant learning across basic sciences disciplines, epidemiology (including issues of race, ethnic identity, gender, and class), clinical cardiology, support groups for persons who have had heart attacks, transplantation ethics and issues of access to basic care, education, and prevention, along with historical, religious, artistic, and literary portrayals of the heart. Gross anatomy could logically include investigation of death and dying, including cross-cultural and spiritual/religious perspectives, along with hospice experiences.


그러한 학제 간 탐구는 의학 교육의 과학적 기반을 희석시키지 않으면서도, 비판적이며 창의적으로 그 이론과 실천을 알리는 과학 및 내용에 중점을 두어 의학의 지적 기반을 키우는 것을 목적으로한다.

Such interdisciplinary inquiry is intended not to dilute the scientific basis of medical education but to increase the intellectual basis of medicine by drawing heavily on science and the content and methods of other disciplines that critically and creatively inform its theory and practice.


의료의 경제적/정치적 차원

Economic/political dimensions of health care.


Arnold Relman에 따르면 미국 의과 대학 졸업생 중 거의 1 조 달러가 건강 관리에 소비하는 곳이 어디에서 비롯되었는지에 대한 '일관된 이해'가 있습니다.

According to Arnold Relman, few graduates of U.S. medical schools have a ‘‘coherent understanding’’ of where the trillion dollars annually spent on health care comes from or where it goes.14


종종 프로페셔널리즘의 실수는 의사가 누군지에 따라 생기는 것이 아니라, 그들이 일하는 사회 시스템을 얼마나 잘 이해하는지에 달려있다. 즉, 학생들이 공감능력을 갖추기 위해서 필요한 프로페셔널리즘의 중요한 구성 요소는 [현재의 건강 관리 시스템에 대한 철저하고 정교하며 비판적인 지식]이다. 그것이 없다면, '보살핌'과 같은 전문적인 가치는 추상적 인 상태로 유지되며, 정치적 경제적 환경에 제약받지 않습니다.

Often ‘‘lapses’’ in professional behavior are less about doctors’ characters and more about how well they understand the social systems in which they work. In other words, a significant component of professionalism requires that students have thorough, sophisticated, and critical knowledge of the current health care system in order to be compassionate! Without it, professional values such as ‘‘caring’’ remain in an abstract state, untethered to the political and economic environment in which they are enacted.


Relman은 '경제적 이해 관계의 충돌'에는

    • 영리 건강 관리 회사에 고용되어 있거나 계약을 맺거나 영리 건강 관리 회사에 투자 한 의사;

    • 전문 자치와 의사 - 환자 관계에 대한 간섭에 대한 기업의 제약; 과

    • 의사들의 집단 행동에 대한 독점 규제 '

... 등이 훈련중인 의사를위한 중요한 질문 영역이다.

Relman notes ‘‘economic conflicts of interest involving 

    • physicians employed by, contracted with, or invested in for-profit health care companies; 

    • corporate restraints on professional autonomy and interference with doctor–patient relationships; and 

    • antitrust constraints on collective actions by physicians’’ 

...as critical areas of inquiry for doctors in training.



물론, 이러한 모든 커리큘럼 권고안은 의료 환경이 다음과 같은 경우에는 구현되더라도 공허할 뿐이다.

    • 생들에 의한 성적과 등수에 따라 과격하게 경쟁할 때

    • 멘토, 혁신적인 교수법, 학제 간 협력의 시간 소모적 인 작업에 힘을 쏟는 교수진에 대한 인식과 보상이 부족할 때

Reiser는 기관 리더들이 다음에 대해 강력한 영향력을 미침을 묘사한다.

    • 자원의 청지기(stewardship of resources)

    • 권위의 인도적 사용,

    • 판단을 내릴 때의 가치관의 역할, 

    • 강압 하에서의 인내와 용기의 행사, 실수를 인정하는 법, 용서하는 법, 지식을 실제로 행동에 적용하는 것, 

    • 개인적 및 직업적 헌신의 균형

Of course, all these curricular recommendations are hollow, even if implemented, if the medical environment is characterized by a singular, hypercompetitive focus on grades and class ranks by students, and by a lack of recognition and rewards for faculty who devote energy to mentoring students, innovative teaching, and the time-consuming work of interdisciplinary collaboration. Reiser describes this powerful influence that institutional leaders wield in ‘‘stewardship of resources, the humane use of authority, the role of values in making judgments, and exercise of patience and courage under duress, how to admit mistakes, how to forgive them, the application of knowledge in taking action, [and] the balance of personal and professional commitments.’’15 


격언을 바꾸어 말하면, 의과대학생이라는 사과는 의과대학이라는 나무에서 멀리 떨어져 있지 않습니다.

To paraphrase an aphorism, the medical student apple doesn’t fall too far from the medical school tree.


평가와 면허

Assessment and Licensure


의학 교육자는 학생들에게 여러 영역의 숙달이라는 측면에서 빈번하고 성장 지향적 인 피드백을 제공하는 조치를 취할 필요가 있습니다. 의대에서는 학생의 역량을 결정하기 위해 더 이상 등급 등급과 수치 점수를 사용하지 않습니다. 대신 학생들의 평가에는 학생들의 임상 적 추론 기술, 환자와의 관계 관리 능력, 가치, 태도 및 문화적 민감성에 대한 교수 과정 서면 내러티브를 포함하여 모든 과정에 대한 간단한 합격 / 불합격이 포함됩니다.

Medical educators, would need to put in place measures that provide frequent and growth-oriented feedback to students in terms of their mastery of several domains: Medical schools would no longer use class ranks and numerical scores to determine students’ competencies. Instead, evaluation of students would include a simple pass/fail for all their course work plus faculty’s written narratives about the students’ clinical reasoning skills, their abilities to forge caring relationships with patients, and their values, attitudes, and cultural sensitivity.




CONCLUSIONS




 2000 Jun;75(6):602-11.

The development of professionalismcurriculum matters.

Author information

1
Northeastern Ohio Universities College of Medicine, Rootstown 44272, USA.

Abstract

The authors propose that professionalism, rather than being left to the chance that students will model themselves on ideal physicians or somehow be permeable to other elements of professionalism, is fostered by students' engagement with significant, integrated experiences with certain kinds of content. Like clinical reasoning, which cannot occur in a vacuum but must be built on particular knowledge, methods, and the development of skills, professionalism cannot flourish without its necessary basis of knowledge, methods, and skills. The authors present the need for an intellectual widening of the medical curriculum, so that students acquire not only the necessary tools of scientific and clinical knowledge, methods, and skills but also other relevant tools for professional development that can be provided only by particular knowledge, methods, and skills outside bioscience domains. Medical students have little opportunity to engage any body of knowledge not gained through bioscientific/empirical methods. Yet other bodies of knowledge-philosophy, sociology, literature, spirituality, and aesthetics are often the ones where compassion, communication, and social responsibility are addressed, illuminated, practiced, and learned. To educate broadly educated physicians who develop professionalism throughout their education and their careers requires a full-spectrum curriculum and the processes to support it. The authors sketch the ways in which admission, the curriculum (particularly promoting a sociologic consciousness, interdisciplinary thinking, and understanding of the economic/ political dimensions of health care), and assessment and licensure would function.

PMID:
 
10875504
[Indexed for MEDLINE]


피드백 반응성에 영향을 미치는 요인: 공포, 자신감, 추론과정의 상호작용(Adv in Health Sci Educ, 2012)

Factors influencing responsiveness to feedback: on the interplay between fear, confidence, and reasoning processes

Kevin W. Eva • Heather Armson • Eric Holmboe • Jocelyn Lockyer •

Elaine Loney • Karen Mann • Joan Sargeant




도입

Introduction


Davis et al. (2006)은 자기 평가가 평생 학습과 자기조절, 환자 진료에서의 역할에 대한 반성을 촉구했다.

Davis et al. (2006) ‘‘prompt[s] reflection on the use of self-rated assessment and its role in lifelong learning and value in self regulation and patient care.’’


일반적인 결론은 개선을 촉진하기 위해서는 정확한 외부 피드백이 중요하다는 것이다 (Sargeant et al. 2010). 이 결론은 더 많은 피드백을 원하는 학생들의 보편적인 호소에 부합하며, 또한 Boud (1999)가 자기 평가를 개인적인 활동이 아니라 외부 출처로부터의 피드백을 포함해야한다는 제안과도 일치합니다. 또한 Ericsson (2004)이 제안한 피드백과 성찰을 전문성 습득 메커니즘의 기본 요소로 제시하는 deliberate practice 모델과도 일치한다.

The general conclusion is that accurate external feedback is crucial if one hopes to facilitate improvement (Sargeant et al. 2010). This conclusion is consistent with both the prevalent pleas from students for more feedback and with Boud’s (1999) suggestion that the very concept of self-assessment should not be considered to be an individual activity, but instead, should encompass feedback from external sources. It is also consistent with Ericsson’s (2004) model of deliberate practice which presents feed-back and reflection as fundamental to the mechanism through which expertise is gained.


그러한 외부 피드백이 성과를 향상시킬 수 있다는 충분한 증거가있다 (예, Boehler et al., 2006). 마찬가지로, 시험에 응시하는 것은 (지필이든 임상이든) 유형은 달라도 똑같이 강력한 피드백을 제공합니다. 시험은 반복적 학습이라는 잠재적 이점을 넘어, 메모리/성능에 유익한 영향을 미친다 (Larsen et al., 2008; Kromann et al. 2009). 후자와 같은 형태의 외부 피드백은 비요크가 '바람직한 어려움'(1999)이라고 부르는 학습향상을 위한 더 폭 넓은 전략의 구체적인 예이다. 여기에는 하나의 세션에서 모든 학습 된 자료를 다루는 대신(매스 트레이닝) 여러 세션에 걸쳐 교육을 분산시켜두는 것(간격을 둔 훈련)이 있고, 학습자가 장기간에 걸쳐 퍼포먼스를 향상시킬 수 있도록 암시적으로 피드백을 제공하는 challenge를 만드는 것 등이 있다. 중요한 것은, 이러한 방식의 이득은 어떤 학습조건이 효과를 극대화하는지에 관련한 사람들의 직감에 반한다는 것이다(Boehler et al. 2006; Kornell and Son 2009).

there is ample evidence that such external feedback can improve performance (e.g., Boehler et al. 2006). Similarly, sitting an examination, be it written or clinical, provides feedback of a different, but equally powerful, type. Testing appears to have beneficial effects on memory/performance that extend beyond the potential benefits of repeated study (Larsen et al. 2008; Kromann et al. 2009). This latter form of external feedback is a specific example of a broader class of strategies for improving learning that Bjork has called ‘‘desirable difficulties’’ (1999). The notion here is that placing obstacles in front of learners, such as spreading training over multiple sessions (spaced training) rather than covering all of the to-be-learned material in a single session (massed training), creates challenges that implicitly provide feedback to learners that enables greater long-term gains in performance. Importantly, the benefit received is often counter to people’s intuitions regarding which study conditions maximize learning (Boehler et al. 2006; Kornell and Son 2009).


더 문제를 복잡하게 만드는 것은, 피드백이 일반적으로 (모든 경우에) 유익한 것이 될 수 없다는 점이다. 바람직한 어려움에 대한 이론과 많은 경험적 연구에 따르면 피드백의 양이 증가하면 오히려 학습이 감소 할 가능성이 있는데, 왜냐하면 너무 많은 피드백은 struggle해야 하는 material의 extent를 감소시킴으로써 장기 숙련도를 감소시키기 때문이다(Schmidt 1991).

Here the story becomes increasingly complicated in that feedback cannot generically be described as beneficial. The theory of desirable difficulties, and many empirical findings suggest that increasing amounts of feedback has the potential to decrease learning as too much feedback can reduce the extent to which one needs to struggle with the material and, thus, can reduce long-term proficiency (Schmidt 1991).


고려해야 할 한 가지 요소는 피드백은 그것의 사용 또는 개념이 균일하지 않다는 것입니다. 어떻게, 그리고 누구에 의해 피드백이 전달되는지가 중요하며, 영향은 상황의 특성에 따라 다양합니다 (Shute 2008; Kluger and van Dijk 2010). 피드백이 어떻게 자기 평가 및 성과 향상에 inform하는지를 고려할 때 이것은 중요한 포인트입니다.

One factor that must be taken into account  is that feedback is not uniform in use or in concept. When, how, and by whom feedback is delivered matters and the effects are variable as a function of the specifics of the situation (Shute 2008; Kluger and van Dijk 2010). This is a salient point as we consider how feedback informs self-assessment and performance improvement. 


또한 어떤 형태의 피드백도 결코 전달되지 않거나 진공 상태에서 받아 들여지는 것이 아니라는 더 넓은 인식으로 연결된다. 즉각적이고 일관된 응답으로 피드백을 전달할 수 있는 테크놀로지 시스템과는 달리, 전달되는 모든 피드백은 수신자가 가진 [world of practice, 피드백 제공자, 자신의 능력을 보는 필터]를 통해 해석됩니다. 추가적 필터에는 수신자의 동기, 두려움 및 기대치가 포함됩니다 (Stewart 2008, Kennedy 외 2009). 결과적으로, 전달되는 정보가 의도적으로 (수령인에 의해) 실제 업무에 통합되도록하는 것이 목표라면, 평가에서 '자아'를 배제할 수 없습니다. 다중 소스 피드백(MSF)의 영향에 대한 이전의 연구도 이를 지지하는데, 피드백의 가치에 대한 평가는 부분적으로 피드백이 자기평가와 조화를 이룰 수 있는 정도에 달려 있기 때문이다(Sargeant 외. 2008).

It also leads to the broader realization that feedback of any form is never delivered or received in a vacuum. Unlike a technological system where feedback can be delivered as a command with immediate and uniform response, any feedback that is delivered will be interpreted through the filters with which the receiver views the world of practice, the feedback provider, and his/her own abilities. Additional filters include the receiver’s motivations, fears, and expectations (Stewart 2008; Kennedy et al. 2009). As a result, one cannot take the ‘self’ out of the assessment if the goal is to have the information being delivered be deliberately incorporated (by the receiver) into practice. Previous examinations of the impact of multi-source feedback (MSF) support this statement as they have suggested that the extent to which feedback is deemed valuable is dependent, in part, on the degree to which the feedback can be reconciled with one’s self-assessments (Sargeant et al. 2008).


이 단계를 더 진행하려면 성능 개선을 위해 취약한 자기평가가 수정되어야하는지 여부를 질문하는 것이 중요합니다. 예를 들어 Kruger와 Dunning (1999)의 연구는 퍼포먼스 향상이 발생하더라도 개인의 인식이 변하지 않는다는 것을 보여 준다. 이 두 가지가 align되는 이유는 인식에 맞추어 퍼포먼스가 향상되기 때문이다. 이것은 피드백이 필요하다는 것을 암시하지만, 피드백이 반드시 영향을 미치기 위해서 반드시 self-concept에 통합 될 필요는 없습니다.

To take this a step further, it is important to question whether or not flawed self-appraisal must be corrected to enable performance improvement. For example, Kruger and Dunning’s (1999) work demonstrates that performance gains often occur without altering individuals’ self-perceptions, the two becoming aligned because performance increases to meet perceptions. This suggests that feedback is necessary, but doesn’t necessarily need to be incorporated into one’s self-concept to have an influence.



방법

Methods


The data analyzed to address these issues were collected as part of a larger qualitative study that took place across 5 countries using focus groups aimed at determining participants’ perceptions of a variety of formal reflective activities (Sargeant et al. 2010). Using purposive sampling, we recruited learners at various levels of practice from 8 health professional training programs (within medicine and midwifery) known to use portfolios, personal learning plans, multi-source feedback, defined outcome competencies, and/or audit and feedback strategies. Programs included 3 undergraduate (midwifery and MD) programs, 2 postgraduate (medical residency) programs, and 3 practicing physician (family physicians and internists) programs. We invited volunteer participants by letter via each program’s administrative office. Participating institutions’ research ethics review boards approved the study.


  • We conducted 2 focus groups for 7 of the 8 programs and 3 focus groups for the 8th program

  • They were about 1.5 h in length, recorded and transcribed. 

  • One researcher moderated all groups assisted by at least one team member or their research associate, a person familiar with the program and culture. 

  • Interviews were semi-structured and we used open-ended questions to explore participants’ perceptions of self-assessment generally and the use of the specific program activities listed above with respect to their capacity to prompt pedagogically meaningful reflection that could inform one’s self-assessment and direct learning. 

  • We used preliminary data analysis from each group to expand data collection and revise subsequent questions to address important concepts and emerging themes.

  • We conducted the analysis iteratively as a team. 

  • We developed an initial coding structure organized around the interview questions and emerging themes. 

  • We determined themes initially independently by open-coding transcripts and then comparing interpretations through group discussions conducted by teleconference and email. 

  • At least five team members analyzed each transcript and participated in this process, continually informing the coding structure and its revision. 

  • We resolved differences in interpretation through discussion and re-examining transcripts and coded data. 

  • We held a face-to-face meeting to confirm emerging themes and form subgroups to conduct detailed analyses of related categories of data. 

  • At a subsequent two-day meeting we discussed categories in depth, continued analysis through constant comparison, and constructed a preliminary conceptual diagram of informed self-assessment that was subsequently published (Sargeant et al. 2010). 

  • Analysis continued using constant comparison of incidents, categories and participant groups to elaborate the themes pertaining to the uptake and interpretation of data. 

  • High levels of team member engagement and interaction through all stages of analysis enhanced its rigour (Liamputtong and Ezzy 2005)


결과

Results


(1) 경험, 자신감, 무지해 보일 것에 대한 두려움 사이의 상호 작용.

(2) 피드백에 대한 접근, 해석 및 사용에 미치는 영향

(3) 외부 피드백의 해석 (및 잠재적으로 편향) 메커니즘.

(1) the interplay between experience, confidence, and fear of not appearing knowledgeable; 

(2) influences upon accessing, interpreting and using feedback; and 

(3) mechanisms guiding (and potentially biasing) interpretation of external feedback.


경험, 자신감, 무지해 보일 것에 대한 두려움 사이의 상호 작용.

The interplay between experience, confidence (real and projected), and fear of not appearing knowledgeable


[학습자와 의사가 얼마만큼이나 환자, 동료 또는 자신에게 자신의 한계에 대해 공개해야하는지]에 관해 그룹마다 의견의 근본적인 차이가 남아 있습니다. 일부 사람들은 겸손의 부족 (즉, 자신의 한계를 공개하려는 의지)이 일부 개인의 실천에 근본적인 문제라고 주장했다.

there remain fundamental differences of opinion across all groups with respect to how much learners and physicians should disclose to their patients, their colleagues, or themselves about their limitations. Some argued that lack of humility (i.e., the willingness to disclose one’s limitations) is a fundamental problem with some individuals’ practice.


내가 실수를했다[또는] 나는 모른다고 말할 수 있어야한다. 이는 서로 완전히 상반되는 두 가지인데, 당신이 알고 있어야하고 확신을 가지고 있어야하지만, 동시에, 당신이 당신 자신을 보고 '나는 모릅니다'라고 말 할 수 있는 능력을 가져야만 한다 [의사 M2]

You have to be able to say I made a mistake [or] I don’t know. So it’s kind of diametrically opposed to all of this training that you had that you are supposed to know and be confident and yet at the same time, you know you have to have this ability to look at yourself and say, I don’t know. [Physician M2]


다른 사람들은 지식의 부족을 환자에게 공개하면 안된다고 주장했다.

Others argued that one should not disclose this lack of knowledge to patients


저는 항상 사람들에게 나에게 묻는 것 중 내가 대답하지 못할 것은 없다고 말한다. 어떤 증상에도 답을 찾을 것이다. 비록 그것은 사실이 아닐 지도 모르지만, 나는 자신감을 가지고 말한다. [의사 M3]

I always tell people that there is nothing they can bring me that I can’t figure out … every symptom that they bring we will find a solution for …That may not even be true, but I tell them that with confidence. [Physician M3]


이러한 상황은 학생에게 특히 어려웠습니다.

Such situations were especially challenging for learners.


내가 무언가를 할 수 없다는 사실을 사람들에게 보여주고 싶지는 않습니다. [불확실 할 때]  의사를 불러야 하는 상황에서 나는 그렇게하지 않는 경향이 있습니다. 어쩌면 의사 선생님에게 전화하는 것도 좋은 방법 일 수 있습니다. 하지만 나 자신이 그렇게하기에는 너무 약하다는 느낌이 들기 때문에 혼자서 알아 내려고 노력합니다. [의대생 I1]

You don’t want to show people you’re not capable of doing this. So that part of calling the doctors [when uncertain], I tend not to. Maybe [calling the doctors is] a good way, but it also makes me feel like I’m too weak to do it myself, so I try to do figure it out by myself. [Medical student I1]


즉, 의사들은 지식이 없는 것처럼 보이는 것을 두려워하는 것에 너무 취약하다. 모르는 것처럼 보이는 것에 대한 두려움이 동기 부여 요소가 되지만, 한 참가자는 "정말 바보 같이 보일 것에 대한 두려움"을 표현했다. [의사 L8].

That said, physicians too were susceptible to fear of not appearing knowledgeable and suggested that the fear of appearing not to know is a motivational factor, one participant expressing ‘‘the fear of looking really stupid.’’ [Physician L8].


실제적인 자신감을 가능하게하는 것과 관련하여, 참가자들은 영향을받은 많은 요소가 있음을 표명했습니다. 여기에는 자신의 수행에 대한 인식, 성과를 내고자하는 동기, 외부에서 생성 된 정보에 대한 그들의 해석 등이 있다. 이 때 중심적이고 중요한 주제는 경험이었습니다. 경험은 특정 작업을 수행할 수 있는지를 근본적으로 결정하는 요인으로 취급되었습니다. 직접 경험한 케이스의 절대 숫자와 특정한 경험의 발생 모두가 지침 역할을한다고 생각되었습니다. 그러나 경험이나 이러한 경험에서 얻은 정보의 질에 관해서는 거의 언급되지 않았다. 즉, 경험이 있다는 것 만으로도 자신감과 편안함에 기여하는 것처럼 보였습니다.

With respect to enabling actual confidence, participants voiced opinions indicating that a large number of factors influenced their perceptions of their own performance, their motivations for wanting to perform well and their interpretation of externally generated information. A central and critical theme was that of experience. Experience was treated as a fundamental determinant of whether or not one is able to perform certain tasks. Both the absolute number of cases one has seen and the occurrence of specific experiences were thought to play a guiding role. However, little was mentioned in terms of the quality of either the experience or of the information gained from these experiences. That is, experience alone seemed to contribute to confidence and a sense of comfort.


학습자들에게 경험은 일반적으로 긍정적인 것이었고, 바람직했으며, 자신감을 높여주었다. 그럼에도 불구하고 자신감은 미약했고, 참석자들은 특정 사건에 관한 자신감의 상실은 극복해야 할 필요가 있음을 분명히했습니다.

For learners, experience was generally viewed positively, was desired, and generally led to increased confidence. Yet, confidence appeared tenuous and participants’ comments also made it clear that loss of confidence in response to particular events is something that needs to be overcome.


실제로, 자신의 능력에 대한 자신감은 피드백의 역할에 관한 중요한 주제였습니다. 참가자은 분명히 다른 사람들로부터 피드백을 받기를 원했지만, 욕망은 종종 안도감 (즉, 행동 교정 전략보다는 자신감 구축의 원천)을 원하는 것을 암시했다.

Indeed, confidence in one’s abilities, was a major theme regarding the role of feedback. While participants clearly wanted feedback from others a number of statements implied that the desire could often be construed as wanting reassurance (i.e., as a source of confidence building rather than as a behaviour correction strategy).


내가 나 자신을 평가하느니 차라리 다른 누군가가 나를 평가할 것이라고 생각합니다. 왜냐하면 내가하는 일이 옳다는 확신을 조금씩 갖게 해주기 때문이다 [의대생 C6]

I think I would rather have somebody else assess me than assess myself …. ‘cause it just gives me a bit more confidence that what I’m doing is right. [Medical student C6]


그렇다고해서, 참가자들이 모든 것을 다 포기해서라도 자신감만을 중요하게 평가했다고 말할 수는 없습니다

That is not to say that participants valued confidence at all costs as many did speak of the risk of becoming over-confident


"스스로 항상 모든 것을 다룰 수 있어야한다고 생각하면 곤경에 빠지게 될 것이다. 그리고 근본적으로 자기평가라는 것이 어떤지를 알아야 한다. 자기평가는 이런 것이다. 나는 이건 끔찍하게 못합니다. 내가 항상 옳지는 못합니다. 거기에 대해서 어떻게 도움을 요청할지를 알아야합니다. [의사 A5]

‘‘You know, if you think that you should be able to handle all things at all times, then you’re going to get into trouble, and you have to recognize, and that’s basically what self-assessment is, like, ‘I’m not terribly good at this, I don’t really get it all the time, and I need to know how to ask for help with that. [Physician A5]


사실, 참가자들은 교정적 피드백을 요구하거나 받을 준비를 하기 위해서는, 특정 수준의 편안함, 경험, 자신감을 획득해야 한다는 역설을 제시했습니다. 즉, 자신감과 경험은 두 가지 방식으로 작동하는 것으로 나타났습니다. 참가자가 피드백을 요구하고 받아들이도록 허용하고, 일부는 본질적으로 비판적일 수 있는 피드백에 대해서 스스로를 보호하는 역할을 한다.

In fact, participants’ responses suggested a paradox in that one needed to achieve a particular level of comfort, experience, and confidence prior to being prepared to ask for or receive corrective feedback. That is, confidence and experience appeared to work in two ways: By enabling participants to ask for and accept feedback and, for some, guarding them against feedback that might be critical in nature.


외부 피드백의 해석과 수용에 대한 영향

Influences on interpretation and uptake of external feedback


일부 참가자들은 자신감 단독으로는 능력에 대한 unreliable한 지표가 될 수 있다는 것을 인식했습니다. 많은 의사들이 이전의 신념에서 벗어나고 싶다는 말을했으며, 자신의 퍼포먼스에에 약점이 있다는 것을 발견했을 때 처음으로 발생하는 느낌을 표현하기 위해 ''충격 ''과 감정적 단어를 사용했습니다. 그들은 정보를 활용하기 전에 그 감정을 극복 할 필요성을 지적했습니다.

Some participants were cognizant that confidence alone could be an unreliable indicator of ability. A number of physicians spoke of the need to be shaken out of a prior belief and used emotionally-tied words like ‘‘shock’’ to express the feeling that first arises when discovering that there was a weakness in their performance. They further indicated a need to get over that feeling before the information could be utilized.


이러한 외부 정보가 활용될 가능성에 영향을 주는 것은 피드백 출처의 신뢰성에 대한 인식이었다. 사람들은 피드백의 정확성에 중점을 두었습니다. 

    • 학생 참여자는 실제로 성과를 관찰하지 않은 supervisor나 다른 사람들이 제공 한 피드백을 평가절하했다. 

    • 가정의는 또한 가정의의 역할을 이해하지 못하는 비판적 컨설턴트와 객관적으로 진료를 판단하는 데 필요한 의학 지식이나 통찰력이 부족한 환자들을 언급했다.

The likelihood of such external information being utilized was very clearly thought to depend on the perceived credibility of the source, another dominant theme in the data. Emphasis was placed on the perceived accuracy of the feedback. Student participants discounted feedback provided by supervisors and others if they had not actually observed their performance. Family physicians likewise commented on critical consultants who did not understand the family physician’s role and patients who lacked the medical knowledge or insight required to objectively judge care. 


몇몇은 동료 상호 작용에 쉽게 참여할 수있는 기회가 없는 것이 "혼자서 진료를 할 때"의 어려움을 유발하며, 이것은 외부 피드백에 대한 접근을 제한한다고 지적했습니다. 동등하게 중요한 것은 피드백이 선의에 기반하거나 악의가 없는 위치에서 와야 한다는 믿음이었다. 이러한 신념은 종종 피드백 제공자와 수용자 사이의 강력한 관계의 결과로 발달했다.

Some noted that the lack of opportunity to readily engage in collegial interactions creates difficulty ‘‘when you are in … solo practice’’ [Physician K7] and limits access to external feedback. Equally important was the need to believe that the feedback was delivered from a position of beneficence and nonmaleficence, that belief often developing as a result of strong relationships being established between the feedback deliverer and recipient.


외부 피드백의 해석을 가이드하는(또는 편향시키는) 기전

Mechanisms guiding (and potentially biasing) interpretation of external feedback


외부 피드백의 정확성을 의심 할 수있는 여러 가지 이유가 있었으며, 따라서 특정 행동을 변경하려는 경우 전달되는 피드백에 대한 수령인의 해석을 고려해야한다는 개념을 강화했습니다. 이 의문은 어떤 경우에는 명백하게 나타났습니다.

Throughout this discussion it appeared that respondents had any number of reasons to doubt the veracity of the external feedback received, thus reinforcing the notion that one must consider the recipient’s interpretation of the feedback conveyed if one hopes to alter the focal behaviour. This doubt was outright in some instances:


시험에 대해서 글자 그대로 모든 사람이 다 다르게 생각한다... 스스로 자신감이 얼마나 높은지를 가지고 잘 하고 있는지를 스스로 평가할 수 있지만, "오, 이렇게 하는게 맞아요."라고 누군가가 말한다면 정확히 그렇게 똑같지 하진 않을 것이다[의대생 C3]

I think it’s quite difficult ‘cause like with examination stuff literally everyone does it differently …you can assess how good you are by kind of how confident you feel in what you’re doing, but you’ll never …do it exactly the same as someone else who might say, ‘Oh, this is the right way.’ [Medical student C3]


참여자들은 잠재적으로 편향된 추론을 드러내기도 했다. 즉, 참여자들의 단어 선택은 때로는 자신의 수행에 대한 추론이 길을 ​​잃을 수있는 방식을led astray 암시합니다.

In other instances, the doubt indicated by participants’ statements revealed potentially biased reasoning. That is, while the research design did not allow assessment of the accuracy of participants’ statements, their choice of words were sometimes suggestive of ways in which reasoning about one’s own performance could be led astray.


예를 들어, 어떤 사람은 긍정적 피드백을 신뢰하는 반면, 부정적 피드백을 평가절하하는 경향을 드러냈고, 이는 긍정적인 성과는 부정적인 성과만큼이나 우연히 발생한 것일 수 있다는 것을 생각하지 않게 하여 자신감을 높여주었다.

For example, some expressed views that suggested a tendency to trust positive outcomes/feedback while discounting negative ones, thereby potentially increasing confidence by not accounting for the fact that positive outcomes can arise by chance just as readily as can negative outcomes.


나는 그가 정말로 긍정적 인 피드백을 주 었음에 놀랐다. 그리고 그것이 저에게 유용했기 때문에 그것이 정말로 기대하지 않았을 때 진정한 확신을 얻었습니다. 그러나 그것은 내가 [피드백] 유용하다고 생각한 유일한 시간입니다. [대학원 E4]

I was surprised that he gave me really positive feedback. And so that was useful to me because that was a real confidence booster when I wasn’t expecting it at all. But that’s about the only time I’ve found [feedback] useful. [Postgraduate E4]


편향될 가능성을 높이는 또 다른 것은 부정적인 결과를 상황적 (외적) 요인으로 돌리는 한편, 긍정적인 결과는 자신의 기술로 돌리는 인간의 경향이다.

Adding to the potential for bias were the tendency humans have to attribute negative outcomes to situational (external) factors while attributing positive outcomes to one’s own skill.


마지막으로, 연구에서 [자기 평가를 용이하게 하기 위한 외부 정보의 사용]에 초점을 맞추었음에도 불구하고, 많은 참가자들은 자신의 경험에 대한 자신감과 "충분히 알고 있음"을 강조하는 진술을했다. 근본적인 수준에서 이것은 특정 상황에서 practice하기에 적합한지 스스로 판단 할 수 있다는 생각에 머물러 있음을 보여준다.

Finally, despite the discussion being focused on the use of external information to facilitate self-assessments, many participants made overarching statements about their confidence in their experience and ‘‘knowing enough.’’ These statements suggested that they remained of the opinion that at some fundamental level they were able to judge for themselves whether or not they are fit to practice in specific situations.



고찰

Discussion


외부 데이터와 자기 평가가 충돌 할 때 불협화음을 조화시키려는 시도는 다양하고 복잡하다는 것이 분명했습니다.

it was clear that, when conflict arises between external data and one’s own self-appraisal, attempts to reconcile the dissonance are variable and complex.


사회 심리학 문헌은 우리 연구 결과의 해석을 돕기위한 유용한 통찰력을 제공합니다. 이 영역에서 판단 및 의사 결정은 일반적으로 어떤 요인이 데이터의 해석 / 문제에 영향을 미치는지 조사한다. Tversky and Kahneman (1974)의 고전적 연구에서 비롯된이 분야의 연구자들은 때로는 '뜨거운인지'와 '차가운인지'로 묘사되는 두 가지 광범위한 종류의 영향을 밝혀 냈습니다 (Gilovich 1991).

The social psychology literature provides useful insight to aid the interpretation of our findings. In this domain judgment and decision-making are typically considered through examination of what factors influence one’s interpretation of data/an issue. Growing out of the classic work of Tversky and Kahneman (1974), researchers in this field have identified two broad classes of influences sometimes described as ‘‘hot cognition’’ and ‘‘cold cognition’’ (Gilovich 1991).


  • 뜨거운 인식감정, 각성 및 동기 부여와 관련이 있으며 종종 자신의 인식을 보호하거나 강화하는 요인을 포함합니다. 예를 들어, self-serving 편향은 사람들이 성과의 실패를 상황 요인과 자신의 능력에 대한 성공으로 돌릴 때 발생한다고 말합니다.

Hot cognitions are related to emotion, arousal, and motivation, often involving factors that protect or strengthen one’s perception of oneself. For example, self-serving bias is said to arise when people attribute failures of performance to situational factors and successes to their own ability.


  • 차가운 인은 주의력, 기억력 및 판단력이 작용하는 분석적 또는 비감정적 방식에서 주로 발생하는 영향을 나타냅니다. 차가운인지의 잘 알려진 예는 확증 편향(즉, 일방적 인 방식으로 가설을 시험하는 경향이 있으므로 증거의 균형이 우리의 선입견을 뒷받침하는 경향이 있음)입니다.

Cold cognition, in contrast, represents influences that arise more from analytic or unemotional ways in which attention, memory, and judgment operate. A well-known example of cold cognition is confirmation bias (i.e., the tendency to test hypotheses in a one-sided way, thus ensuring that the balance of evidence supports our preconceptions).


참가자들의 의견은 뜨거운 인식과 차가운 인식이 모두 자신의 인식에 영향을 미칠 수 있고, 다른 사람들로부터 피드백을 해석하는 방식에 영향을 줄 수 있음을 제안합니다. 이러한 영향은 사람들의 광범위한 문제에 대한 사람들의 인식에 영향을 미치는 것으로 나타났습니다.

the comments generated by participants suggest that both hot and cold cognition can influence one’s perception of oneself and impact upon the way one interprets feedback from others just as readily as these influences have been found to impact upon people’s perceptions of broader issues.


뜨거운 인식의 측면에서 참가자들은 피드백을 찾고/받는 것이 갖는 정서적 특성을 지적했습니다. 개발하고 개선하기를 원하는 것은 "바보처럼 보이는 것"에 대한 두려움과 균형을 이루며, 피드백의 receiver/seeker가 취약한 위치에 있다는 일반적인 감각을 제공합니다.

In terms of hot cognition, participants noted the emotional nature of seeking/receiving feedback. Wanting to develop and improve was balanced with fears of ‘‘looking stupid,’’giving a general sense that receivers/seekers of feedback were in a vulnerable position


이 활동의 ​​감정적으로 자극적인 성격과 참가자들의 반응의 자기 방어적인 성격은 다음 세 가지 방법으로 간접적으로 반영되었습니다.

  • (1) 피드백을 받을 준비가되기 전에 자신감을 요구하는 것

  • (2) 피드백 제공자가 선의와 비-악의적 입장이라는 것에서 확립된 신뢰적 환경의 맥락에서 의견에 대해 더 개방적이라는 것

  • (3) "충격"은 퍼포먼스가 적절하지 못한 상황에서 움츠려들거나 회피하지 않도록 의도적으로 극복해야하는 일반적인 초기 반응이라는 것


The emotionally evocative nature of this activity and the self-protective nature of participants’ responses were further indirectly reflected in three ways: 

(1) participants’ statements about requiring confidence prior to being prepared to receive feedback, 

(2) the notion that one is likely to be more open to feedback within the context of an established environment of trust in which the feedback provider presents from a position of beneficence and non-maleficence, and 

(3) the ‘‘shock’’ described as a common initial response that one must try deliberately to overcome to avoid shrinking away from tasks or situations in which performance was sub-optimal.


이 후자의 발견은 나쁜 소식 (예 : 분노에서 거부, 협상, 우울증 및 수용으로 이동하는 것, Kudebler-Ross 2005)에 대처하는 인기있는 '슬픔의 단계'모델을 염두에 둡니다.

This latter finding brings to mind the popular ‘‘stages of grief’’ models of coping with bad news (e.g., moving from anger through denial, bargaining, depression, and acceptance; Ku¨bler-Ross 2005)


피드백을받는 것이 정서적으로 중립적인 task가 아니기에, 우리가 심리적 면역 체계 (부정적인 감정에서 대상을 보호하는인지 메커니즘)을 고려해야합니다. Gilbert와 Wilson (2000)에 의해 기술 된 바와 같이, 참가자들이 피드백을 명시적으로 갈망하는 것조차 어떤 경우에는 피드백을 seek하지 않거나(즉, 회피) 또는 피드백이 가능한 때에도 그것을 가치있게 여기지 않는 것(즉, 평가절하)하는 방식으로 나타나곤 한다.

That receiving feedback is not an emotionally neutral task requires us to consider the psychological immune system (cognitive mechanisms that protect the subject from negative emotions), as described by Gilbert and Wilson (2000), as one of the reasons whereby participants’ stated desire for feedback may still, in some circumstances, translate into feedback not being sought (i.e., avoidance) or in its not being recognized as valuable when it is available (i.e., discounting).


우리는 실제로 피드백이 결코 적응을 유도하는 데 사용되지 않는다는 것을 암시하고자 하는 것이 아니다. 또한 많은 경우에 피드백을 평가절하하는 것이 적절한 반응이라는 것을 인정한다.

We do not mean to imply that feedback is never heeded or used to guide adaptations in practice. Further, we readily acknowledge that it is perfectly appropriate to discount feedback in many circumstances.


긍정적 자기 효능감의 적응적 성격 (Dweck 1999)

adaptive nature of positive self-efficacy (Dweck 1999)


많은 경우에 우리는 자신의 능력에 관한 긍정적 인 전망을 유지하는 것이 낫습니다. 결과적으로 우리는 셀프 서비스 바이어스 (self-serving bias) 같은 경향이있을 수 있습니다.

in many circumstances we are better off maintaining a positive outlook regarding our own abilities. As a result, we may be prone to things like self-serving bias,


피드백을 사용/해석하는 방법을 결정할 때, 다른 여러 영역에서 밝혀진 인지적 경향이 우리의 추론을 personally 적응적adaptive 방식으로 편향시킨다는 것을 고려해야 한다고 지적하는 것이다.

it simply points out that the cognitive tendencies that have been readily identified in many other domains as biasing our reasoning in a personally adaptive manner must be considered in determining how feedback is used/interpreted.


우리는 피드백 해석과 관련된 뜨거운 인식에 대한 awareness가 (암묵적이든 아니든) 피드백 제공의 필요성에 대해 많은 교사 / 동료가 느끼는 망설임에 기여할 수 있다고 추측합니다. 그러나 상황에서 감정을 제거하더라도 피드백을 통합하는 데 따르는 어려움을 완전히 극복 할 수는 없습니다. 실제로, 참가자들은 차가운 인지 (즉, 기억 /주의의 한계)도 관련되어 있다고 제안했다.

We speculate that awareness, implicit or otherwise, of the hot cognition involved in interpreting feedback can contribute to the hesitation many teachers/peers feel regarding the need to deliver feedback. Removing the emotion from the situation, however, is unlikely to completely overcome the difficulties inherent in incorporating feedback. Indeed, participant interviews suggested that cold cognition (i.e., limitations of memory/ attention) is also involved.


임상 및 평판 영역에서의 기존 연구는, 우리가 스스로 자신을 평가사도록 남겨지면 우리는 (실제 달성 된 성과 수준에 따라 숙련도를 판단하는 것이 아니라) 추가 경험을 통해 학습하는 속도가 줄어들 때 자신이 숙달 된 것으로 판단한다. 경험은 자신감을 결정하므로, 양날의 검이됩니다. 경험이없는 일부 참가자는 피드백을 수집하는 데 불편 함을 나타내고 자기효능감에 미치는 부정적인 영향에 대해 우려했습니다. 

Previous work in both clinical and lay domains has suggested that, when left to our own devices, we judge ourselves to have achieved proficiency when the rate at which we are learning from additional experiences declines (i.e., rather than judging proficiency based on the actual level of performance achieved; Eva 2009). That experience determines confidence, therefore, becomes a double-edged sword. Without experience some participants indicated discomfort with collecting feedback and concern about the negative impact it could have on their self-efficacy. 


그러나 경험이 축적됨에 따라 자신감과 교정적 피드백을 평가절하 할 수있는 더 큰 역량을 얻게됩니다. 왜냐하면 기술이 달성되었다는 것과 피드백의 출처 (사람이든 시험이든 또 다른 데이터 세트이든)는 리시버의 능력에 대해 어떤 식으로든 편향되거나 잘못 되었다는 "증거"를 보여주는 더 큰 개인 데이터베이스를 갖게 되기 때문이다

As experience accumulates, however, one gains both confidence and a greater capacity to discount corrective feedback as a result of having a greater personal database of cases on which to draw as ‘‘evidence’’ that the skill has been achieved and that the source of the feedback (be it a person or a test or some other dataset) must be biased in some way or misinformed about the receiver’s abilities.



실제로 많은 참여자 의견은, 피드백이 일반적으로 필요하며 문제는 종종 단순히 피드백을 사용할 수 없거나 품질이 충분하지 않다는 것을 분명히합니다. 오히려 이 이론적인 관점은, 피드백이 수신 될 때, 모든 관련자의 최선의 의도에도 불구하고 falling on deaf ears가 될 수 있는 방식으로 해석 될 수있는 복잡한 다양한 방식을 이해하는 데 도움이됩니다.

Indeed, many participant comments make it clear that feedback is generally desired and that the problem is often that feedback is simply unavailable or truly of insufficient quality. Rather, the interviews and this theoretical perspective merely help us to understand the complex variety of ways in which feedback, when received, can be interpreted in ways that can lead to it falling on deaf ears despite the best intentions of all involved.


한계

Limitations


피드백은 결코 진공 상태에서 제공되지 않습니다. 따라서 성능을 향상시키고 잘못 판단 된 개인 판결에 대한 의존도를 극복하기위한 노력은 수신자가 그 의견의 신뢰성에 관한 중요한 지침을 제공한다고 믿는 맥락에서 고려되어야합니다. 피드백이 어떻게 인식되고 논의되는지는 피드백이 어떻게 해석되고 채택되는지를 결정할 것이다 (Hattie and Timperley 2007).


Feedback is never provided in a vacuum. As such, any effort to improve performance and overcome reliance on often flawed personal judgments must be considered in the context of what receivers believe provides important guidance regarding the credibility of that feedback. How feedback is perceived and discussed will determine how feedback is interpreted and adopted (Hattie and Timperley 2007).


Conclusion


요약하자면, 두려움 (바보 또는 부정적 피드백을 찾는 것), 자신감 (경험에서 파생 된 것, 피드백을 얻고 자하는 /받는 것을 결정하는 것에 영향을주는 것), 추론 프로세스 (감기 및 추위에 대한 감정 및 분석 측면) 간의 상호 작용 인지)는 피드백 전달에 대한 간단한 처방이 없다는 개념을 강화하는 복잡한 혼합물을 만드는 것으로 보입니다.

By way of summary, the interplay between 

  • fear (of looking stupid or of negative feedback), 

  • confidence (as derived from experience and influencing one’s willingness to seek/ accept feedback), and 

  • reasoning processes (with their emotional and analytic aspects of hot and cold cognition, respectively) 

...appears to create a complex mixture that reinforces the notion that there is no simple recipe for the delivery of feedback.


신뢰할 수있는 피드백을 전달하기를 희망하는 경우, 수신자의 인식을 통해 해석 가능하고 palatable한 방식으로 피드백을 조정해야합니다. 피드백은 학습자가 self-concept를 유지할 수 있는 선의의 명확한 위치에서 전달 될 때 주의력과 행동의 가치가 있다고 인식 될 가능성이 가장 큽니다.

If one hopes to convey feedback that is perceived as credible an effort must be made to tailor feedback in a manner that will be interpretable and palatable through the lens of the recipient’s perceptions. Feedback appears most likely to be perceived as worthy of attention and action when delivered from a clear position of beneficence that allows the learner to maintain their self-concept.




 2012 Mar;17(1):15-26. doi: 10.1007/s10459-011-9290-7. Epub 2011 Apr 6.

Factors influencing responsiveness to feedback: on the interplay between fearconfidence, and reasoning processes.

Author information

1
Centre for Health Education Scholarship, University of British Columbia, Vancouver, BC, V5Z 4E3, Canada. kevin.eva@ubc.ca

Abstract

Self-appraisal has repeatedly been shown to be inadequate as a mechanism for performance improvement. This has placed greater emphasis on understanding the processes through which self-perception and external feedback interact to influence professional development. As feedback is inevitably interpreted through the lens of one's self-perceptions it is important to understand how learners interpret, accept, and use feedback (or not) and the factors that influence those interpretations. 134 participants from 8 health professional training/continuing competence programs were recruited to participate in focus groups. Analyses were designed to (a) elicit understandings of the processes used by learners and physicians to interpret, accept and use (or not) data to inform their perceptions of their clinical performance, and (b) further understand the factors (internal and external) believed to influence interpretation of feedback. Multiple influences appear to impact upon the interpretation and uptake of feedback. These include confidence, experience, and fear of not appearing knowledgeable. Importantly, however, each could have a paradoxical effect of both increasing and decreasing receptivity. Less prevalent but nonetheless important themes suggested mechanisms through which cognitive reasoning processes might impede growth from formative feedback. Many studies have examined the effectiveness of feedback through variable interventions focused on feedback delivery. This study suggests that it is equally important to consider feedback from the perspective of how it is received. The interplay observed between fearconfidence, and reasoning processes reinforces the notion that there is no simple recipe for the delivery of effective feedback. These factorsshould be taken into account when trying to understand (a) why self-appraisal can be flawed, (b) why appropriate external feedback is vital (yet can be ineffective), and

PMID:
 
21468778
 
PMCID:
 
PMC3274671
 
DOI:
 
10.1007/s10459-011-9290-7


학업 발달: 의과대학생이 겪는 학업 문제와 지원 서비스(Teach Learn Med, 2009)

Academic Development: A Survey of Academic Difficulties Experienced by Medical Students and Support Services Provided

Gina Paul Department of Medical Education, Southern Illinois University School of Medicine, Carbondale, Illinois,

USA Georgia Hinman and Sue Dottl Academic Affairs, University of Wisconsin School of Medicine and Public Health, Madison, Wisconsin, USA Jerry Passon MEDPREP, Southern Illinois University School of Medicine, Carbondale, Illinois, USA



모든 학생들이 같은 수준의 학습 및 대처 기술을 가지고 의대에 진학하는 것은 아닙니다. 따라서 일부 학생들은 학부 과정에서 의과 대학 적응에 어려움을 겪습니다. 샤인 (Shain)은 학업에 어려움을 겪은 의대생의 95 %가 의대를 성공적으로 마칠 수있는 지력이 있다고보고했다. 의학 교육 상담원으로서의 그녀의 관찰은 "학업의 어려움에 처한 학생들은 시간이나 자원을 관리하는 법을 배우지 못했습니다."(49 쪽) .1 학업적 성공을 위해서는 메타인지, 즉 그들이 어떻게 정보를 처리하고 학습하는지에 대한 인식이 중요하다.2,3 Swanson의 연구 결과에 따르면 학력이 낮은 학생들은 고도의 메타인지 기술을 습득하면 어려움을 극복 할 수 있습니다 .3

Not all students enter medical school with the same level of learning and coping skills; thus, some students will experience academic difficulties as they adjust from their undergraduate institution to medical school. Shain reported that 95% of the medical students who have academic difficulties have the intellect to successfully complete medical school; her observations as a medical education counselor led her to believe that “students in academic difficulty have not learned how to manage time or material” (p. 49).1 It is important for students to have metacognition, an awareness of how they process and learn information,to be successful in their learning.2,3 According to Swanson’s findings, students with lower academic abilities can overcome difficulties if they have highly developed metacognition skills.3


Olmesdahl은 M2 및 M3 학생들의 가장 주요 관심이 업무량, 학습 방법 및 전략, 시간 관리 및 부적절한 학습 시간과 관련되어 있음을 발견했습니다. Olmesdahl은 이러한 인식 된 우려가 "많은 수의 학생들에게 심각한 불안과 스트레스"(177 쪽)의 표시라고 제안했다.

Olmesdahl found that the most serious concerns of M2 and M3 students were related to 

  • volume of work, 

  • learning methods and strategies, 

  • time management, and 

  • inadequate study time; 

Olmesdahl suggested that these perceived concerns were an indication of “serious anxiety and stress for large numbers of students” (p. 177).6


연구에 따르면 불안감이 증가하면 인지 과정에 부정적인 영향을 줄 수 있다는 연구 결과가 있습니다 .9 불안한 학생들은 공부하기 위해 노력을 하면서도, on-task가 아니라 off-task에 더 많은 시간을 보내며, 자료를 더 깊게 배우는 대신 정보를 암기하는 것에 더 많은 시간을 보냅니다. 많은 연구에서 의대 불안과 전반적인 불안이 의대 학생 인구에서 드문 일이 아니며 스트레스 관리 교육이 대부분 의과 대학에서 적절히 다루어지지 않는 경우가 있음을 지적했다 .7,17,18 또한, 학생들이 의대에서 스트레스에 대처하는 법을 배우지 않을 때, 그들의 개인적 및 직업적 삶이 의사로서 부정적인 영향을 줄 수 있다고 제안했다.

Research has shown that increased anxiety can negatively affect cognitive processing.9 It has been suggested that anxious students spend more time off-task than on-task while attempting to study, spending more time attempting to memorize information instead of learning the material at a deeper level.5,14 A number of studies have indicated that test anxiety and overall anxiety is not uncommon in medical student populations, and stress management education is often not adequately addressed in most medical schools.7,17,18 In addition, it has been suggested that when students do not learn how to cope with stress in medical school, their personal and professional lives may be negatively impacted as physicians.19,20




방법

METHODS


대상자

Participants


The 36 allopathic and osteopathic medical schools located in the central region of the United States were contacted to determine 

  • (a) the types of support services offered to medical students, 

  • (b) the types of problems experienced by medical students during each year, and 

  • (c) the six most common academic problems observed across all 4 years of medical school.


도구

Instrument


The initial survey consisted of 18 multiple-part questions; several forced-choice questions required responses separated by medical years 1 through 4 (M1–M4) with up to 24 categories per question to determine the various types of support services offered and the specific types of academic problems observed by each year.


결과

RESULTS


지원 서비스

Support Services


설문 조사에 응답 한 33 개 캠퍼스 중 26 개에는 지원 서비스를 제공하는 특정 인력 또는 부서가있었습니다. 7 개의 캠퍼스는 학업에 어려움을 겪는 학생들을 외부에 의뢰한다고 있다고 말했습니다. 서비스를 제공하는 26 개 캠퍼스의 lead people을 보면 10개에서는 박사 학위를 받았고 16 개에서는 석사 학위를 소지했습니다. 12 명은 교육 분야에서 전문 분야를, 12 명은 심리학 / 상담 분야에서, 1 명은 생리학 분야에서 전문 분야를 가지고 있다고보고했다.


Of the 33 campuses responding to the survey, 26 had a specific person or department to provide support services; 7 campuses referred students having academic difficulties to outside sources or consultants. Of the 26 campuses providing services, 10 of the lead people assisting students had doctorates and 16 had master’s degrees; 12 reported having a specialty area in education, 12 in psychology/counseling, and 1 in physiology.



일반적으로 대부분의 지원 서비스는 주로 의대의 첫 2 년 동안 제공됩니다.

In general, it appears that the majority of support services are offered primarily during the first two years of medical school.


대다수의 학교는 미국 의학 허가 시험 (USMLE)의 1 단계 (94 %) 및 2 단계 (76 %) 준비에 대한 일반적인 조언과 안내를 제공합니다. 73 %는 1 단계 준비를위한 개별화 된 학습 계획을 제안했으며 64 %는 학생들을위한 2 단계 준비 계획을 개별적으로 제안했습니다.

The majority of schools provide general advice and guidance for Step 1 (94%) and Step 2 (76%) preparation for the U.S. Medical Licensing Exams (USMLE). Seventy-three percent offered individualized study plans for Step 1 preparation,and 64% offered individualized Step 2 preparation plans for their students.


학업 곤란

Academic Difficulties


응답자의 80 % 이상이 의과 대학의 첫 2 년 동안 학생들은 시험 응시, 시험 불안 및 정보 조직과 관련된 문제에 대한 지원을 요청합니다. 이 숫자는 의과 대학의 3학년, 4학년이 되면 감소했다 (표 2).

Over 80% of the respondents reported that during the first two years of medical school, students seek assistance for problems associated with 

    • test taking, 

    • test-anxiety, and 

    • organization of information; 

these numbers decreased during the last two years of medical school (Table 2).


4 년간 의과 대학 전체에서 가장 흔한 여섯 가지 학생 문제는 자료, 시간 관리, 테스트 및 내 / 외부 문제 (표 3)의 네 가지 범주로 분류되었습니다.

The six most common student problems across all four years of medical school fell into four categories: 

    • materials, 

    • time management, 

    • testing, and 

    • internal/external difficulties (Table 3).





전문직업적 요구

Professional Needs


약 23 명의 응답자는 의학적 어려움을 겪고있는 의대생의 요구가 무엇인지에 관한 질적 인 질문에 대답했습니다. 이러한 반응을 분석 할 때 다섯 가지 주제가 나타났습니다.

  • 가장 보편적 인 주제는 자원 증가에 관한 것이 었습니다. 응답자의 52 %는 예산, 자재, 평가 및 테스트 도구, 공간, 전문성 개발을위한 여행 비용, 서비스(M3 및 M4)와 같은 것들을 필요로한다고 언급했습니다.

  • 두 번째 테마는 지속적 교육 / 정보 교환이었습니다. 39 %는 학습 장애 (LD), 주의력 결핍 장애 (ADD), 학습 장애, 아이디어 교환 및 주요 문제 토론, 평가, 학습에 관한 교수를위한 제안 및 CME 과정과 같은 주제에 대해 더 많이 배울 필요성을 인식했습니다.

  • 세 번째 주제는 인력 충원 증가에 관한 것이었다. 39 %는 학습 전문가, 사무직 또는 지원 직원, 교사의 필요성을 표명했습니다.

  • 네 번째 떠오르는 주제는 스킬 개발을 위해 학생에게 제공되는 시간이었습니다. 응답자의 26 %는 학습 기술 개발, 독서 또는 시험에 응시할 수없는 학생을 돕기위한 예정된 시간을 보고 싶어합니다. 한 응답자는 "[나는] 대응적reactive 이라기보다는 선제적proactive 접근 방식을 원한다"이라고 썼다.

  • 등장 할 마지막 테마는 상담/의뢰이었습니다. 한 응답자는 정신과 적 평가 서비스의 필요성을 인식하고 다른 응답자는 학생들에게 상담을 의뢰 할 장소가 필요했습니다.


Approximately 23 respondents answered the qualitative question regarding what are the professional needs of those assisting medical students experiencing academic difficulties. In analyzing these responses, five themes emerged. 

  • The most prevalent theme pertained to increased resources; 52% of the respondents commented on needing such things as increased budgets, materials, assessment and testing tools, space, travel money for professional development, and services for M3 and M4s. 

  • The second theme to emerge was continued education/information exchange; 39% perceived a need to learn more about topics such as learning disabled (LD), attention deficit disorder (ADD), learning disabilities, networking to exchange ideas and discuss major issues, assessment, suggestions for faculty regarding learning, and CME courses. 

  • The third theme pertained to increased staffing; 39% expressed the need for learning specialists, clerical or support staff, and tutors. 

  • The fourth emerging theme was time provided in students’ schedules for skill development; 26% of the respondents would like to see a scheduled time for study skill development, reading, or for helping students who fail exams. One respondent wrote “[I] want to be able to have a proactive approach rather than reactive.” 

  • The last theme to emerge was counseling assessments/referrals; one respondent perceived a need for psychiatric assessment service, and another respondent needed a place to refer students for counseling.


고찰

DISCUSSION


대다수의 학교가 학습 기술과 관련된 지원 서비스를 제공하지만 응답자는 가용한 학습 기술 지원보다 어려움을 겪고있는 학생이 더 많다고보고했습니다.

Although the majority of schools do provide support services related to study skills, respondents reported more students having difficulties in this area than the availability of study skills assistance.


4 년간 의과 대학에서 가장 일반적으로 발생하는 여섯 가지 문제의 결과를 검토 할 때 두 가지 중요한 아이디어가 떠오른다. 첫 번째는 의대에서 필요한 높은 수준의 학업, 시험, 스트레스 관리 기술 없이도 학생들은 학부를 졸업하고 의과대학에 입학 할 수 있다는 것입니다. 올메스 달 (Olmesdahl)은 "놀라움을 금치 못했습니다"라고 말하면서 그의 의학 연구에 참여한 의대생 중 약 1/3이 여전히 학습 기술에 대한 지원을 필요로하며, 교육 프로세스가 이 학생들을 낙제시켰다고 지적했다. 두 번째 아이디어는 이러한 6 가지 문제 모두가 연관되어 있다는 것입니다.

In examining the results of the six most common problems across all four years of medical school, two important ideas come to mind. The first is that students are able to complete their undergraduate degrees and enter medical school without having developed the high level of study, testing, and stress management skill sets necessary in medical school. Olmesdahl was “astonished” that nearly one third of the medical students in his study still needed assistance with study skills, suggesting that the educational process has failed these students.6 The second idea is that all six of these problems are connected.


학생들이 많은 양의 정보를 구성하고 통합하는데 필요한 효과적인 학습 기술이 부족할 때, 정보를 이해하려고 시도하는 데 더 많은 시간을 할애하거나, 시간을 비효율적으로 사용하여 표면 학습 접근법을 얻게됩니다. 결과적으로 이것은 낮은 시험 결과로 이어질 수 있으며, 궁극적으로 검사 불안 및 일반적인 스트레스로 이어질 수 있습니다. 이 인지 불안 연결은 문헌에서 뒷받침된다.

when students lack effective study skills to organize and integrate large amounts of information, they spend more time attempting to make sense of the information, or their time is spent ineffectively memorizing the materials resulting in a surface learning approach. As a result, this can lead to poor test results, which may then lead to test anxiety and/or general stress; −8,13 this cognitive-anxiety link is supported in the literature.6


Olmesdahl의 연구에 참여한 학생들은 의대가 그들의 필요를 충족시키기 위해 학습 능력 향상에 대한 조직된organized 코스를 제공 할 것을 제안했습니다. 이것은 M2와 M3 학생들에게 가장 순위가 높은 해결책이었다.6 Arnold와 Feighny는 의대에서의 성공적인 학습 방법을 선택하기 위해 학생들이 다양한 학습 기술을 알아야한다고 제안했습니다 .2이 연구에서 73%의 학교는 학생들에게 학습 기술 지원을 제공했습니다. 그러나 59 %만이 학습 스타일 평가를 제안했으며, 응답자는 평가 도구 및 학습 전문가가 학생들을 위해 더 나은 지원 서비스를 제공 할 필요성을 인식했습니다.

Students participating in Olmesdahl’s study suggested the medical school provide an organized course in study skills improvement to meet their needs; this received the highest ranked solution among M2 and M3 students.6 Arnold and Feighny suggested that students need to know a variety of learning skills in order to select the proper learning approach to be successful in medical school.22 This study revealed that 73% of the schools offered study skills assistance to their students. However, only 59% of the schools offered learning styles assessment, and respondents perceived a need for assessment tools and learning specialists to provide a better support services for their students.


MBTI 또는 다른 학습 스타일 평가가 활용되는지 여부에 관계없이 각 학생의 학습 선호도에 대한 지식은 학생과 교수진에게 큰 잠재력이 있다고 생각됩니다 .5,23

Whether the MBTI or another learning style assessment is utilized, knowledge of each student’s learning preference is thought to have great potential for the student and the faculty.5,23


의대에 입학 한 사람들이 성공에 필요한 학문적 기술을 갖추었을 것이라는 생각은 직관적으로 보이지만, 학생들은 학부때처럼 공부하면 될것이라는 생각으로 의대에 입학하며, 이러한 기대는 더 깊은 수준까지 공부하지 않는 학생들에게는 비현실적입니다 .24,25 학생들은 결국 3 학년 경에 의대에서의 성공을 위해서 필요한 조정을하게됩니다.

Although it seems intuitive that those admitted to medical school would have the necessary academic skills to succeed, it has been suggested that students enter medical school expecting to study as they did as undergraduates; this expectation is unrealistic for those students who did not study at a deeper level.24,25 This study’s data suggest that students eventually make the necessary adjustments to be successful in medical school sometime around the third year.


스트레스는 학생들이 4 년 동안 일관된 문제를 겪는 유일한 문제였습니다. 이는 의대와 관련된 스트레스에 관한 정보의 양을 감안할 때 놀랄 일이 아니다. 17,26 연구에 따르면 의대생의 주요 관심사는 학업 성취 및 / 또는 시험 불안이다. 10,26,31-35 증가하는 의과 대학은 스트레스 감소 프로그램을 제공합니다;

Stress was the only issue that students tended to have consistent problems with across all four years. This is not surprising given the amount of information there −30 is regarding the stress associated with medical school.17,26 Studies have found that medical students’ main concerns are academic performance and/or test anxiety.10,26,31−35 An increasing number of medical schools offer stress reduction programs;


결과적으로, 인지 능력을 갖춘 학생들도 집중력과 정보 처리 능력을 저해하는 스트레스 나 시험 불안으로 인해 학습력이 부족하거나 잘 수행되지 않을 수 있습니다. Paul 등은 학생들이 수업 및 시험 시작시 5 분간 심호흡 운동을 정기적으로 수행함으로써 시험 불안, 자기 의심 및 신경질에 대한 인식을 현저하게 줄였으며, 집중력이 증가한 것으로 보고하였습니다.

As a result, students with the cognitive abilities to succeed may study and/or perform poorly due to stress or test anxiety interfering with their concentration and ability to process information.37 Paul, et al. found when students were allowed to regularly perform 5 min of deep breathing exercises at the start of classes and exams, they significantly reduced their perceptions of test anxiety, self-doubt, and nervousness and reported increased levels of concentration.38


RECOMMENDATIONS


시험 불안과 기타 스트레스가 4 년에 걸친 공통된 문제 였기 때문에 스트레스 관리를 커리큘럼에 통합해야합니다. 이 중재는 비용을 들이지 않고 시행 될 수 있으며, 수업 및 시험 시작시 5 분간 심호흡 운동을 사용하는 것과 같은 방식으로 쉽게 구현 및 평가할 수 있습니다.


As test anxiety and other stresses were common problems across all 4 years, a third area of research should incorporate stress management into the curriculum. This intervention could be implemented without any cost involved and, as shown in Paul’s study of using 5 min of deep breathing exercises at the start of classes and exams, could easily be implemented and evaluated.38










 2009 Jul;21(3):254-60. doi: 10.1080/10401330903021041.

Academic development: a survey of academic difficulties experienced by medical students and support services provided.

Author information

1
Department of Medical Education, Southern Illinois University School of Medicine, Carbondale, Illinois, USA. rpaul@siumed.edu

Abstract

BACKGROUND:

The Academic Development Special Interest Group (ADSIG) of CGEA was formed to act as a resource for those assisting at-risk students. It is not uncommon for medical students to have varying degrees of learning and coping skills. Thus, it is important to assist students in determining their source of difficulty and provide them with resources to be successful.

DESCRIPTION:

ADSIG surveyed 36 Midwestern medical schools to identify the support services offered, problems experienced by students, and the professional needs of those assisting students having difficulties. The response rate was 83%.

EVALUATION:

Approximately 79% of the schools provide a variety of support servicesStudents generally sought assistance for problems related to testing, management of time and instructional materials, course remediation, and needing tutors during their first two years. Help for general stress and anxiety remained constant across all four years.

CONCLUSION:

Medical schools need to take a proactive approach in helping students develop the necessary skills that can prevent academic difficulties.

PMID:
 
20183347
 
DOI:
 
10.1080/10401330903021041


EPA 핵심 개념(J Grad Med Educ, 2013)

Nuts and Bolts of Entrustable Professional Activities 

Olle ten Cate, PhD




The Challenge


신뢰할 수있는 전문 활동 (EPA) 개념을 통해 교수는 연수생에게 필요한 감독 수준에 대해 역량 기반 결정을 내릴 수 있습니다. 역량 기반 교육은 모든 학습자가 교육 완료시 충분한 수준의 숙련도를 유지할 수 있도록 표준화 된 숙련도를 목표로합니다 .1-6 ACGME 또는 CanMEDS 역량은 그 전체를 합하면 전문가의 자질을 설명하는 프레임 워크를 구성합니다. 그러한 틀은 교육과 평가에서 일반적인 설명을 제공한다. 그러나 이러한 프레임 워크는 의료 실천medical practice의 세계로 번역되어야합니다. 역량 프레임 워크가 일상적인 업무에서의 훈련 및 평가에는 너무 이론적 일 것이라는 우려를 해소하기 위해, translation을 용이하게하기 위해 고안된 것이 EPA이다.

The entrustable professional activity (EPA) concept allows faculty to make competency-based decisions on the level of supervision required by trainees. Competency-based education targets standardized levels of proficiency to guarantee that all learners have a sufficient level of proficiency at the completion of training.1–6 Collectively, the competencies (ACGME or CanMEDS) constitute a framework that describes the qualities of professionals. Such a framework provides generalized descriptions in teaching and assessment. However, these frameworks must translate to the world of medical practice. EPAs were conceived to facilitate this translation, addressing the concern that competency frame-works would otherwise be too theoretical to be useful for training and assessment in daily practice. 


What Is Known


신뢰는 안전하고 효과적인 헬스케어를 위한 핵심 개념입니다. 환자는 의사를 신뢰해야하며, 의료 제공자는 고도로 상호 의존적 인 의료 시스템에서 서로를 신뢰해야합니다. 교육 환경에서 감독자는 연수생에게 언제 무엇에 대해 임상 책임을 맡길 것인가를 결정합니다. 이 개념을 바탕으로 한 EPA는 전문적인 실습professional practice의 단위이며, 충분한 특정 역량을 획득했을 때 갑독하지 않은 상태에서의 수행을 맡길 수 있는 업무 또는 책임으로 정의됩니다. EPA는 독립적으로 실행 가능하고, 관찰 가능하고,  측정 가능한 프로세스 및 결과로, 위임 결정에 적합합니다. 난이도, 위험도, 또는 정교함이 점진적으로 증가하는 순서로 EPA 순서를 배치하면 GME의 중추가 될 수 있습니다 .6


Trust is a central concept for safe and effective health care. Patients must trust their physicians, and health care providers must trust each other in a highly interdependent health care system. In teaching settings, supervisors decide when and for what tasks they entrust trainees to assume clinical responsibilities. Building on this concept, EPAs are units of professional practice, defined as tasks or responsibilities to be entrusted to the unsupervised execution by a trainee once he or she has attained sufficient specific competence. EPAs are independently executable, observable, and measurable in their process and outcome, and therefore, suitable for entrustment decisions. Sequencing EPAs of increasing difficulty, risk, or sophistication can serve as a backbone for graduate medical education.6



역량이 EPA와 다른 점은?

How Do EPAs Differ From Competencies?

  • EPA는 역량의 대체품이 아니라, 역량을 임상 실무로 translate하는 수단입니다.

EPAs are not an alternative for competencies, but a means to translate competencies into clinical practice.

  • 능력은 의사에 대한 설명이며, EPA는 직무에 대한 설명이다.

Competencies are descriptors of physicians, EPAs are descriptors of work.

  • 일반적으로 EPA는 여러 역량이 통합적, 전체적이 됨을 필요로합니다. 표 1은 다른 EPA가 몇 가지 역량 영역에서 숙련도를 요구하는지 보여줍니다.

EPAs usually require multiple competencies in an integrative, holistic nature. TABLE 1 shows howdifferent EPAs require proficiency in several competency domains.


완전한 EPA 기술에 필요한 것은?

What Is Included in a Full EPA Description?




마일스톤과 EPA는 어떻게 연결되는가?

How Do EPAs Relate to Milestones?


ACGME의 정의에 따르면, 마일스톤은 특정 역량이 발달하는 단계입니다. 이정표는 감독자의 EPA 결정 (예 : 직접 감독 감독 대 원격 감독)과 연결될 수 있습니다.


Milestones, as defined by the ACGME, are stages in the development of specific competencies. Milestones may link to a supervisor’s EPA decisions (eg, direct proactive supervision versus distant supervision).


위임 결정에 필요한 것은?

What Do Entrustment Decisions Require?


위임 결정을 위해서는 자신의 한계를 이해하고 언제 도움을 요청해야하는지 등의 일반적인 능력뿐만 아니라 임상 기술 및 능력을 고려해야 한다. 독립적 의료행위 수행에 대한 위임 결정을 내리려면 일반적으로 다수의 상황에서 숙련도를 관찰할 필요가 있다.


Entrustment decisions involve clinical skills and abilities as well as more general facets of competence, such as understanding one’s own limitations and knowing when to ask for help. Making entrustment decisions for unsupervised practice requires observed proficiency, usually on multiple occasions.


현실에서 위임 결정은 4 가지 변수 그룹에 의해 영향을받습니다.

(1) 훈련생의 속성 (피로, 자신감, 훈련 수준);

(2) 감독자의 속성 (예 : 관용 또는 엄격);

(3) 상황 (예 : 하루 중 시간, 이용 가능 시설); 과

(4) EPA의 성질 (희귀, 복합 대 보통, 용이).

In practice, entrustment decisions are affected by 4 groups of variables: 

(1) attributes of the trainee (tired, confident, level of training); 

(2) attributes of the supervisors (eg, lenient or strict); 

(3) context (eg, time of the day, facilities available); and 

(4) the nature of the EPA (rare, complex versus common, easy). 


위임 결정은 임시적 (예 : 야간 근무 중 발생) 또는 구조적 (연수생이 특정 감독 수준에서 이 활동을 수행 할 수 있다는 인식을 확립)과 같이 더 구분할 수 있습니다. 임상 맥락에서는 매일 많은 임시적 위임 결정이 발생합니다. 구조적 위임 결정은 연수생이 감독을 덜 해도 되는 기준을 통과했음을 공식적으로 인정합니다. 그러한 경우에 수여되는 인증서는 책임수여증서(STAR)로 불려지므로, 신중하게 문서화해야합니다 .2

Entrustment decisions can be further distinguished as ad hoc (eg, happening during a night shift) or structural (establishing the recognition that a trainee may do this activity at a specific level of supervision from now on). In the clinical context, many ad hoc entrustment decisions happen every day. Structural entrustment decisions formally acknowledge that a trainee has passed a threshold that allows for decreased supervision. The certificate awarded at such occasions has been called a statement of awarded responsibility (STAR) and should be carefully documented.2



오늘부터 시작하자

How You Can Start TODAY


몇 개의 EPA 수련에 필요한지 결정하십시오.

Decide how many EPAs are useful for training.


임시적 위임 결정을 내리는 데 도움이되는 많은 EPA가있을 수 있지만, 구조적 위임 결정 (즉, 인증 또는 STAR)을 유도하는 EPA는 광범위한 책임을 수반하고 그 숫자가 제한적이어야 합니다. GME 프로그램의 경우 20-30 개의 EPA만이 권장됩니다.

While there can be many EPAs that serve to make ad hoc entrustment decisions, EPAs that lead to structural entrustment decisions (ie, certification or STARs) should involve broad-based responsibilities and be limited in number. For a graduate medical education program, no more than 20 to 30 EPAs are recommended.


평가에 EPA 활용하기

Use of EPAs in Assessing Trainees


EPA가 평가의 초점이 될 수 있습니다. 중요한 질문은 다음과 같습니다. 이 연수생이 이 EPA를 실행할 수 있다고 믿을 수 있습니까? 답은 EPA의 5 단계 감독 수준으로 번역 될 수 있습니다.

EPAs can be the focus of assessment. The key question is: Can we trust this trainee to execute this EPA? The answer may be translated to 5 levels of supervision for the EPA:


1. 직접 감독하에도 관측은 가능하지만 수행은 안된다.

2. 직접적이고 능동적 인 감독하에 실행

3. 요구시에 즉시 도와줄 수 있는 반응적감독 하에서 수행

4. 멀리 떨어진 곳에서의 감독 및 / 또는 사후 관리

5. 연수생이 더 많은 동료들에게 감독을 제공할 수 있음

1. Observation but no execution, even with direct supervision

2. Execution with direct, proactive supervision

3. Execution with reactive supervision, ie, on request and quickly available

4. Supervision at a distance and/or post hoc

5. Supervision provided by the trainee to more junior colleagues


What You Can Do LONG TERM








 2013 Mar;5(1):157-8. doi: 10.4300/JGME-D-12-00380.1.

Nuts and bolts of entrustable professional activities.

Comment in

PMID:
 
24404246
 
PMCID:
 
PMC3613304
 
DOI:
 
10.4300/JGME-D-12-00380.1


MD학위의 토대 정의: 1년차 전공의를 위한 Core EPA(Acad Med, 2016)

Toward Defining the Foundation of the MD Degree: Core Entrustable Professional Activities for Entering Residency

Robert Englander, MD, MPH, Timothy Flynn, MD, Stephanie Call, MD, MSPH, Carol Carraccio, MD, MA, Lynn Cleary, MD, Tracy B. Fulton, PhD, Maureen J. Garrity, PhD, Steven A. Lieberman, MD, Brenessa Lindeman, MD, MEHP, Monica L. Lypson, MD, MHPE, Rebecca M. Minter, MD, Jay Rosenfield, MD, MEd, Joe Thomas, MD, Mark C. Wilson, MD, MPH, and Carol A. Aschenbrener, MD



LCME (Liaison Committee for Medical Education)에서 정한 표준은 교육 성과보다는 필수 주제와 학생 경험에 더 중점을 둡니다. 모든 학부 과정은 결과 기반 학습 목표를 가져야하지만, LCME 표준은 이러한 "결과"가 무엇이어야하는지에 대한 지침을 제공하지 않습니다 .2

Standards set by the Liaison Committee on Medical Education (LCME) focus more on required subject matter and student experiences than on educational outcomes. Although all undergraduate courses must have outcomes-based learning objectives, the LCME standards do not provide guidance as to what those “outcomes” should be.2


결과적으로 특정 임상 적 능력과 의학 학위 (MD) 졸업 예정자에 대한 acument에 대한 의견 차이가 있습니다. 이러한 명확하고 표준적인 기대치의 결여로 인해 레지던시 프로그램 디렉터의 기대와 새로운 레지던트의 성과 사이에 격차가 생기고, 레지던트의 성과에 (학교마다) 중대한 이질성이 생겼다 .3-6

As a result, there is disagreement about the specific clinical abilities and acumen that should be expected of a medical degree (MD) graduate. This absence of clear, standard expectations has led to a gap between residency program directors’ expectations and new residents’ performance and to significant heterogeneity in entering residents’ performance.3–6


문헌은 레지던트가 종종 감독없이 수련 초기에 임상 업무를 수행하고 있다는 증거로 가득 차 있습니다. 예를 들어 레이몬드 (Raymond)와 동료 7 명은 10 가지 핵심 전문 분야에서 2,500 명 이상의 거주자를 연구하여 일상적인 업무 (보험 회사와의 간호 토론)에서 감정적 인 라덴 (화난 환자 관리), 기술적 인 도전 ) 처음 며칠 동안.

The literature is replete with evidence that residents are trusted to perform clinical tasks early in residency often without supervision. For example, Raymond and colleagues7 studied more than 2,500 residents from 10 core specialties who reported performing activities from the routine (discussing a patient’s care with an insurance company) to the emotionally laden (managing an angry patient) to the technically challenging (performing a thoracentesis) during their first days.


지난 10 년 동안 미국과 캐나다의 의학 교육자들은 의대에서 레지던트로의 전환을 포함하여 교육 및 훈련의 전환에 초점을 맞추기 시작했습니다.

Over the past decade, medical educators in the United States and Canada have begun to focus on the transitions in education and training, including the transition from medical school to residency.8,9


개발 지침

Guiding Principles for Developing the Core EPAs for Entering Residency


Drafting Panel은 몇 가지 지침 원칙을 수립했으며, 첫 번째는 환자 안전이 이 작업의 주요 동기가 될 것이라는 것입니다. "7 월 효과"의 존재 여부에 상관없이, 본 연구에 참여하기위한 우리의 이론적 근거는 주로 두 가지 환자 안전 문제에 기반을두고 있습니다 : 

(1) 새로운 레지던트의 임상 기술은 매우 가변적이며 프로그램의 기대에 항상 부합하지 않습니다 

(2) 레지던트들은 직접적인 감독없이 적절한 지시 나 평가를받지 못한 많은 활동을 수행합니다.

The Drafting Panel established several guiding principles, the first being that patient safety would be the primary motivator for this work. Whether or not the “July effect” exists,12,13 our rationale for engaging in this work was primarily based on two patient safety issues: (1) The clinical skills of new residents are highly variable and do not always meet the expectations of program directors,5,14,15 and (2) residents perform many activities for which they may not have had adequate instruction or assessment without direct supervision.16


두 번째 기본 원칙은 전문과 선택과 상관없이 모든 의사에게 적용되는 공통 기술의 "핵심"을 개발하는 것이 었습니다. 포괄적 인 의과 대학 교육은 모든 의료 학교 졸업생 (예 : 절차 전문 봉합)에 적용하기보다는 전문 분야에 특화된 기술뿐만 아니라 환자 치료 이외의 학교 사명과 관련된 추가 기술 교육을 포함합니다. 우리는 이러한 추가 기술을 다루려고 시도하지 않았습니다.

The second guiding principle was to develop a “core” of common skills that apply to all physicians, regardless of specialty choice. A comprehensive medical school education includes instruction in additional skills linked to the school’s mission beyond patient care as well as in skills that are specific to a specialty rather than applicable to all medical school graduates (e.g., suturing for the procedural specialties). We did not attempt to address these additional skills.


세 번째 기본 원칙은 학습자 평가가 의학 교육의 핵심 요구 사항을 성공적으로 구현하는 데 중요하다는 것입니다. 우리는 잦은 형성적 평가에 기초한 평가 시스템을 계획하여 종합적인 증거에 기반한 위탁 결정을 궁극적으로 완성했습니다.

Our third guiding principle was that learner assessment is critical to the successful implementation of any core requirements in medical education. We envisioned an assessment system based on frequent formative assessments, ultimately culminating in entrustment decisions based on the aggregate evidence.


마지막으로, 우리의 네 번째 기본 원칙은 이러한 핵심 요구 사항의 구현은 교수개발을 위한 강력한 자원과 결합되어야한다는 것입니다. 교수진은 교수, 평가 및 피드백에 대한 새로운 접근법을 배우고 직접 감독없이 특정 업무를 수행 할 준비가되어 있는지에 대한 위탁 결정을 내릴 수있는 기술을 개발해야합니다.

Finally, our fourth guiding principle was that implementation of such core requirements must be coupled with robust resources for faculty development. Faculty will need to learn new approaches to teaching, assessment, and feedback and develop the skills to make entrustment decisions regarding a student’s readiness to perform specific tasks without direct supervision.


개념 프레임워크

Conceptual Framework: Choosing EPAs and Linking Them to Competencies and Milestones


EPAs의 개념은 2005 년에 추상적이고, 맥락에 독립적이며, 세분화 된 역량의 본질에 따르는 한계를 극복하기위한 실질적인 접근법으로서 도입되었습니다. EPA는 care delivery에 중점을 두는 관찰 가능하고 측정 가능한 작업 단위이며, 따라서 평가 프로세스를 학습자가 실제로하는 일과 직장에서 관찰하는 내용과 일치시킵니다. EPAs는 또한 평가 방정식에 대한 다양한 수준의 감독에 대한 신뢰 개념과 그 의미를 소개한다.

The concept of EPAs was introduced in 2005 as a practical approach to overcoming the limitations created by the abstract, context- independent, and granular nature of competencies. EPAs are observable and measurable units of work that focus on care delivery and, as such, align the assessment process with what learners actually do and what faculty observe in the workplace. EPAs also introduce the notion of trust and its implications for variable levels of supervision to the assessment equation.19


  • EPA는 교육자가 학습자와 실제 care 전달에 필요한 역량의 통합을 평가할 수있게 해줍니다. 

  • 역량은 임상 활동의 성공적인 수행을 뒷받침하는 학습자 능력의 세분화 된 구성 요소에 대한 설명을 용이하게합니다. 

  • 역량과 이정표는 주어진 EPA에 대한 위임으로 진행할 수없는 학습자를 "진단"하는 역할을 할 수 있습니다.

  • EPAs allow educators to assess a learner’s integration of the competencies needed for actual care delivery into her or his performance. 

  • The competencies in turn facilitate the description of the granular components of the learner’s abilities that underpin the successful performance of clinical activities. 

  • Competencies and their milestones thus can serve to “diagnose” a learner who is unable to progress to entrustment on a given EPA.


EPAs는 처음에는 수퍼바이저가 연습하지 않고 EPA를 연습 할 수있는 능력에 연계 된 위탁 교육을 통해 레지던트 전환을 위해 설계되었습니다. 우리는 UME-GME 전환을 위해 이 위임 개념을 채택했다 .17,18 신규 레지던트는 항상 직접 감독 (직접 감독관) 또는 간접 감독 (수석 주민 또는 교수진 즉시 지원 가능) 중 하나를가집니다. 따라서 우리는 레지던트에 들어가기위한 핵심 EPA를 "모든 레지던트들이 직접 감독없이 거주 첫날에 수행해야하는 활동"으로 정의했습니다.

EPAs were initially designed for the residency-to-practice transition with entrustment linked to the learner’s ability to practice the EPA unsupervised. We adapted this entrustment concept for the UME-to-GME transition.17,18 New residents always have either direct supervision (supervisor directly in the room) or indirect supervision (senior residents or faculty immediately available to assist). Therefore, we defined the core EPAs for entering residency as “activities that all entering residents should be expected to perform on day one of residency without direct supervision.”11


Getting to the Final 13: Why These EPAs?


List 1 Final 13 Core Entrustable Professional Activities for Entering Residency11


1. Gather a history and perform a physical examination

2. Prioritize a differential diagnosis following a clinical encounter

3. Recommend and interpret common diagnostic and screening tests

4. Enter and discuss orders/prescriptions

5. Document a clinical encounter in the patient record

6. Provide an oral presentation of a clinical encounter

7. Form clinical questions and retrieve evidence to advance patient care

8. Give or receive a patient handover to transition care responsibility

9. Collaborate as a member of an interprofessional team

10. Recognize a patient requiring urgent or emergent care and initiate evaluation and management

11. Obtain informed consent for tests and/or procedures

12. Perform general procedures of a physician

13. Identify system failures and contribute to a culture of safety and improvement


See List 1 for the final 13 EPAs.11


EPA를 핵심 역량에 매핑하기

Mapping the EPAs to Their Critical Competencies


See List 2 for these domains of competence and 

List 3 for examples of the competencies within the domain of patient care.


다음으로 Q-sorting 방법론을 사용하여 각 EPA에 대해 5 ~ 8 가지 가장 중요한 역량에 대한 합의를 이끌어 냈습니다. 이론적으로 각 EPA는 여러 역량에 매핑 될 수 있지만 그 중 소수만이 위탁에 도달해야합니다. 우리는 핵심 역량을 학습자가 직접 감독없이 활동을 수행하기 전에 증명해야하는 역량으로 정의했습니다. 예를 들어 자동차 운전에는 점화, 조향, 제동 및 GPS 관리 역량이 포함됩니다. 이 경우 첫 번째 세 가지 역량은 새 드라이버에 대한 위탁 결정에 중요 할 수 있지만 마지막 것은 그렇지 않습니다. 마찬가지로, 신규 거주자는 수혈, 중추선 또는 예방 접종과 같은 업무에 대한 직접 감독없이 정보에 입각 한 동의를 얻을 수 있어야합니다. 그렇게하려면 관리 계획을 수립하고 실행하고 환자와 그 가족을 상담하고 교육하는 것과 같은 환자 치료 역량이 필요합니다. 비록 그러한 procedure를 수행하는 것(환자 치료 -1)이 정보에 입각 한 동의를 얻는 데 중요 할 수도 있지만, 레지던트는 수혈처럼 그들이 직접 하지 않는 절차에 대한 동의를 얻는 경우도 많으므로 procedure에 관한 역량은 informed consent EPA에 연결하지 않았습니다.

Next, we used a Q-sorting methodology to reach consensus on the five to eight most critical competencies for each EPA. Theoretically, each EPA could be mapped to many competencies, but only a few of those are required to reach entrustment. We defined critical competencies as those that must be demonstrated before a learner may perform the activity without direct supervision. For example, driving a car includes competencies in ignition, steering, braking, and managing a GPS. In this case, the first three competencies would be critical to an entrustment decision for a new driver, while the last is not. Similarly, a new resident should be able to obtain informed consent without direct supervision for tasks such as blood transfusions, central lines, or immunizations. Doing so requires patient care competencies such as developing and carrying out management plans and counseling and educating patients and their families. Although performing the procedure (Patient care-1) might seem critical to obtaining informed consent, residents often obtain consent for procedures they do not do (e.g., blood transfusion), so we did not link procedural competency to the informed consent EPA. 


핵심 역량을 위한 마일스톤 개발

Developing Milestones for the Critical Competencies


위에서 설명한 프로세스를 통해 13 개 이상의 EPA 중 하나 이상에 연결된 각 역량에 대한 이정표를 만들었습니다. 이정표는 발달 연속체를 따라 수행 수준을 향상시키는 학습자의 행동 적 기술자입니다. 우리의 이정표는 시간 내과, 27 건의 외과, 28 건의 소아과, 29 건의 정신과학, 30 건의 응급 의학에서 발표 된 5 세트의 ACGME 전문 이정표에서 주로 얻었습니다 .31 우리는 각 역량에 대해 두 가지 이정표를 개발했습니다. 또는 선임 할 수있는 학습자이고 다른 하나는 직접 감독없이 활동을 수행 할 자격이있는 것으로 정의 된 위임 할 수있는 학습자를 대표한다.


We created milestones for each of the competencies linked to 1 or more of the 13 EPAs through the process described above. Milestones are behavioral descriptors of learners at advancing levels of performance along a developmental continuum. Our milestones were derived predominantly from the five sets of ACGME specialty milestones that were published at the time—internal medicine,27 surgery,28 pediatrics,29 psychiatry,30 and emergency medicine.31 We developed two milestones for each competency—one representing a novice or preentrustable learner and the other representing an entrustable learner, defined as one who is competent to perform the activity without direct supervision.


평가 가이드와 교수 개발

Guiding Assessment and Faculty Development


우리는 선행적이고 신뢰할 수있는 학습자를 위한 이정표를 기반으로 각 EPA에 대한 묘사적인 행동 서사 및 사례 비 네트를 만들었습니다. 그림 1은 EPA, 역량 및 이정표 간의 관계와이 서술 설명을 작성하기위한 이정표의 사용 결과를 보여줍니다.

we created descriptive behavioral narratives and case vignettes for each EPA based on the milestones for preentrustable and entrustable learners. Figure 1 depicts the relationship between EPAs, competencies, and milestones and the resultant use of the milestones to build these narrative descriptions.


최종 버전에는 각 EPA에 대한 설명, 주요 기능 목록, 핵심 역량 및 중요 시점에 대한 링크, 예상 행동 및 임상 적 비 네트에 대한 서술 및 2014 년 6 월에 공유 된 내용이 포함되어 있습니다 .11

The final version includes a description of each EPA, a list of key functions, links to critical competencies and milestones, and narrative descriptions of expected behaviors and clinical vignettes for both preentrustable and entrustable learners, and was shared in June 2014.11



다음 단계

Next Steps: Testing the EPAs in the Field


커리큘럼을 개발할 때 교육자는 구조적 함의에주의를 기울일 필요가 있습니다. 학생들에게 위탁을 가장 효과적으로 전가시키는 교육 구조는 무엇입니까?

In developing curricula, educators will need to pay attention to structural implications. What is the educational structure that best advances students toward entrustment?


핵심 EPA의 최종 목록이 2 년 이내에 발표되었지만이 프레임 워크를 구현하고 테스트하기위한 두 가지 조사 방법이 이미 진행 중입니다. 첫째, AAMC는 각 EPA를 가르치고 의대생을 위탁하기위한 경로를 묘사하는 데 필요한 교과 과정, 평가 및 교수 개발 프로그램을 정의하기 위해 회원 의대 중 10 개국의 다년간 파일럿을 후원합니다.

Although publication of the final list of core EPAs happened less than two years ago, two avenues of inquiry are under way already to implement and test this framework. First, the AAMC is sponsoring a multiyear pilot with 10 of its member medical schools to define the curriculum, assessment, and faculty development program needed to teach each of the EPAs and to delineate pathways to entrustment for medical students.


또한 메릴랜드 주 볼티모어에서 열린 2015 년 AAMC 의학 교육 회의에는 기관이 핵심 EPA를 구현하는 방법에 대한 2 시간짜리 포스터 세션이 포함되었습니다.

In addition, the 2015 AAMC medical education meeting in Baltimore, Maryland included a two-hour poster session devoted to how institutions are implementing the core EPAs.


네덜란드와 독일은 의대 졸업생을위한 핵심 EPA 개발에도 관여하고 있습니다.

The Netherlands and Germany also are engaged in developing core EPAs for their medical school graduates.


핵심 EPA의 구현은 AAMC의 Continuum 프로젝트 (www.aamc.org/initiatives/epac/) 소아과 교육 (Education in Pediatrics) (4 개 기관의 소규모 학습자를 대상으로하는 파일럿 프로그램)을 통해 테스트됩니다.

Implementation of the core EPAs also will be tested through the AAMC’s Education in Pediatrics Across the Continuum project (www.aamc.org/initiatives/epac/), a pilot program involving a small number of learners at four institutions.


핵심 EPA와 전문 분야 및 하위 분야 EPA를 연결하면 전문 개발 궤도에 중요한 영향을 미칠 수있는 연속적인 학습 및 평가가 가능합니다. 

  • 첫째, 학습자가 숙련 된 기술로 거주하게되면 프로그램 디렉터와 교수진은 학습자의 능력을 평가할 필요없이 이러한 기본 기술을 즉시 구축 할 수 있습니다. 이것은 거주 기간 동안 발달 연속체를 따라보다 신속한 진전 기회를 제공합니다. 

  • 둘째, 수련 교육이 끝날 때 학습자의 수행 수준은 실습으로 전환됨에 따라 인증 유지의 첫 번째 사이클에 대한 학습을 ​​유도 할 수 있습니다.

Linking the core EPAs with specialty and subspecialty EPAs provides a continuum of learning and assessment that could have major implications for professional development trajectories. First, if learners enter residency with a known skill set, program directors and faculty can immediately build on these baseline skills without having to assess the learners’ abilities. This opens an opportunity for more rapid progress along the developmental continuum during residency. Second, learners’ level of performance at the end of residency training could guide their learning for the first cycle of maintenance of certification, as they transition into practice.


Conclusions


시행을 통해서만 우리는 이러한 13 가지 임상 과제에 대한 위탁이 [새로운 의사가 그들의 레지던트 기간이 시작될 때 책임을 맡을 준비가되어지고 첫날부터 환자에게보다 안전한 치료를 제공 할 것]이라는 가설을 시험 할 수 있습니다.

Only through implementation can we test the hypothesis that entrustment on these 13 clinical tasks will result in new physicians being better prepared to assume responsibilities at the outset of their residency years and provide safer care to their patients from day one.







11 Association of American Medical Colleges. Core entrustable professional activities for entering residency. 2013. https://www. mededportal.org/icollaborative/resource/887. Accessed March 1, 2016.


12 Young JQ, Ranji SR, Wachter RM, Lee Toronto, CM, Niehaus B, Auerbach AD. “July effect”: Impact of the academic year- end changeover on patient outcomes: A systematic review. Ann Intern Med. 2011;155:309–315.

XXX


13 Averbukh Y, Southern W. A “reverse July effect”: Association between timing of admission, medical team workload, and 30-day readmission rate. J Grad Med Educ. 2014;6:65–70.

XXX



 2016 Oct;91(10):1352-1358.

Toward Defining the Foundation of the MD DegreeCore Entrustable Professional Activities for Entering Residency.

Author information

1
R. Englander was senior director of competency-based learning and assessment, Association of American Medical Colleges, Washington, DC, at the time this work was done. He is now associate dean for undergraduate medical education, University of Minnesota Medical School, Minneapolis, Minnesota.T. Flynn is senior associate dean for clinical affairs, University of Florida College of Medicine, Gainesville, Florida.S. Call is program director for internal medicine, Virginia Commonwealth University School of Medicine, Richmond, Virginia.C. Carraccio is vice president for competency-based assessment programs, American Board of Pediatrics, Chapel Hill, North Carolina.L. Cleary is vice president for academic affairs, State University of New York Upstate Medical University, Syracuse, New York.T.B. Fulton is professor of biochemistry and biophysics and competency director for medical knowledge, University of California, San Francisco, School of Medicine, San Francisco, California.M.J. Garrity is associate professor of medicine and physiology and associate dean, University of Colorado Anschutz Medical Campus, Aurora, Colorado.S.A. Lieberman is senior dean for administration, University of Texas Medical Branch School of Medicine, Galveston, Texas.B. Lindeman is chief resident, Department of General Surgery, Johns Hopkins University School of Medicine, Baltimore, Maryland.M.L. Lypson is professor of internal medicine and learning health sciences, University of Michigan Medical School, and associate chief of staff for education, VA Ann Arbor Healthcare System, Ann Arbor, Michigan.R.M. Minter was associate professor of surgery and learning health sciences, associate chair for education, Department of Surgery, and associate program director in general surgery, University of Michigan Medical School, Ann Arbor, Michigan, at the time this work was done. She is now professor and Alvin Baldwin Jr. Chair, Department of Surgery, UT Southwestern Medical Center, Dallas, Texas.J. Rosenfield is vice dean of the MD program, Faculty of Medicine, University of Toronto, Toronto, Ontario, Canada.J. Thomas is a resident in emergency medicine, Mayo Clinic, Rochester, Minnesota.M.C. Wilson is clinical professor of internal medicine and associate dean for graduate medical education, University of Iowa Carver College of Medicine, and designated institutional official, University of Iowa Hospitals and Clinics, Iowa City, Iowa.C.A. Aschenbrener was chief medical education officer, Association of American Medical Colleges, Washington, DC, at the time this work was done.

Abstract

Currently, no standard defines the clinical skills that medical students must demonstrate upon graduation. The Liaison Committee on Medical Education bases its standards on required subject matter and student experiences rather than on observable educational outcomes. The absence of such established outcomes for MD graduates contributes to the gap between program directors' expectations and new residents' performance.In response, in 2013, the Association of American Medical Colleges convened a panel of experts from undergraduate and graduate medical education to define the professional activities that every resident should be able to do without direct supervision on day one of residency, regardless of specialty. Using a conceptual framework of entrustable professional activities (EPAs), this Drafting Panel reviewed the literature and sought input from the health professions education community. The result of this process was the publication of 13 coreEPAs for entering residency in 2014. Each EPA includes a description, a list of key functions, links to critical competencies and milestones, and narrative descriptions of expected behaviors and clinical vignettes for both novice learners and learners ready for entrustment.The medical education community has already begun to develop the curricula, assessment tools, faculty development resources, and pathways to entrustment for each of the 13 EPAs. Adoption of these core EPAs could significantly narrow the gap between program directors' expectations and new residents' performance, enhancing patient safety and increasing residents', educators', and patients' confidence in the care these learners provide in the first months of their residency training.

PMID:
 
27097053
 
DOI:
 
10.1097/ACM.0000000000001204


CBME와 쿤의 유령: 변신을 위한 지저분하고 의미있는 작업에 대한 성찰(Acad Med, 2018)

Competency-Based Medical Education and the Ghost of Kuhn: Reflections on the Messy and Meaningful Work of Transformation

Eric S. Holmboe, MD





Critical thoughts about the Core Entrustable Professional Activities in undergraduate medical education. Acad Med. 2018;93:371–376.



Edward Krupat는 학부 의학 교육 (UME) 및 역량 기반 의학 교육 (CBME)에서 위탁 가능한 전문 활동 (EPA)에 대한 신중한 비판을 제시했습니다 .1 Krupat는 "아마도 지금은 잠시 멈춰서 숨을 깊이들이 마시고, 우리가 뒤로 물러나거나 옆으로 옳은 방향으로 큰 걸음을 내딛고 있는지 물어보아야 할 때일 것이다. "1

In this issue of Academic Medicine, Edward Krupat has laid out some thoughtful criticisms of entrustable professional activities (EPAs) in undergraduate medical education (UME) and of competency-based medical education (CBME) in general.1 Krupat writes, however, that “perhaps now is the right time to pause, take a deep breath, and ask ourselves whether we are taking a major step in the right direction rather than a step back or to the side.”1


결과 기반 의학 교육의 주된 동력 중 하나는 20 대 후반과 21 세기 초에 [의대 졸업생들은 레지던트가 될 준비가 불충분하고, 레지던트 프로그램 졸업생들이 독립적 의료를 할 준비가 불충분하다는] 인식의 증가였습니다. 3-5 이와 동시에, The Institute of Medicine의 보고서 인 Err is Human6 및 Quality Crossing of Quality Chamm을 통해 환자가받은 진료의 질과 안전성에있어 광범위하고 심각한 결함을 보여주었습니다. 후속 보고서는 

  • 건강 관리 비용을 낮추고, 

  • 인구 건강을 개선하며, 

  • 돌봄의 질과 안전을 향상시키는 것

...과 같은 세 가지 목적의 격차를 해소하는 데 어려움을 느낀 점을 강조했다.

One of the primary drivers for outcomes-based medical education was the growing recognition during the late 20th and early 21st centuries that graduates of medical schools were insufficiently prepared for residency and that graduates of residency programs were insufficiently prepared for practice.3–5 Concomitantly, a growing body of research, culminating in the seminal Institute of Medicine reports To Err Is Human6 and Crossing the Quality Chasm,7 demonstrated significant and widespread deficiencies in the quality and safety of care received by patients. Subsequent reports have highlighted agonizingly slow progress in addressing many of the gaps in the triple aim: 

  • lowering health care costs, 

  • improving population health, and 

  • improving care quality and safety.8–10


Arnold Milstein11은 2010 년 미국 내과의위원회의 의학 교육 포럼에서

Arnold Milstein11 noted in his 2010 address at the American Board of Internal Medicine Foundation’s forum on medical education that


미국의 의료 교육 기관의 의사 졸업생은 일반적으로 미국의 의료 서비스 전달을 주도하거나 크게 영향을 미치기 때문에 의학교육 산업의 효율성에 대한 간접적이며 광범위한 결과 기반의 증거 중 하나는 미국 의료 시스템의 전반적인 성과입니다. 효과 성, 안전성 및 효율성에 대한 퍼포먼스 gap은 의사가 히포크라테스의 약속을 적절히 준수하고 있음을 사회가 확신할 수 없게 만든다.

[s]ince physician graduates of American medical education organizations typically lead or heavily influence U.S. health care delivery, one source of indirect, broad, outcome-based evidence [of the effectiveness of the medical education enterprise] is the overall performance of the U.S. health care system. The width of the performance gaps on the aims of effectiveness, safety and efficiency understandably reduces society’s confidence that physicians are adequately honoring their Hippocratic promises.


이러한 시스템 문제 외에도 개별 학습자에 대한 우려가 점차 증가하고 있습니다. 너무 많은 경험을 계속합니다.

  • 상당한 부채의 독성 혼합,

  • 기능 장애적 임상 학습 환경,

  • 중요한 업무 압박

  • 번 아웃

  • 실업에 대한 두려움 때문에 학생들은 놀라운 수의 수련 프로그램에 지원해야합니다. 

On top of these system concerns are a growing number of concerns about our individual learners: Too many continue to experience 

  • a toxic mix of substantial debt, 

  • dysfunctional clinical learning environments, 

  • significant work compression, and 

  • burnout, as well as 

  • fears of medical unemployment that lead students to apply to an astounding number of residency programs. 


솔직해지자: 일부 교육자들 사이에서 세대 간 (예 : 천년) 용어로 학습자에 대해 불평하는 경향이 있지만, 의대생들과 레지던트들 때문에 이러한 기능 장애가 생긴 것은 아니다. 교육 지도자로 봉사하는 우리들은 정말로 이러한 조건들이 인간적 교육 과정을 지지한다고 말할 수 있습니까? 교육에 관련된 모든 사람이 우리가 만들어낸 여건을 성찰하기 위해 돌아보고 반성해야 합니까?

Let’s be honest: Medical students and residents did not create these dysfunctional conditions, despite a penchant among some educators to complain about learners in generational (e.g., millennial) terms. Can those of us who serve as educational leaders really say these conditions support a humanistic educational process? Do all of us involved in education need to spend more time looking in the mirror and reflecting on the conditions we helped create?


구조와 과정에서 결과 중심의 접근으로의 전환은 실제 시도되고있는 패러다임 전환이다. 논리적으로, 특히 공공의 관점에서, UME와 GME 프로그램은 졸업생들이 자신의 발전 단계에 적합한 업무와 활동을 실제로 수행 할 수 있다는 확신을 어느 정도 가지고 있어야합니다. 역량에 대한 충분한 증거로서 더 이상 학습 과정을 완료하고 시험을 통과하는 것에 의존하는 것이 적절하지 않습니다. 교육이 그토록 간단했다면 왜 현재 수준의 품질 및 안전 문제와 의료 오류가 발생했겠습니까?

The shift from a structure and process to an outcomes-based approach is the actual paradigm shift being attempted. Logically, and especially from a public perspective, UME and GME programs should be able to conclude with some degree of accurate confidence that graduates can actually perform the tasks and activities appropriate for their stage of development. No longer is it appropriate to simply rely on completing a course of study and passing an exam as sufficient evidence of competence. If education were that straightforward, would we be experiencing the current levels of quality and safety problems and medical errors? 


이제 도전 과제는 구조와 프로세스에 중점을두고 high-functioning 학습 환경에서 이러한 역량을 포함하는 결과에 초점을 맞추어 의학교육을 재조정하는 것입니다.

The challenge now is to rebalance medical education by decreasing the emphasis on structure and process and increasing the focus on outcomes that include these competencies in a high-functioning learning environment.


역량은 복잡한 건강 관리 시스템에서 의사가 필요로하는 필수 능력의 프레임 워크와 정신 모델을 제공하여 교육 성과로의 전환을 촉진하는 데 도움이되는 하나의 메커니즘으로 만들어졌습니다. 좋든 싫든, 6 개의 핵심 역량은 (SBP 및 PBLI과 같이 과거에는 묵시적으로 거의 평가되지 않았지만) 중요한 능력에 대한 관심을 불러일으켰다.2,12,13

Competencies were created as one mechanism to help facilitate the transformation to educational outcomes by providing frameworks and mental models of the essential abilities physicians need in a complex health care system.12 Love them or hate them, the six core competencies call attention to critical abilities that previously were either ignored or at best taught implicitly and rarely assessed, such as systems-based practice (SBP) and practice-based learning and improvement.2,12,13


역량 영역의 지속적인 결함을 강조하는 데이터에도 불구하고 "환자", "품질"및 "안전"과 같은 단어는 CBME를 비판하는 문서에서 거의 사용되지 않으며, 다른 해결책이나 제안도 거의 없다. 또한 여전히 public forum의 코멘트에는 "시스템 기반의 실천이 우리의 전문 분야에 실제로 적용되지 않는다"또는 "우리는 이 품질과 안전성에서 레지던트들을 보호해서 의학을 배울 수 있게 해야 한다" 등이 나돈다.

It pains me that, despite data highlighting ongoing deficiencies in these competency domains, words like “patient,” “quality,” and “safety” are rarely used in most of the literature critical of CBME, and different solutions or suggestions are rarely offered. It also troubles me to still see in some current public forums comments such as “Systems-based practice doesn’t really apply to our specialty,” or “We need to protect residents from this quality and safety stuff so they can learn medicine.”


EPA 및 이정표 15는 역량의 적용 및 구현을 안내하는 교육 기술로 개념화 될 수 있으며, 나는 그들이 또 하나의 "빛나는 밝은 대상"이되지 않도록 철저히 연구해야한다는 것을 충분히 인식하고있다.

EPAs, and also Milestones,15 can be conceptualized as educational technologies to guide the application and implementation of the competencies, and I fully recognize that they must be rigorously studied so that they do not become yet another “shiny bright object.”16


변화를 위한 여정은 시간이 걸리고, 이정표와 EPA 경험은 다르지 않습니다. 첫 번째 마일스톤 작업은 2007 년에 시작되었으며 대학원 의학 교육 인정위원회는 현재 차기 마일스톤 개정을 계획하고 있습니다. 이 과정은 2018 년에 시작되어 몇 년이 걸릴 것입니다. Milestone은 경험이 축적되면서 시간이 지남에 따라 변할 수있는 역동적 인 프레임 워크로 여겨져 왔고 사용법에 대한 교훈을 얻었습니다 .18-20

The journey to change takes time, and the experiences with Milestones and EPAs are no different. The first Milestone work began in 2007, and the Accreditation Council for Graduate Medical Education is currently planning for the next round of Milestone revisions, a process that will begin in 2018 and take several years. The Milestones have always been viewed as a dynamic framework that will change over time as experience is gained and lessons are learned on how best to use them.18–20


Krupat에 따르면 UME 및 GME 연속체에 걸쳐 이러한 교육 기술을 통합하는 최선의 방법에 대한 더 많은 작업이 성과로의 패러다임 전환을 동반하는 투쟁의 일부로서 반드시 필요하다고 동의합니다.

I agree with Krupat that more work on how best to integrate these educational technologies across the UME and GME continuum is definitely needed as part of the struggle with the paradigm shift to outcomes.


정의에 따르면, 패러다임 전환은 더 오래된 패러다임을 유지하려는 사람들과 새로운 패러다임을 추진하려는 사람들 모두에게 지저분하고 위협적입니다. 1962 년 Thomas Kuhn21 (p5)은...

By definition, paradigm shifts are messy and threatening, both for those wanting to remain with the older paradigm and those pushing the newer paradigm. As Thomas Kuhn21(p5) noted in 1962,


대부분의 과학자들이 필연적으로 거의 모든 시간을 소비하는 [정상 과학]은 과학 공동체가 세상이 무엇인지를 알고 있다고 가정합니다. Enterprise에서 성공의 상당 부분은 (상당한 비용이 들더라도) 해당 가정을 지키려는 커뮤니티의 의지에서 비롯됩니다. [강조 추가]

Normal science, the activity in which most scientists inevitably spend almost all of their time, is predicated on the assumption that the scientific community knows what the world is like. Much of the success of the enterprise derives from the community’s willingness to defend that assumption, if necessary at considerable cost. [emphasis added]


의학 교육에서 평가 및 프로그램 평가 방법론은 현재이 패러다임 전환의 tense interface에 있습니다. 의학 교육은 연구 및 평가 설계에서 복잡성의 핵심 역할을 통합하는 방법론을 개발 한 보건 및 사회 서비스 연구 세계의 교훈을 포용함으로써 이익을 얻을 수있다 .22,23

Assessment and program evaluation methodologies in medical education currently sit at the tense interface of this paradigmatic transition. Medical education can benefit by embracing lessons from the health and social services research worlds, which have developed methodologies incorporating the critical role of complexity in research and evaluation design.22,23


평가 측면에서 균형은 20 세기의 객관식 질문 (MCQ) 및 객관적인 구조화 된 임상 시험 (OSCE)과 같은 고부담 "프록시"평가에 과도하게 의존하는 현재에서 벗어나, (특히 임상, GME에서는) 작업 기반 평가에로 변화해야합니다. MCQ 시험에 가치가 없다는 말은 아닙니다. 다만 어떤 시점에서 교육 공동체인 우리는 지난 수십년간 고부담 MCQ 시험 및 OSCE의 발전을 이뤄왔음에도, 여전히 우리가 가진 것은 작금의 의료 시스템 퍼포먼스라는 것을 인식해야 한다.

On the assessment side, the balance needs to shift from the 20th century’s heavy reliance on high-stakes “proxy” assessments, such as multiple-choice question (MCQ) examinations and objective structured clinical examinations (OSCEs), to work-based assessment in the clinical space, especially in GME. That is not to say that MCQ exams, for example, do not have value—they do— but at some point we in the educational community need to recognize that despite decades of advances in high- stakes MCQ exams and OSCEs, we have the health system performance we have.


너무나 자주, 다양한 평가 접근법의 역할에 관한 논쟁은 도움이되지 않는 이데올로기적 논쟁으로 엉망이되었습니다.

Too often, debates around the role of various assessment approaches get bogged down in unhelpful ideological arguments.


우리는 의학 교육에서 우리가하는 대부분이 상호작용하고 상호의존적인 여러 구성 요소를 possessing하는 개입이라고 정의되는 "복잡한 개입"을 구현해야한다는 사실을 받아 들여야합니다 .22이 렌즈를 통해 UME 및 GME의 EPA와 GME의 마일스톤을 사용하여, 가변적이고 진화하는 맥락에 포함 된 여러 상호 작용하는 구성 요소와의 진정한 복잡한 중재로 간주됩니다. EPAs와 Milestone은, 개입의 목적으로 사용하더라도, 쉽게 무작위 배정 될 수있는 치료약이 아닙니다. 무작위 통제 연구 (RCTs)는 적절한 경우 계속해서 역할을 수행해야하지만, 의학 교육 연구는 복잡성의 영향을 교육 개입의 결과 및 성과에 반영하는 방법론적 접근법을 사용해야합니다 .23

We need to embrace the reality that most of what we do in medical education involves implementing “complex interventions,” simply defined as interventions possessing multiple interacting and interdependent components.22 Through this lens, using EPAs in UME and GME, and Milestones in GME, are viewed as truly complex interventions with multiple interacting components embedded in variable and evolving contexts. EPAs and Milestones, when treated as interventions, are not therapeutic pills that can be easily randomized. While randomized controlled trials (RCTs) should continue to play a role where appropriate, research in medical education also needs to use methodological approaches that incorporate the effects of complexity on the implementation and outcomes of educational interventions.23


품질과 안전에 대한 기관의 퍼포먼스 수준은 (그 기관에서 수련받은) 개별 졸업생의 미래 수행능력과 연관되어 있다.

an institution’s level of performance in quality and safety is associated with the future practice of its individual graduates,


복잡한 개입의 구현은 오랜 성공의 여정을 가지고 있으며, 깨지기 쉽고, 길을 따라 돌연변이를 일으키며, 맥락에 크게 의존하고, 스스로를 되돌린다. 무작위화는 성공이나 실패를 가져 오는 메커니즘과 상황에 대한 통찰력을 제공하지 않으며, 통제그룹은 성공적인 실행에 기여하는 것이 무엇인지를 이해하는 데 아무런 도움이되지 않습니다 .27

Implementations of complex interventions have long success journeys, are fragile, mutate along the way, depend heavily on context, and feed back on themselves.23,27 Randomization does not provide any insights into the mechanism and contexts that produce success or failure, and control groups contribute nothing to understanding what contributes to successful implementation.27


마지막으로, 우리 모두가 연속체에서 의학 교육을 변화시키기 위해 노력할 때, 우리는 우리가 논쟁에서 양극성을 다루는 방식을 재고 할 필요가 있습니다. 현재의 교육 담론은 너무 많은 양의 "극단적 인 양극화"나 "이분법"을 중심으로 높은 이해력 테스트와 업무 기반의 평가, 정량적 대 정량적 접근법, 환원주의 대 전체주의, 프로세스 대 결과, 기타 등등. 이러한 either-or 식의 논쟁은 종종 재미있는 이념적 exercise가 되긴 하지만, 일반적으로 도움이 안되고, 환자에게 도움이 된다거나 이 분야를 궁극적으로 발전시키지 못한다. 존슨의 polarity thinking 모델은 긴장과 어려움을보다 생산적으로 활용하기위한 더 나은 접근 방법 일 수 있습니다. 이 모델은 양극성을 "both-and" 관점으로 바라보며, 그룹과 개인이 각 극의 이점과 한계를 평가하도록 유도하여 한계에 주의하면서도 동시에 양극의 강점을 활용합니다.

Finally, as we all work to change medical education across the continuum, we need to rethink how we handle polarities in our debates. At the current time, too much of the educational discourse revolves around many “either–or” polarities or dichotomies, such as high-stakes tests versus work-based assessments, quantitative versus qualitative approaches to assessment, reductionism versus holism, process versus outcome, and so forth. Such either–or arguments are typically unhelpful—engaging in them often makes for a fun ideological exercise but in the end does not move the field forward or ultimately help patients. Johnson’s28 model of polarity thinking may be a better approach to leverage tensions and challenges more productively. In this model, polarities are viewed as “both–and,” encouraging groups and individuals to assess the benefits and the limitations of each pole and thus leverage the strengths of the polarity while being attentive to the limitations.




1 Krupat E. Critical thoughts about the Core Entrustable Professional Activities in undergraduate medical education. Acad Med. 2018;93:371–376.


2 Holmboe ES, Sherbino J, Englander R, Snell L, Frank JR; ICBME Collaborators. A call to action: The controversy of and rationale for competency-based medical education. Med Teach. 2017;39:574–581.


20 Holmboe ES, Call S, Ficalora RD. Milestones and competency-based medical education in internal medicine. JAMA Intern Med. 2016;176:1601–1602.





 2018 Mar;93(3):350-353. doi: 10.1097/ACM.0000000000001866.

Competency-Based Medical Education and the Ghost of Kuhn: Reflections on the Messy and Meaningful Work of Transformation.

Author information

1
E.S. Holmboe is senior vice president, Milestone Development and Evaluation, Accreditation Council for Graduate Medical Education, Chicago, Illinois.

Abstract

The transition, if not transformation, to outcomes-based medical education likely represents a paradigm shift struggling to be realized. Paradigm shifts are messy and difficult but ultimately meaningful if done successfully. This struggle has engen dered tension and disagreements, with many of these disagreements cast as either-or polarities. There is little disagreement, however, that the health care system is not effectively achieving the triple aim for all patients. Much of the tension and polarity revolve around how more effectively to prepare students and residents to work in and help change a complex health care system.Competencies were an initial attempt to facilitate this shift by creating frameworks of essential abilities needed by physicians. However, implementation of competencies has proven to be difficult. Entrustable professional activities (EPAs) in undergraduate and graduate medical education and Milestones in graduate medical education are recent concepts being tried and studied as approaches to guide the shift to outcomes. Their primary purpose is to help facilitate implementation of an outcomes-based approach by creating shared mental models of the competencies, which in turn can help to improve curricula and assessment. Understanding whether and how EPAs and Milestones effectively facilitate the shift to outcomes has been and will continue to be an iterative and ongoing reflective process across the entire medical education community using lessons from implementation and complexity science. In this Invited Commentary, the author reflects on what got the community to this point and some sources of tension involved in the struggle to move to outcomes-based education.

PMID:
 
28857789
 
DOI:
 
10.1097/ACM.0000000000001866


학습을 위한 피드백 모델: 설계의 문제(Assessment & Evaluation in Higher Education, 2013)

Rethinking models of feedback for learning: the challenge of design

David Bouda* and Elizabeth Molloyb

aFaculty of Arts and Social Sciences, University of Technology, Sydney, Australia; bFaculty

of Medicine, Nursing & Health Sciences, Monash University, Victoria, Australia




고등 교육 기관은 학생들이 제공하는 피드백의 부적절함에 대해 교육 과정의 다른 측면보다 더 비판 받고 있습니다.

Higher education institutions are being criticised more for inadequacies in the feedback they provide to students than for almost any other aspect of their courses.


피드백 샌드위치 (Molloy 2010)처럼 좋은 피드백을위한 많은 요리법이 옹호됩니다. 그러나 이 처방은 그 자체로는 효과적이지 않다. 그것들은 좋은 기관적 에티켓이 될 수는 있지만, 모든 상황에 한 가지 규칙이 맞지는 않는다는 증거가있다 (Shute 2008). 학습 설계에 대한 많은 다른 요소들이 고려 될 필요가있다.

Many recipes for good feedback are advocated, like the feedback sandwich (Molloy 2010) . But, in themselves, these nostrums are not effective. They may represent good institutional etiquette, but evidence suggests that one rule does not fit all situations (Shute 2008). Many other factors of learning design need to be considered.


이 논문의 목적은 고등 교육에서 학생들의 피드백에 대한 수수께끼 같은 현상을 탐구하는 것이다.

The aim of this paper is to explore the puzzling phenomenon of student feedback in higher education


그것은 개선을위한 두 가지 가능한 방향을 탐구합니다. 첫 번째는 피드백 루프가 완료되었는지 확인하기 위해 피드백의 원래 개념으로 돌아가는 것입니다. Sadler (1989, 121)는 [학습을 개선하기위한 전략을 제공하지 않거나], [성과 정보가 학습자에게 어떻게 영향을 주는지를 조사하거나 모니터링하지 않으면] 피드백은 그저 'dangling data'에 그칠 수 있다고 강조했다. 흥미롭게도, 고등 교육 및 전문 교육에서 피드백 문건의 대부분은 교사의 피드백에 초점을 맞 춥니 다. 즉, 어떻게 더 자료를 더 dangle할지에 대한 것일 뿐이다.

It explores two possible directions for improvement. The first of these is to return to the original concept of feedback from the applied sciences to ensure that the feedback loop is completed. As Sadler (1989, 121) emphasised, without providing strategies for improving learning and without searching for and monitoring how performance information subsequently influences the learner, feedback may simply be viewed as ‘dangling data’. Interestingly, the bulk of the feedback literature in higher and professional education focuses on the microskills of the teacher in feedback – that is, how to better dangle the data.


두 번째 방향은 교사로부터 학생에게 전달되는 정보라는 일방적인 피드백 개념을 재고하는 것이다. 여기서 벗어나 피드백을 bilateral and multilateral한 것으로 생각함으로써, 피드백은 학생들이 다양한 다른 사람들의 정보에 의지하여 자신의 판단에 inform하는 능동적 학습자로 자리매김하는 정보가 된다.

The second direction is to rethink the unilateral notion of feedback from one in which information is transmitted from the teacher to the student to a bilateral and multilateral one which positions students as active learners seeking to inform their own judgements through resort to information from various others.



변화하는 평가와 피드백 맥락

The changing context of assessment and feedback


지난 50 년 동안 고등 교육에서 느린 움직임이 있었다. 성과 결정 요인으로서 최종 시험에 중점을 두는 것에서 보다 다양하고 지속적인 형태의 평가를 사용하는 방향으로 나아갔다.

Over the past 50 years or so there has been a slow movement in higher education from an emphasis on final examinations as the determinant of performance towards the use of more diverse, and more continuous, forms of assessment (Heywood 2000).


그 이후로 학생 수의 증가와 1 인당 기금 삭감에 따라, 평가 횟수와 regularity가 크게 감소하였고, 이로 인해 학생에게 제공되는 정보의 양이 크게 줄어 들었습니다.

Since then, and in response to increases in student numbers and reductions in per capita funding, the number of assessed tasks and their regularity has greatly reduced the amount of information provided to students about their work.


최근의 평가 체제는 가치있는 학습 기회를 희생시키면서 발생할 수 있습니다.

This more recent regime of assessment may have arisen at the expense of worthwhile learning opportunities.


피드백을 가능하게하는 조건은 총과 평가의 구조적 변화에 의해 감소되었다.

The conditions that make feedback possible have been diminished by the structural shift in summative assessment.


피드백 관행을 개선하기 위해서는 커리큘럼에서 평가와 피드백의 지위에 대한 보다 근본적인 재고가 필요합니다. 이를 통해 우리는 피드백에 대한보다 견고한 견해를 갖게 될 것입니다. 즉, 주로 교사의 역량보다는 학습의 필요에 초점을 맞추는 것입니다.

In order to improve feedback practices, a rather more fundamental rethinking of the place of assessment and feedback within the curriculum is needed. This will enable us to have a more robust view of feedback: one that focuses primarily on the needs of learning rather than the capacities of the teacher.


피드백의 기원

Origins of feedback


교정 피드백에 대한 개념은 산업 혁명의 핵심 아이디어 였고 초기 증기 엔진 개발에 필요한 부분이었다 (Bunch and Hellemans 2004). 그 때 사용 된 피드백의 개념은 엔진 또는 실제 기계 시스템이 출력을 모니터링하고이 정보를 시스템으로 다시 공급하여 시스템을 제어함으로써 규제 될 수 있다는 것입니다. 피드백에 대한 비슷한 생각은 생물의 변화하는 조건에 대한 적응과 관련하여 생물학에서 널리 퍼졌지만, 이들 중 어느 것도 20 세기 중반까지 교육에 사용되지 않았습니다.

The notion of corrective feedback was a key idea of the industrial revolution and a necessary part of the development of early steam engines (Bunch and Hellemans 2004). The concept of feedback used then was that an engine, or indeed any mechanical system, could be regulated through monitoring its output and feeding this information back into the system to control it. Similar ideas about feedback were prevalent in biology, with regard to the adaptation of organisms to changing conditions, but none of these were taken up in education until the mid-twentieth century.


역사적으로 교사들은 어떤 피드백 이론도 없는 상태에서 학생의 작업을 수정했습니다. 채점은 교수법의 본질적인 과정으로 간주되었습니다. 성적이 좋지 않은 학생은, 진행 상황을 알려주는 것이 자신의 공부에 더욱 부지런히 적응해야한다는 의도라고 이해해야 했다.

Historically, teachers had corrected student work without any theory of feedback being involved. Marking was regarded as a process intrinsic to teaching: students were informed of their progress with the intention that they should apply themselves more diligently to their studies if they did not perform well.


이러한 피드백의 개념은 [관찰 가능한 성과에 기반한 외부 정보 제공]에 중점을 둔 강한 행동적 강조점을 가지고 있습니다. 그것은 피드백에서 내부 또는 자기 평가적인 기능을 제거하려고 시도했다 (Butler and Winne 1995). 이것은 말하자면 (피드백을 받는 사람의) 의식적인 의지없이도, 다른 사람들을 변화시키는 것이 가능하다는 것으로 보이는 다소 놀라운 가정이라고 할 수 있다.

This notion of feedback has a strong behavioural emphasis that focuses on the external provision of information based on observable performance. It attempted to eliminate any internal or self-evaluative function in feedback (Butler and Winne 1995). The rather surprising assumption appearing to be that it was possible to change others without conscious volition on their part.


피드백의 두 번째 주요 발전은 이와 병행하여 이루어졌습니다. 피드백은 인간 시스템과 시스템 과학에서 광범위하게 채택되었습니다. 1950 년 초 Norbert Wiener는 피드백의 개념을 다음과 같이 논의했습니다.

The second major development in feedback came in parallel with this. Feedback was taken up extensively for human systems and in system science. As early as 1950, Norbert Wiener, discussed the notion of feedback as follows:


피드백은 퍼포먼스의 결과를 시스템에 다시 삽입함으로써 시스템을 제어하는 ​​것입니다. 이러한 결과가 단순히 시스템 및 규제에 대한 비판을위한 수치 데이터로 사용된다면 우리는 통제 엔지니어의 간단한 피드백을 얻을 수 있습니다. 그러나, 성과로부터 proceeds backward하는 정보가 성과의 일반적인 방법과 패턴을 바꿀 수 있다면, 우리는 "학습"이라고 불릴 수있는 과정을 가지고 있는 것이다.

Feedback is the control of a system by reinserting into the system the results of its performance. If these results are merely used as numerical data for criticism of the system and its regulation, we have the simple feedback of the control engineer. If, however, the information which proceeds backwards from the performance is able to change the general method and pattern of the performance, we have a process which may very well be called learning.


마침내 교육에 "피드백"이라는 용어가 들어왔을 때, Ramaprasad (1983)와 다른 사람들이 다른 방법을 시도 했음에도 불구하고, pre-industrial적인 의미에서 [정보가 활용되는데 필요한 어떤 메커니즘도 없이] 학생들이하는 일에 영향을 미치려고 의도 된 정보를 의미하게되었다는 것은 아이러니하다. 이러한 관점에서 피드백은 '말하기'와 동의어가됩니다. 즉, 교사가 학생에게 정보를 전달하는 것입니다. 마치 학생들이 참여하고 자신이해야 할 일에 대해 자신의 판단을 내릴 필요가없는 것처럼 말입니다. 여기서 가정하는 것은, 학생이 지시받은 내용에 따라 행동하기만 한다면, 자신의 수행 능력을 향상시킬 수 있다는 것이다. 이러한 가정은 훨씬 더 무모한 가정에 기반하는데, 전달된 정보가 변화를 유도하기에 충분했다는 것, 피드백은 모호하지 않았으며, 학생은 선생님이 의도한 것과 같은 방식으로 해석한다는 가정에 기반한다.

It is ironic then that when the language of feedback was finally adopted in education, despite attempts by Ramaprasad (1983) and others to do otherwise, it became used in a pre-industrial sense to mean information provided to students intended to influence what they do without any necessary mechanism to ensure that the information was utilised. Feedback became synonymous with ‘telling’, that is the oneway transmission of information from teacher to student, as if students did not need to be involved and make their own judgements about what they should do. The assumption being that, if only students acted on what they were told, they could improve their performance. Such an assumption rested on an even bolder set of assumptions that the information transmitted was sufficient for such change to occur, that it was unambiguous and would be interpreted the same way by the student as was intended by the teacher.


정보 자체에 대한 이러한 가정에 덧붙여 피드백의 이러한 사용은 초기 엔지니어가 의도한 관점에서 교정적corrective하지 못함이 분명합니다. 즉, 학생들에게 제공된 정보가 그들이 한 일에 어떤 영향을 주었는지를 결정하기 위한 학생들의 작업 모니터링이 존재하지 않는다. 바람직한 의도가 아니라 실제 효과를 담보하기 위한 통제 루프를 완료하지 않으면, 학생들에게 안정적으로 영향을 미칠 수 없습니다. 학생들의 학습에 영향을 미치기 위한 교사의 행동을 조정하기 위해서는 피드백 루프가 필요합니다. 이 정보가 없으면 교사는 자신의 행동 결과를 알 수 없고, 결국 학습의 질을 향상시키기 위해 효과적으로 행동 할 수 없습니다.

It is apparent that in addition to these assumptions about the information itself, this use of feedback could not be corrective in the sense that the early engineers intended. That is, without monitoring students’ work to determine if the information provided to them had an effect on what they did. Without this completion of the control loop to ascertain actual effects rather than desired intentions, students could not be reliably influenced. The completion of a feedback loop is needed to adjust the actions of teachers to ensure an impact on student learning. Without this information, teachers are blind to the consequences of their actions and cannot therefore act effectively to improve the quality of learning.


피드백 마크1: 엔지니어링 모델에서 좋은 피드백은 무엇인가?

Feedback Mark 1: What is good feedback practice in an engineering model?


단순한 정보가 아니라 피드백이라는 용어가 사용된다면 원하는 방향으로 효과가 있음을 감지 할 수있는 방법이 필요합니다. 피드백 사이클이 완료되어야합니다. 식별 가능한 효과가 없으면 피드백이 발생하지 않은 것이다.

If the term feedback is used, rather than simply information, there needs to be a way of detecting that there has been an effect in the direction desired. The cycle of feedback needs to be completed. If there is no discernable effect, then feedback has not occurred.


이 때 선생님 또는 정보를 제공하는 사람에게는 효과를 내고 그 효과를 알아챌 책임이 부여된다. 피드백이 이런 방식으로 이해되면 피드 포워드는 별도의 개념이 아니라 피드백의 필수 특성이 된다.

This places the onus on the teacher, or the person otherwise providing information, to do what is needed to have an effect and to notice the effect. When feedback is understood in this way, feed forward is not a separate notion but a necessary characteristic of feedback.


두 번째 과제의 적어도 일부는 학생이 첫 번째 과제에서 판단 된 학습 성과 중 일부를 시연하는 것을 허용해야 한다. 따라서 피드백 발생을 위해 작업이 overlap될 필요가 있습니다. 다른 학습 결과를 다루는 격리 된 작업 세트는 피드백이 발생할 가능성이 최소화된다.

at least part of the second task permits the student to demonstrate some of the learning outcomes judged in the first. Therefore, there needs to be an overlap of tasks for feedback to occur. Sets of isolated tasks that address different learning outcomes minimise the possibility of feedback occurring.


결과를 달성하는 것이 특히 중요하거나 어려운 경우, 또는 덜 반응하는 학생의 경우, 원하는 목표를 달성하기 위해 두 번 이상의 피드백이 필요할 수 있습니다.

For particularly important or difficult to attain outcomes, or for less-responsive students, more than one cycle of feedback may be needed to reach the desired end.


이 모델에서 중요한 것은, 퍼포먼스 정보의 효과에 대한 지식을 활용하여 학생에게 제공되는 정보의 성격을 수정하는 것입니다. 즉 [교사의 학습]을 위한 피드백 루프가 수립되어 학생들의 작업에 대한 '개입'의 질을 향상시킵니다.

Importantly in this model, knowledge of the effects of the performance information is utilised to modify the nature of the information provided to students. That is, a feedback loop for the learning of teachers is established so that they improve the quality of the ‘interventions’ they make on students’ work.


이러한 결과는 엔지니어링 피드백의 주요 특성을 도입할 때 필연적으로 동반된다. 피드백은 전송된 정보가 아니라, 사용된 정보이다. 이는 이 모델의 피드백이 코스나 프로그램 설계의 명시적인 부분으로 개념화되어야하며, 루틴의 또는 개념화되지 않은 부분으로 오해되지 말아야 함을 의미합니다.

These consequences necessarily flow from the adoption of the key characteristic of engineering feedback: that feedback involves information used, rather than information transmitted. It means that feedback in this model needs to be conceptualised as an explicit part of the design of a course or programme, and not misconceived as a routine, and unconceptualised, part


이 모델에서의 피드백의 특별한 초점은 Ramaprasad의 피드백 정의에서 나온 것이다. '피드백은 실제 수준과 시스템 매개변수의 참조 수준 간의 차이에 대한 정보로서, 어떤 식으로든 그 격차gap를 바꾸는 데 사용되는 것.'(Ramaprasad 1983, 4 ). '실제 수준과 참조 수준 간의 차이에 대한 정보를 사용하여 갭을 변경할 때에만 피드백이라고 할 수 있다.'(Ramaprasad 1983, 6).

The particular focus of feedback in this model follows from Ramaprasad’s definition of feedback: ‘Feedback is information about the gap between the actual level and the reference level of a system parameter which is used to alter the gap in some way’ (Ramaprasad 1983, 4). ‘The information on the gap between the actual level and the reference level is feedback only when it is used to alter the gap’ (Ramaprasad 1983, 6). 


이러한 견해는 Sadler (1989, 78)가 효과적인 피드백을위한 3 가지 조건을 확인하도록 촉구했다 :

  • (1) 적용해야 할 기준에 대한 학생의 지식;

  • (2) 그 기준을 학생들 자신의 일과 비교,

  • (3) 학생이 둘 사이의 틈을 메우기위한 행동을 취함.

Such a view prompted Sadler (1989, 78) to identify three conditions for effective feedback: 

  • (1) student knowledge of the standards that needs to be applied; 

  • (2) having to compare those standards to the students’ own work and 

  • (3) the student taking action to close the gap between the two. 


위의 세 가지 중 두 번째와 세 번째 조건을 위해서는 학생이 적극적으로 피드백에 참여해야합니다. 그리고 이것은 타고나는 것이 아니다. 새들러는 학생들이 '피드백을 어떻게 해석해야하는지, 피드백과 그들이 produce한 작업의 특성을 어떻게 연결시키는 지, 미래에 어떻게 자신의 업무를 개선 할 수 있는지'에 대한 교육을 받을 필요성이 있다고 강조한다. [Sadler 1989, 78 ). 너무 자주 학생들은 자신의 수행 능력에 대한 진단 정보가 제공 될 때 어떤 행동을 취해야하는지 알고 있다고 가정합니다.

The second and third conditions both require the student to actively engage with the feedback. Knowing how to do this cannot be taken as given. Sadler draws attention to the need for students to ‘be trained in how to interpret feedback, how to make connections between the feedback and the characteristics of the work they produce, and how they can improve their work in the future’ (Sadler 1989, 78). Too often it is assumed that students know what action to take when provided with diagnostic information about their performance.


Mark 1 피드백은 여전히 ​​학생들에게 전달되는 정보라는 말의 패러다임에 맞습니다. 정보가 수신되고 작동되도록하기 위해 피드백 루프를 완료하는 감지 메커니즘이 있다는 점만 다릅니다.

Mark 1 feedback still fits within a paradigm of telling, that is information transmitted to students. It only varies from this in that there is a detection mechanism – completing the feedback loop – to ensure that information is received and acted on.


그러나이 모델에 대한 원칙이 무엇이든,이 모델은 고등 교육에서 매일 가르치고 배우는 데 실용성을 테스트하지 못합니다. 고등 교육의 실용적인 딜레마는 현실적으로 제공 될 수있는 피드백의 양과 유형이 [자원 제약]은 물론 학생을 '스푼-피딩'하지 말아야 한다는 전통과 기대에 의해서도 심각하게 제한된다는 것입니다. 엔지니어링 피드백 모델이 교육적으로 완전히 수용 가능하다 할지라도, 선택적으로 사용되는 것 이외에는 다른 방법이 없다.

However, whatever might be principled objections to it, this model fails the test of practicability in everyday teaching and learning in higher education. The practical dilemma of higher education is that the amount and type of feedback that can realistically be given is severely limited by resource constraints and, of course, the tradition and expectation of not ‘spoon-feeding’ students. Even if the engineering feedback model was entirely acceptable educationally, it could not be used other than selectively.


해결책은 대리 교사 또는 활발한 교사를 더 추가하는 것이 아니라 모델을 변경하는 것입니다. 학생들이 졸업하고이 모델이 가정 한 학습 지원에 대한 기반 구조가 사라지고 없어져 가면서 (Boud and Falchikov 2007).

The solution may not be to add more surrogate teachers or more energised teachers, but to change the model. as students will graduate and the infrastructure of support for learning that this model assumes has to fade and disappear (Boud and Falchikov 2007).


피드백 마크2: 지속가능한 모델에서 좋은 피드백이란 무엇인가?

Feedback Mark 2: What is good feedback practice in a sustainable model?


피드백 마크 1의 주된 한계는 [학습자가 다른 사람들에게 학습에 필요한 정보를 확인하고 제공해달라고 요구해야 한다]는 가정이며, [학습은 다른 사람들이 이 과정을 어떻게 진행하는지에 달려 있다]는 것이다.

The main limitation of Feedback Mark 1 is the assumptions that learners require others to identify and provide the information they need to learn, and that learning is driven by how others go about this process. 


이것은 학습자에게 작은 의지만을 가진 낮은 지위, 제한된 주도성, 교사 또는 교수 시스템에 대한 의존성 등을 부여합니다.

This accords learners a lowly status with little volition, limited agency and dependence on teachers or a teaching system.


학습자의 적극적인 역할을 인정한다면, 피드백의 개념은 mechanistic한 것에서 responsive한 것으로 옮겨 갈 필요가있다. 즉, 학습자의 역할이 [자신의 이해의 constructor]라는 것을 받아 들일 필요가있다.

As soon as the active role of learners is acknowledged, then conceptions of feedback need to move from the mechanistic to the responsive. That is, the role of learners as constructors of their own understanding needs to be accepted.


Hounsell (2007)은 지속 가능한 평가에 대한 Boud의 논의 (2000)를 토대로 지속가능한 피드백이라는 개념을 도입했습니다. 지속 가능성에 대한 피드백은 학생들이 전향 적으로, 자신의 삶과 졸업을 넘어선 경력을 쌓을 수 있도록 도와주는 역할을합니다.

Hounsell (2007), building on Boud’s discussion of sustainable assessment (2000), introduced the notion of sustainable feedback. Sustainability of feedback would ‘be a function of its contribution to equip students to learn prospectively, in their lives and careers beyond graduation’.


그들은 지속가능한 피드백의 네 가지 특성을 확인했다.

  • (1) 학생들에게 자신의 퍼포먼스 퀄리티에 대한 인식을 높이는 학습에 관한 대화를하는 것;

  • (2) 학생들이 자신의 학습을 모니터링하고 평가하는 역량을 개발하도록 자극받는 피드백 과정을 촉진하는 것;

  • (3) 목표 설정 및 학습 계획 수립을 위한 기술 개발을 지원함으로써 지속적인 평생 학습을위한 학생 역량 강화

  • (4) 시간이 지남에 따라 학생들의 참여를 용이하게하기 위한 평가 과제를 설계하여 [다양한 출처에서의 피드백이 생성되고], [처리되며], [여러 단계의 과제 수행에있어 성과를 높이기 위해 사용됨]

They identified four characteristics of sustainable feedback:

  • (1) involving students in dialogues about learning which raise their awareness of quality performance;

  • (2) facilitating feedback processes through which students are stimulated to develop capacities in monitoring and evaluating their own learning;

  • (3) enhancing student capacities for ongoing lifelong learning by supporting student development of skills for goal setting and planning their learning and

  • (4) designing assessment tasks to facilitate student engagement over time in which feedback from varied sources is generated, processed and used to enhance performance on multiple stages of assignments.


제안 된 틀은 연구 영역에서 effective practitioner가 되기 위해 전념 한 학생들을 전제로합니다.

The framework proposed is premised on students committed to becoming effective practitioners in the domain of their study.


그러한 헌신은 학생을 다음의 것을 추구하고자 무엇이든 하는 적극적인 학습자로 본다.

  • 그들이 무엇이 필요한지 이해하는 것

  • 연구의 맥락에서 좋은 일을 구성하는 것

  • 좋은 일자리를 창출하려는 노력이 지식 영역 내에서 적절한 기준과 기준을 충족시키는 지 여부.

학습자가 이미 여기에 준비가 되어있는 경우는 거의 없으므로, 피드백을 찾고 효과적으로 활용하기 위해 자신의 역량을 개발하고 기질을 발휘하여 효과적으로 운영 할 필요가 있습니다.

Such commitment places them as active learners who seek to do whatever they need to understand 

  • what is required of them, 

  • what constitutes good work within the context of their study and 

  • whether their efforts at producing good work meet the appropriate standards and criteria within the knowledge domain. 

Learners rarely enter courses prepared for this, so there is a need to help develop their capacity, and disposition, to operate effectively to seek and utilise feedback.


이 접근법은 평가를 즉각적인 과업 이외의 학습에 대한 학습자 판단을 developing and informing하는 프로세스의 핵심 요소로 평가하는 practice view을 취합니다. 즉, 평가는 학습자의 practice에 inform하기 위한 교육적 목적이 있으므로, 다른 사람들의 표준을 충족시키는 작업을 생산하도록 할 뿐만 아니라, (사용가능한 모든 범위의 자원을 활용하여) 생산 과정에 대한 정보에 대해 informed judgement를 내릴 수 있다.

This approach takes a practice view that sees assessment as a key element of the process of developing and informing the learner’s judgements for learning beyond the immediate task (Boud 2009). That is, there is an educative purpose of assessment to inform the practice of learners so that not only do they have the capabilities to produce work that meets the standards of others, but also they can make their own informed judgements about the process of production of that work, drawing upon the full range of resources available to them.


Mark 2를 제정하는 것은 학습 시스템의 세 가지 핵심 요소를 중심으로 구축됩니다.

Enacting Mark 2 is built around three key elements of a learning system:



학습자와 학습자가 원래 가진 것

Learners and what they bring


학생들은 이전 경험을 통해 고등 교육을 받게됩니다. 학생들은 입학에 필요한 지식과 학습 기술을 개발했지만 학부 프로그램을 위해 다 갖춘 것은 아닙니다. 교사들은 학생들이 강탈 당하지 않고 강하게 동기를 부여받지 못하고 능동적 인 학습자가 아니라 '배운다'는 기대를 가지고 있다고보고합니다.

Students enter higher education shaped by their prior experiences. They have developed knowledge and learning skills sufficient for entry, but they are not necessarily equipped for an undergraduate programme. Teachers report that students may be disengaged, not strongly motivated and have expectations not of being an active learner, but of ‘being taught’.


많은 교전 이니셔티브의 강조는 학생들이 수업 및 과제에 적극적으로 참여할 수 있도록하는 것이지만, 이것만으로는 학생들이 피드백으로부터 이익을 얻을 수있는 역량을 구축하기에 충분하지 않습니다.

While the emphasis of many engagement initiatives is on gaining students’ active participation in classes and tasks, this alone is not sufficient to build the capacity of students to benefit from feedback.


피드백 마크 2는 학습자를 다른 사람들의 의견을 받기만 하는 사람이 아니라, 개선을 위한 지식의 도출자elicitor로서 학습자의 적극적인 지위를 요구합니다. 학생들이 자신을 변화의 주체로 여기고 자신의 학습을 주도 할 수있는 생산적인 학습자로서의 정체성을 개발하지 않는 한, 자신의 학습에 대한 유용한 정보를 받아들이지도 못하고 사용하지 못할 수도 있습니다.

Feedback Mark 2 requires the active positioning of learner as elicitors of knowledge for improvement, not just the recipients of inputs from others. Unless students see themselves as agents of their own change, and develop an identity as a productive learner who can drive their own learning, they may neither be receptive to useful information about their work, nor be able to use it.


니콜 (Nicol)과 맥팔레인 딕 (Macfarlane-Dick) (2006)은 일곱 가지 좋은 의견을 제시합니다. 그들의 원칙 뒤에있는 가정은 우리가 공유하는 것입니다 : '학생들은 이미 자기조절을 하고있지만 일부 학생들은 다른 학생들보다 자기조절을 더 잘 한다. (Nicol 2009, 338) 그리고 weaker 학생들이 바로 자신의 sense of control을 향상시킬 수있는 기회가 필요한 학생들입니다. 니콜 (Nicol)은 '학생들은 학업에 참여할 때 언제나 비공식적으로 학습의 자기조절을 하고 있습니다.'(338)

Nicol and Macfarlane-Dick’s (2006) in their seven principles of good feedback. The assumption behind their principles is one that we share: ‘that students are already engaged in self-regulation but that some students are better at self-regulation than others; and it is the weaker students that need opportunities to enhance their sense of control’ (Nicol 2009, 338). Nicol recognises that ‘students are always informally engaged in the self-regulation of learning when they participate in academic tasks’ (338) and that


학생들이 교사로부터 피드백을 받았을 때, 학업 성취도를 높이기 위해 정보를 사용하려면 자기 평가에 참여해야합니다. 즉, 피드백 메시지를 해독하고 내재화하고 자신의 업무를 판단하고 수정하는 데 사용해야합니다. (339)

when students receive feedback from teachers they must engage in self-assessment if they are to use that information to improve academic performance: that is, they must decode the feedback message, internalise it and use it to make judgements about and modify their own work. (339)


그는 고등 교육 교사가 [전문가 피드백 제공에 모든 노력을 집중하는 대신] 찾고, 해석하고, 사용하는 능력을 길러야한다고 주장했다.

He argues that higher education teachers should build on this capacity to seek, interpret and use, rather than focus all their efforts on providing expert feedback.


이 평가 역량을 개발하는 것은 피드백 마크 2의 핵심이며 모든 고등 교육 커리큘럼의 중심에 제안합니다. 학생과 교사 모두 개인적인 정보 제공 및 수신 행위가 아니라, 적극적인 학습자 육성을 통한 학습 촉진을위한 방법으로 피드백을보아야합니다. 즉, 피드백을 'telling'로 보지 않고, 'appreciating'으로 보아야 한다. 그것은 '말하기'또는 '읽기'가 아니라 연기에서 끝납니다. 그러므로 그것은 교육자가 학생들에게하는 과정이 아닙니다. 교수 및 학습의 모든 이해 관계자는 피드백의 목적이 자기조절이 되도록 명시적으로 지향해야하며, 판단을 내리고 판단에 기반하여 수행하는 능력을 향상시키는 수단으로보아야합니다. 이것은 seeking feedback으로 학습자의 성향을 키우는 것으로 시작됩니다.

Developing this evaluative capacity is central to Feedback Mark 2 and we suggest at the heart of any higher education curriculum. Both students and teachers need to see feedback as a way of promoting learning through fostering active learners, not as individual acts of information provision and reception. That is, feedback is not viewed as ‘telling’, but as ‘appreciating’. It ends not in ‘telling’, or even‘reading’, but in acting. It is therefore not a process that is done to students, by educators. All stakeholders in teaching and learning need to be explicitly orientated to the purpose of feedback as self-regulating, and to view it as a means to increase capability in making judgements and acting upon them. This starts with the foster-ing of learner dispositions towards seeking feedback.


교육과정과 그것이 촉진하는 것

The curriculum and what it promotes


여기에서 논의되는 피드백의 다양한 개념은 '학생들에게 유용한 정보'라는 일반적인 아이디어를 뛰어 넘습니다. 들은 커리큘럼에 스며드는 것이어야 한다.

The various notions of feedback discussed here go beyond the commonplace idea of ‘helpful information to students about their work’. They need to be seen as permeating the curriculum.


Grundy는 교과 과정을 '사회적 구성이라고 본다. 구성의 형태와 목적은 사람과 세상의 개념을 내포하는 근본적인 인간의 이익에 의해 결정될 것이다'(1987, 19).

Grundy sees curriculum as ‘a social construction … the form and purposes of that construction will be determined by some fundamental human interests which imply concepts of persons and their world’ (1987, 19).


지속 가능한 피드백의 개념은 Barnett and Coate (2005)의 고등 교육 커리큘럼에 대한 학생들의 견해와 고의적 인 관계에 잘 맞습니다. 그들은 다음을 쓴다.

The sustainable notion of feedback fits well with Barnett and Coate’s (2005) view of the curriculum in higher education as deliberately designed to engage students, among others. They write of


공간의 상상력있는 디자인, 학생들 사이에 새로운 에너지를 생성하고 영감을 줄 수있는 공간, 그래서 세 가지의 engagement를 촉진- 앎, 함, 됨. (3) [이탤릭체]

the imaginative design of spaces as such, spaces that are likely to generate new energies among students and inspire them, and so prompt their triple engagement – in knowing, acting and being. (3) [their italics]


Barnett과 Coate는 '커리큘럼 규칙 및 템플릿' 및 '모든 학습 프로그램의 요소를 미리 지정'하는 것에 회의적이다(2005, 3).

Barnett and Coate are sceptical of ‘curricula rules and templates’ and of specifying ‘in advance the elements of every programme of study’ (2005, 3).


(학습 관점 또는 평가 관점이 아니라) 광범위한 커리큘럼 관점을 통해서만 피드백을 적절히 배치 할 수 있습니다.

It is only through taking a curriculum perspective, which is broader than a learning view or an assessment view, that feedback can be adequately located.


이러한 견해는 피드백을 [학생 참여의 중심적 특징]으로 지위를 부여하는 커리큘럼을 지향하는 방향으로 재배치 할 수있게한다. 따라서 피드백은 의사 소통, 앎, 판단, 행동을 위한 핵심 교과 과정 공간이됩니다.

Such a view enables feedback to be repositioned towards being seen as an attribute of the curriculum that locates it as a central feature of student engagement. Feedback becomes therefore a key curriculum space for communicating, for knowing, for judging and for acting.


특히 중요한 것은 학생들이 자신의 일과 다른 사람의 일에 대해 판단을 내리는 것입니다. 프로그램 초기부터 학생들은 자신의 성과를 판단하고 이 평가가 다른 사람들의 평가와 어떻게 비교되는지 볼 기회가 필요합니다. 이것은 그들이하는 일에 대한 인식을 개발하고 알지 못하거나 할 수없고 할 수없는 일을 인식하도록 도와 줄 수 있습니다. 그러한 인식이 없으면 학생들은 추가 학습을 계획 할 수 없습니다.

Of special importance is the practice of students in making judgements about their own work and that of others. From early in the programme, students need opportunities to judge their own performance, to see how this appraisal compares with appraisal by others. This can assist them to develop awareness of what they do and do not know or can and cannot do. Without such awareness students cannot plan for further learning.


교육자가 직면 한 과제는 학습자자가 분석에 대한 이러한 기대를 교과 과정에 체계적으로 구축하는 것입니다. 규칙적인 자기 분석은 습관이 되어서, 자기 평가가 외부 평가와 어떻게 비교되는지를 찾는 것이 제 2의 본성이 되고, 지적 위험을 감수하는 불편한 사건이 아닌 learning practice의 일부가됩니다.

The challenge for educators is to systematically build these expectations of learner self-analysis into the curriculum. The regularity of self-analysis builds habits, so that self-judgement and seeking how this compares to external appraisal becomes second nature, and part of learning practice, rather than an uncomfortable episode of intellectual risk taking. 


Table 1


피드백 마크2의 교육과정 특징

Table 1. Curriculum features characteristic of Feedback Mark 2.


Feature Examples

학습자가 피드백의 목적에 맞춤

Learners orientated to the purposes of feedback

Explicit learning outcomes relating to developing judgements and collaboration with peers, clear expectations that students actively participate in classes and that information received will lead to action


학습자가 자기조절을 촉진하는 활동에 참여

Learners participate in activities promoting self-regulation

Activities to build student engagement and foster self-regulation through self-testing of understanding, students reflecting on how the standard required compares to their execution of the task or planning what information they need to meet learning outcomes


학습자가 피드백-탐색 성향을 개발

Learner disposition for seeking feedback is developed

Development of feedback seeking skills through early practice activities including identification of appropriate criteria, formulating comments on others’ work, practice in identifying what kind of comments are needed on assignments


작업의 production을 위한 기회가 주어짐

Opportunities provided for production of work

Opportunities for students to produce work of the kind that is central to learning outcomes through multiple tasks well designed for this purpose, not all of which might be formally graded


(자기)보정 메커니즘

Calibration mechanisms 

Channels to enable learners to check knowledge sources, develop understanding, calibrate their judgement against expert work and peer work, regular opportunities to judge their own work before it is marked


과제의 점진적 난이도 증가

Incremental challenge of tasks 

Development of sequences of tasks that progressively and realistically challenge learners, assessment tasks progressively build capacity to tackle more complex problems


피드포워드를 허용하는 nested task

Nested tasks to allow for ‘feed forward’ 

Timing and design of tasks to permit input from others (teachers, peers, practitioners and learning management systems, as appropriate) and self on each task, to be utilised to benefit performance on subsequent tasks


Seeker와 Provider로서의 학습자

Learner as ‘seeker and provider’ 

Opportunities to practice giving as well as receiving of feedback. Orientation of learners to dimensions of the target performance (they need to engage with the desired learning outcomes, so they can make and articulate a comparative judgement)




학습 환경과 그것이 제공하는 것

Learning milieu and what that affords


"as it is designed"로서의 육 과정도 학습자와 그들이 수행에 영향을 미칠 수 있지만, "as it is enacted"로서의 교육과정은 학생들에 직접적인 영향을 미친다. enact 된 커리큘럼의 상당 부분은 학습 결과 및 코스 descriptor에 공식적으로 문서화 된 것이 아니며 학생들이 직원들과 서로, 그리고 그들이 운영되는 상황과 일상적으로 상호 작용할 때 발생합니다. 커리큘럼을 일상 학습 환경으로 번역하는 것이 이 접근법을 실현하는 데 중요합니다. 이 환경은 요구 사항 및 커리큘럼 규격뿐만 아니라 교직원의 기대와 타인, 특히 동료와의 상호 작용으로 구성됩니다.


While the curriculum ‘as it is designed’ may influence learners and what they do, it is the curriculum ‘as it is enacted’ (Barnett and Coate 2005) that has a direct impact on students. Much of the curriculum as enacted is not what is formally documented in learning outcomes and course descriptors, but occurs in the everyday interactions students have with staff, with each other and the context in which they operate. The translation of the curriculum into the everyday learning milieu is crucial in realising this approach. This milieu is constituted from not only requirements and curriculum specifications, but more importantly from expectations of teaching staff and interactions with others, especially peers. 


피드백 마크 2는 지속적인 개선을 촉진하고 학생들이 지식을 찾고 응용할 수있는 기회를 창출하는 학습 환경에 달려 있습니다.

Feedback Mark 2 is dependent on a learning environment that fosters continual improvement and creates opportunities for knowledge seeking and application by students.


이러한 학습 환경은 다 만들어져 나오는 것이 아니라, 코스를 담당하는 개별 교사, 직원, 학생들이 함께 작업하여 적절한 환경을 구축해야합니다.

These learning environments do not come ready made but need to be constructed not only by individual teachers responsible for courses, but also by staff and students working together to construct suitable milieu.


이 피드백 개념에 필요한 학습 환경의 주요 특징은 대화가 번창flourish하는 것임을 알 수 있습니다. Carless et al. (2011) 학생들이 양질의 성과가 무엇인지 분별하고 실천하기위해서는 자신의 작업, 적절한 판단 기준의 구성요소, 스스로의 학습계획 수립 모니터링에 관한 대화에 참여해야한다고 강조했습니다. 표준과 기준을 해석하고 그 표준이 어떻게 나타나는지를 분별하기 위해 대화가 필요합니다.

The prime characteristic of the necessary learning milieu for this conception of feedback is that it is one in which dialogue flourishes. As Carless et al. (2011) have emphasised, students need to engage in dialogue about monitoring their own work, what constitutes appropriate standards of judgement and plan their own learning if they are to discriminate what is quality performance and enact it. Dialogue is also needed to interpret standards and criteria and discern how they are manifested in


그들 자신의 일과 다른 일의 일. 여기에 대화는 대면 또는 일대일 대화로 문자 그대로, 하지만 하지 않아야 도출에 볼 수있는 다른 배우들 (교사, 동료, 실무자, 소비자와 학습 시스템)와 다른 종류의 상호 작용의 모든 형태로 인식과 판단, 그리고 개선 된 행동을 위해 필요한 것을 식별합니다.

their own work and that of others. Dialogue here should not be taken literally as face-to-face or one-to-one conversations, but as all forms of interactions of different kinds with different actors (teachers, peers, practitioners, consumers and learning systems) with a view to eliciting perceptions and judgements, and discerning what is needed for improved action.


학습 환경을 고려할 때 중요한 또 다른 차원은 신뢰이다. 학습자는 신뢰할 수있는 정보를 토대로 행동합니다. 의견이 변덕스럽거나 ill-considered하거나, 학생을 고려하지 않으면 학생은 자신의 의견을 바탕으로 행동하지 않습니다. 

A further important dimension in considering the learning milieu is what Carless(2009) has identified as trust. Learners will only act on the basis of trustworthy information. If they believe that comments are capricious or ill considered, or do not take the student as person into account, they will not act on the basis of them. 


일반적으로 신뢰 관계는 학생과 교사간에 가정되며, 적어도 권력 관계 또는 가정 된 전문 지식 (좋은 일의 좋은 판단자로서의 지위를 보장해야 함)이 있어야 교사의 의견을 진지하게 받아 들일 수 있다고 가정합니다. 그러나 다른 사람들과 함께, 신뢰 관계를 구축해야합니다. 다른 학생과의 관계에서는, 타인에 의해 valid하다고 인정된 정보를 점진적으로 공유함으로써 발생할 수 있습니다. (학생 사이에는) assumed trust가 default가 아닐 수 있습니다.

Typically, a relationship of trust is assumed between student and teacher or at least an assumption that power relations or assumed expertise (warranting status as a good judger of good work) might lead to the teacher’s comments being taken seriously. However, with others, a relationship of trust needs to be built. With other students, this can occur as a result of progressive sharing of information recognised by the other to be valid: there may be no default position of assumed trust. 


그러한 관계가 번성하고 훼손되지 않는 맥락을 제공하는 학습 환경을 구축하는 역할이있다.

There is a role in the establishment of a learning milieu to provide a context in which such relationships can flourish and not be undermined


예를 들어 학생들은 신뢰를 구축 할 수있는 '동등성'에 대한 가정을 손상시킬 수있는, 서로에 대한 성적을 제시하게 요구받을 수 있다. 권력 관계는 신뢰를 비롯한 학습환경의 여러 특징에 깊은 영향을 미친다.

for example, students being asked to generate grades for each other which might compromise assumptions of ‘peerness’ on which trust can be built. Power relations profoundly influence trust and indeed other features of the learning milieu.


어떤 관계에서는 이상적인 호혜적 의사 소통을 성취 할 수 없게 하는 구조적이고 지위적 제약이 종종있다 (Hughes 2004). 대학 교사의 총괄 평가 역할은 대화가 금지 될 수있는 예일 수 있습니다. 마찬가지로 선생님의 지위가 높다는 사실은 학생 자신의 성적 평가를 저해 할 수 있습니다. 즉, 그들은 교사의 견해에 동의하고 자신의 판단을 평가 절하한다.

there are often structural and positional constraints (Hughes 2004) that the ideal of reciprocal communication cannot be achieved within some relationships. The summative assessment role of university teachers is perhaps an example of where dialogue may be inhibited. Likewise, the perceived high status of the teacher may inhibit students’ own self-evaluation of performance. That is, they acquiesce to the teacher’s viewpoint and devalue their own judgements.


학습자의 과제는 적절한 표준 및 기준에 대한 이해를 얻고 이들에 대한 성과를 모니터링하는 것뿐만 아니라이 학습을 실제 적용하고 자신의 업무를 판단 할 수있는 새로운 기회를 찾는 것입니다. 피드백 루프의 완성은 학습자가 자기 조절 과정에서 스스로를 속일 수 없도록 보장하기 위해 필요합니다. 이 교정 작업은 종종 다른 사람의 사용과 반복적 인 작업 참여가 필요할 것입니다.

The challenge for learners is not only to acquire understanding of the appropriate standards and criteria and monitor their performance against these, but also to find new opportunities to put this learning into practice and find ways of judging their own work. Completion of the feedback loop is necessary to ensure that learners are not fooling themselves in the process of self-regulation. This work of calibration will often require the use of others and iterative task engagement.


함의

Implications


요약하면, 학습 위치 피드백에 대한 피드백을 재고하는 것 :

In summary, rethinking feedback for learning repositions feedback:


(1) [교사의 행동]에서 [교사가 참여하는 학생의 행동]에 이르기까지 (일방적 공동 제작, 독백에서 대화로).

(2) 선생님의 거의 독점적 인 사용에서부터 다른 많은 선생님의 것 (단일 출처에서 여러 출처로).

(3) 개인으로서의 학생 행동에서 반드시 동료를 포함하는 것에 이르기까지 (개인주의에서 집단주의로).

(4) 고립 된 행동의 집합에서 시간이 지남에 따라 설계된 일련의 발달 (단일 항목에서부터 커리큘럼에 이르기까지).

(1) From an act of teachers to an act of students in which teachers are part (from unilateral to co-constructed; from monologue to dialogue).

(2) From the almost exclusive use of teachers to that of many others (from single source to multiple sources).

(3) From an act of students as individuals to one that necessarily implicates peers (from individualistic to collectivist).

(4) From a collection of isolated acts to a designed sequence of development over time (from unitary items to curriculum).


학습 중심 접근 방식을 주장한다고해서 교사가 피드백에 redundant해지지는 않습니다. 그러나 오히려 그러한 재배치는 교사에게 다른 역량의 요구를 요구합니다. 교사는 학습 환경의 설계자와 지지자가됩니다. 학생이 agency를 가지고 일할 수있는 조건을 수립합니다. 지속 가능한 피드백의 초점은 [피드백 제공]에서 [학습 환경의 설계, generative task의 seeding, 학생과 교수 간의 상호작용 촉진]에 중점을 둡니다.

The insistence of a learning-centred approach does not render the teacher redundant in feedback. But rather, such repositioning demands of the teacher a different set of competencies. Teachers become designers and sustainers of the learning milieu; establishing conditions in which students can operate with agency. The focus of sustainable feedback shifts 

  • from the provision of feedback 

  • to the design of learning environments, 

  • the seeding of generative tasks and 

  • the fostering of interactions with and between students and staff.


우리는 피드백의 초점이 이동해야한다고 제안합니다. 교사는 지금까지보다 학생들의 학습에 관한 더 나은 정보를 필요로하며, 학생들은 그들이 필요로하는 종류의 정보를 끌어내는 기술을 더 잘 발휘할 필요가 있습니다. 이것들은 여전히 ​​피드백 과정이지만, 상호 구성되고 상호 의존적인 것들입니다. 이 변화에서 성공의 척도도 변합니다. 이 변화에서 성공의 척도도 변합니다. 그들은 움직인다.

  • 시의 적절하고 상세한 정보 제공에 초점을 두는 것에서

  • 자기조절 육성을 위한 타이밍의 적절성과 정보의 성격에 초점을 맞춘 것입니다.


we suggest that the focus of feedback has to shift. Teachers need better quality information about student learning than they have been getting, and students need to better exercise their skills in eliciting the kinds of information they need. These are still feedback processes, but ones that are mutually constructed and co-dependent. The measures of success also change in this shift. They move 

  • from a prime focus on timely and detailed information 

  • to one in which the focus is on the appropriateness of timing and the nature of information for fostering self-regulation.





Student feedback is a contentious and confusing issue throughout higher education institutions. This paper develops and analyses two models of feedback: the first is based on the origins of the term in the disciplines of engineering and biology. It positions teachers as the drivers of feedback. The second draws on ideas of sustainable assessment. This positions learners as having a key role in driving learning, and thus generating and soliciting their own feedback. It suggests that the second model equips students beyond the immediate task and does not lead to false expectations that courses cannot deliver. It identifies the importance of curriculum design in creating opportunities for students to develop the capabilities to operate as judges of their own learning.


밀레니얼 학생에 대한 잘못된 신화: 전문직 교육과 관련한 특성의 재평가(Anat Sci Educ, 2011)

Demystifying the Millennial Student: A Reassessment in Measures of Character and Engagement in Professional Education

Camille DiLullo,1* Patricia McGee,2 Richard M. Kriebel3

1Department of Anatomy, Philadelphia College of Osteopathic Medicine, Philadelphia, Pennsylvania

2Department of Educational Psychology, College of Education and Human Development, The University of Texas at San Antonio, San Antonio, Texas

3Department of Neuroscience, Physiology and Pharmacology, Philadelphia College of Osteopathic Medicine, Philadelphia, Pennsylvania




도입

INTRODUCTION


In the book Generations: The History of America’s Future, 1584 to 2069, the authors showed the patterns of differences among individual generations including the 

  • Silent Generation (1925–1942), 

  • Baby Boom Generation (1943–1960), 

  • Generation-X (1961– 1981), and 

  • the Millennial Generation (1982–2001), 

...a term which they coined (Strauss and Howe, 1991).


스미스 앤 라간 (Smith and Ragan, 2005)은 학습 특성을 네 가지 영역,

(1) 변화하는 유사점,

(2) 변화하는 차이,

(3) 고정된 유사성, 

(4) 고정된 차이.

Smith and Ragan (2005) have organized learning characteristics into four areas: 

(1) changing similarities, 

(2) changing differences, 

(3) stable similarities, and 

(4) stable differences. 


  • '변화하는 유사점과 차이점'에 포함 된 특징은 개인에 따라 시간이지나면서 진화하는 특성입니다. 이러한 특성에는 개인의 가치와 신념, 성격, 발달 단계, 교육 수준 등이 포함되며, 모두 개인 개발, 현재의 사회 모아레, 전반적인 정치 환경 및 글로벌 경제의 영향을받을 수 있습니다. 학습 설계에서 가장 중요한 학습과 관련된 하나의 '변화하는 특성'은 프로그램 내용의 복잡성 선택에 직접적으로 관련된 교육 수준이다.

  • '안정된 유사점과 차이점' 에는 적성, 민족성, 학습 스타일, 학문적 자아 개념 (학업 능력의 자기 인식), 그리고 '통제의 위치'(내부 위치는 학습자의 책임 임; 외부 통제 위치는 다른 학습자에게 그들의 학습에 대한 책임을진다.) 등이 있다.


  • The characteristics included among ‘‘changing similarities and differences’’ are those that will evolve over time for an individual. These characteristics include personal values and beliefs, personality, developmental stages, and educational level all of which can be impacted by personal development, current societal moire´s, overall political climate, and global economics. The one ‘‘changing characteristic’’ related to learning most important in the design of instruction is educational level as it is directly relevant to selection of program content complexity. 

  • The characteristics included among ‘‘stable similarities and differences’’ are characteristics such as aptitude, ethnicity, learning style, academic self-concept (self-perception of academic ability), and ‘‘locus of control’’ (internal locus of control-learner takes responsibility for their learning; external locus of control-learner expects others to take responsibility for their learning).


동일 세대 집단에 속하는 학습자가 안정된 특성을 공유 할 수 있습니다. 예를 들어, 밀레니엄 학생들은 종종 팀 지향적이며 협업적이고 가치있는 동료 의견으로보고됩니다.

Some stable characteristics may be shared by learners that belong to the same generational cohort. For example, Millennial students are often reported to be team-oriented, be collaborative and value peer opinions.


밀레니엄 학생들은 이전 세대와는 분명히 다른 세계에 살며 혁명적 인 기술을 접할 수 있습니다.

Millennial students live in a world that is clearly different from that of previous generations and have access to technologies that are revolutionary.


연구 데이터를 분석하면 이러한 학생들은 학습의 근본적 프로세스라는 점에서는 다른 세대와 다를 수 없다는 것을 알 수 있습니다. 학습 과정에 진정으로 영향을 주는 특정한 '안정된 특성'을 정확하게 평가하는 것이 중요하며 교육 설계시 고려 대상이되어야합니다.

analysis of research data suggests that these students may not be as different from other generations in the fundamental process of learning as is regularly proposed. It is crucial to accurately assess which specific ‘‘stable characteristics’’ truly impact the learning process and should be targeted for consideration in instructional design.




밀레니얼 학생의 특징

MILLENNIAL STUDENT CHARACTERIZATION


일레니얼 학생과 흔히 연관되는 특징들

Characteristics Commonly Associated With the Millennial Student


천년기 세대에 대한 '사실'에 관한 최초의 주목할만한 불일치 중 하나는 넷 세대, 세대 Y, 에코 붐 세대, 세대 Me 및 디지털 원주민으로 불리우며 세대를 분류하는 데 사용 된 날짜의 범위입니다. 출처에 따라, 밀레니엄 세대 경계는 1978 년부터 1984 년까지 범위의 시작, 끝은 1990 년 초 ~ 2001 년 말에 제안되었다.


One of the first notable discrepancies regarding ‘‘facts’’ about the Millennial Generation, alternatively dubbed the Net Generation, Generation-Y, Echo-boomers, Generation Me, and Digital Natives, is the range of dates used to bracket the generation. Depending upon the source, generational boundaries set for the start of the Millennial Generation range anywhere from 1978 to 1984 with the end proposed to be as early as 1990 but as late as 2001.



2003 년, Millennials Go to College의 Howe and Strauss는 신세대 캠퍼스 전략을 수립하여 천년 세대 학생들을위한 7 가지 특성 특성을 제시했습니다.

(1) 특수,

(2) 보호,

(3) 자신감,

(4) 팀 지향,

(5) 종래의,

(6) 압력을 받고,

(7) 달성.

In 2003, Howe and Strauss, in Millennials Go to College: Strategies for a New Generation on Campus, posited seven specific character traits for students in the Millennial Generation which are 

(1) special, 

(2) sheltered, 

(3) confident, 

(4) team-oriented, 

(5) conventional, 

(6) pressured, and 

(7) achieving. 


많은 저자들은 Howe와 Strauss가 제공 한 Millennial 특성 분석에 동의하고 Millennials를 포함하도록 확장하여 Millennials는 낙관적이고 지능적이며 목표 지향적이며 야심 차고 학습에 관심을 갖고 멀티 태스킹, 문화적 차이에 대한 존중, 공동 작업, 유연성에 대한 욕구, 피드백에 대한 궁핍, 그리고 즉각적인 반응을 예상했다.

Many authors concurred with the Millennial characterization offered by Howe and Strauss and expanded it to include that Millennials are optimistic, intelligent, goal oriented, ambitious, interested in learning, multitaskers, respectful of cultural differences, collaborative, desiring of flexibility, needy for feedback, and anticipatory of immediate response . (Oblinger, 2003; McGlynn, 2005; Taylor and MacNeil, 2005; Wilson, 2005; Borges et al., 2006; Goldman and Schmalz, 2006; Pastorino, 2006; Taylor, 2006; Coates, 2007; Roos, 2007; Gleason, 2008; Lower, 2008; Tarr and Palmer, 2008; Wesner and Miller, 2008; Immerwahr, 2009; Moore, 2009; Sweeney, 2009).


밀레니엄 학생들의 학습 스타일에 관해서는 밀레니엄 학생들은 활동적인 학습자이며, 대규모 그룹보다는 작은 그룹에서 가장 잘 작동하고 테크놀로지를 사용하여 학습하는 것을 선호한다는 것을 보여줍니다 (Prensky, 2001; Dede, 2005; Oblinger and Oblinger, 2005, Sweeney , 2006, Sandars and Morrison, 2007, Croasdale, 2008).

regarding the learning style of the Millennial student reports show that Millennial students are active learners, work best in small rather than large groups, and prefer learning via the use of technology (Prensky, 2001; Dede, 2005; Oblinger and Oblinger, 2005; Sweeney, 2006; Sandars and Morrison, 2007; Croasdale, 2008).


다른 불안한 특성. 학생들은 보고됩니다 (Newton, 2000; Kuh, 2003; Weiler, 2004 Speencer, 2006, Westerman, 2006-2007, Hoover, 2007, 2009, Monaco and Martin, 2007, Sweeney, 2007, UCL, 2008, Considine et al., 2009, Immerwahr, 2009, Twenge, 2009).

    • 자격 부여의 느낌으로 자기애 주의적,

    • unmotivated,

    • 참을성이없는,

    • 부주의 한,

    • 독립 준비가 안된,

    • 학업 적으로 이탈 한

    • 시간 관리, 미디어 활용 능력 및 비판적 사고 기술이 부족합니다.

other disquieting traits. Students are reported to be 

narcissistic with a feeling of entitlement, 

unmotivated, 

impatient, 

incurious, 

unprepared for independence, 

academically disengaged, and 

deficient in time management, media literacy, and critical thinking skills (Newton, 2000; Kuh, 2003; Weiler, 2004; Spencer, 2006; Westerman, 2006– 2007; Hoover, 2007, 2009; Monaco and Martin, 2007; Sweeney, 2007; UCL, 2008; Considine et al., 2009; Immerwahr, 2009; Twenge, 2009).


대부분의 밀레니엄 학생 설문 조사는 보통 하나 또는 두 개의 유사한 기관에서 격리 된 학생 집단으로부터 수집됩니다. 따라서 일반적 조사 대상은 (인구 기반이 다양한 종족, 종교, 민족성, 사회 경제적 배경을 가진 학생들을 포함하지 못하여) 전체적으로 밀레니얼 학 생을 반영하지 않는다고 주장 할 수있다 (Kennedy et al., 2006). 특히, 밀레니엄 학생들의 36 %는 흑인, 히스패닉 또는 아시아계이며,이 세대의 3 분의 1은 한 부모 가정에서 자랐습니다 (Taylor and Keeter, 2009). 밀레니엄 학생 인구의 현재 특성은 지나치게 단순화 될 가능성이 있습니다.

Most Millennial student surveys are collected from isolated student populations usually from one or two similar institutions. It could be argued that the population base generally being surveyed does not reflect the Millennial student body as a whole which includes students from various races, religions, ethnicities, and socio-economic backgrounds (Kennedy et al., 2006). Specifically, 36% of Millennial students are African American, Hispanic, or Asian and one-third of this generation has been raised in a single parent household (Taylor and Keeter, 2009). The current characterization of the Millennial student population is likely to be over-simplified.



테크놀로에 대한 관여와 친화도

Engagement and Facility With Technology


밀레니엄 학생들에 관한 한 가지 도그마는 Millennials가 테크놀로지를 사용하여 광범위한 경험을 쌓아 왔기 때문에 수업 내용이 디지털로 전달되어야한다는 것입니다 (Tapscott, 1999, Carlson, 2005, Sweeney, 2006, Sandars and Morrison, 2007, Croasdale, 2008). 실제로,이 학생 집단에 주어진 'Digital Native'라는 이름은 Millennials의 테크놀로지에 친화력에 대한 불균형을 'Digital Immigrants'(Prensky, 2001)라고 불리는 이전 세대의 구성원과 비교하여 강조하기위한 것입니다. . Dede (2005)는 디지털 이민자가 오래된 교수법을 "unlearn"하는 것이 필요하다고 주장하지만, 이미 디지털 이민자는 많은 디지털 학습 도구와 컨텐츠 전달 혁신을 창안했습니다. 교육 환경에서 그것을 사용하는 데 능숙한 사람들이 많이 있습니다.

One apparent dogma regarding Millennial students is that instructional content must be delivered digitally because Millennials have grown up having extensive experience using technology (Tapscott, 1999, 2009; Carlson, 2005; Sweeney, 2006; Sandars and Morrison, 2007; Croasdale, 2008). In fact, the ‘‘Digital Native’’ moniker given to this student cohort is meant to accentuate the supposed disparity of the technological facility of Millennials compared with members of previous generations who have been dubbed ‘‘Digital Immigrants’’ (Prensky, 2001). Dede (2005) contends that it is necessary for Digital Immigrants to ‘‘unlearn’’ old teaching methods However, many digital learning tools and content delivery innovations have been created by Digital Immigrants. there are many who are adept at using it in the teaching environment.


마찬가지로 디지털 네이티브들 사이에도 디지털 학습 도구를 사용하려는 욕구와 능력에 대한 스펙트럼이 존재 함이 보고되어 있다(Murphy et al., 2004; Kvavik, 2005; Kvavik and Caruso, 2005; Kennedy et al., 2006; Jones et al., 2010). 또한 Digital Native가 써본 테크놀로지 장비는 교육 환경에서 기술을 갖춘 시설과 동일하지 않을 수 있습니다. 기술에 대한 밀레니엄 학생들의 경험은 주로 게임 및 소셜 미디어 기술에 관한 것이다(Kennedy 외., 2006; Margaryan and Littlejohn, 2008; Kolikant, 2010). 게임 기술이 디지털 학습에 필요한 기술로 자동 변환되지 않을 수도 있음이 제안되었는데 (Foerde 외., 2006) 이러한 기술은 학습이 결과 인 경쟁 엔터테인먼트 환경에 놓여있다.

Likewise, it has been documented that a spectrum for both the desire and ability to use digital learning tools exists among Digital Natives (Murphy et al., 2004; Kvavik, 2005; Kvavik and Caruso, 2005; Kennedy et al., 2006; Jones et al., 2010). In addition, facility with electronic devices demonstrated by the Digital Native may not equate to facility with technology in the educational environment. The predominant Millennial student experience with technology has been centered on gaming and social media skills (Kennedy et al., 2006; Margaryan and Littlejohn, 2008; Kolikant, 2010). It has been suggested that gaming skills may not automatically translate into skills requisite for digital learning (Foerde et al., 2006) in that these skills are situated in a competitive entertainment context, not one in which learning is the outcome.


또한 문화적 배경, 사회 경제적 지위, 분야 전문화와 같은 요인들로 인해 기술에 대한 가변적 인 노출의 결과로 Millennial 학생들 사이에 기술적 전문성의 차이가 존재한다 (Kvavik and Caruso, 2005; Bennett et al ., 2008). 마지막으로, 영국의 Joint Information Systems Committee (JISC, 2007)에 의해 위탁 된 연구는 특별한주의를 기울일 가치가있는 발견을 포함했다; 밀레니엄 학생의 테크놀로지 사용 경험이 자동적으로 전통적인 형태의 교육학과의 단절을 초래하지는 않습니다.

In addition, it has been proposed that differences in technological expertise among Millennial students exist as a result of variable exposure to technology due to factors such as cultural background, socio-economic status, and discipline specialization (Kvavik and Caruso, 2005; Bennett et al., 2008). Finally, a study commissioned by the United Kingdom’s Joint Information Systems Committee (JISC, 2007) included a finding worthy of special note; Millennial student engagement with technology does not automatically result in their disengagement with traditional forms of pedagogy.


고려해야 할 또 다른 요소는, 실제로 전문직 교실에서 밀레니엄 학생들의 구성 비율입니다 (Pastorino, 2006). Post-baccalaureate 수업은 단일 세대의 학생들로만 구성되지는 않습니다.

Another factor to consider is exactly what percentage within a cohort of students is actually composed of Millennial students especially in professional classrooms (Pastorino, 2006). Postbaccalaureate classes are unlikely to be comprised solely of students from a single generation.



멀티테스킹

Multitasking


Millennial 학생들은 멀티 태스킹 능력으로 인해 놀라운 생산성을 발휘할 수 있다는 평을 받았습니다. Prensky는 "... 기술과 상호 작용하는 사람들의 두뇌는 종종 그 상호 작용에 의해 재구성 될 것입니다."(Prensky, 2009). 즉, 디지털 기술의 사용은 근본적으로 신경 경로를 바꿀 수 있습니다.

Millennial students are lauded for being capable of extraordinary productivity as a result of their ability to multitask. Prensky states ‘‘...the brains of those who interact with technology frequently will be restructured by that interaction’’ (Prensky, 2009). In other words, the use of digital technology can fundamentally alter neural pathways.


사실, 이러한 데이터 중 일부는 멀티 태스킹의 추정된 "기술"이 학습에 부정적인 영향을 미칠 가능성이 있음을 나타냅니다 (Foerde 외., 2006).

In fact, some of these data indicate that the presumed ‘‘skill’’ of multitasking is likely to have a negative impact on learning (Foerde et al., 2006).


비디오 게임이 근본적으로 시각적 인 측면을 수정한다는 연구 결과가 있습니다. 본질적으로, 연습을 통해 빠르게 제시되는 자극에 대한 반응 시간을 향상시킬 수 있습니다. 그러나 (비디오 게임에서 얻게 되는) [각 연구에서 실제로 인식되는] 이점이 학습에 어떤 식으로든 외삽하는 것 까지 입증되지는 않았습니다.

Several studies have demonstrated that video game playing fundamentally modified aspects of visual attention. In essence, with practice, one can improve reaction times for rapidly presented stimuli. The perceived benefit of practice, in each study, was not proven to extrapolate to learning in any way.


이중 작업 조건 하에서, 뇌 활동 (즉, 정보 처리)은 선언적 기억 및 유연 학습flexible learning과 관련된 영역에서 벗어나서 습관 학습habit learning을 유도하는 영역으로 향했다. 학생들은 자신의 경력 과정에서 지속적인 지식과 기술 습득을위한 전문적인 요구 사항을 고려할 때 학습 과정에 참여하면서 관심을 나누는 것을 재검토하고 싶어 할 수 있습니다.

Under dual task conditions, brain activity (i.e. information processing) was directed away from the region associated with declarative memory and flexible learning to a region that facilitates habit learning. Students may want to reconsider dividing their attention while engaged in the learning process particularly given the professional requirement for continued knowledge and skills acquisition over the course of their career.



독서
Reading


이 세대는 디지털 미디어 (DVD, 전자 책, 인터넷 및 모바일 기술)를 통한 지식의 분열에 영향을 받아 네러티브를 사운드 비트로 축소시켰으며, 이는 집중력의 저하 및 reading as literacy의 미디어 리터러시로의 전환으로 이어졌습니다 (considine et al., 2009). 그것은 종종 읽지 않아도 되는 디지털 자원으로 학습하는 밀레니얼 학생 선호에 대한 결과로 제시됩니다 (Oblinger and Oblinger, 2005; Sweeney, 2006). 그러나 독서는 학습에 필수적이며 정보에 입각 한 현재 및 미래의 전문적인 성공에 필수적입니다. 미국 국립 독서 예술 기금 (NEA) 보고서는 밀레니엄 학생들이 독서를 하지 않는다는 주장을 뒷받침하기 위해 종종 읽혀집니다. NEA 보고서에는 밀레니얼 인구의 문학 독서가 감소했음을 보여주는 자료가 포함되어 있습니다 (NEA, 2004). 이 보고서의 기초는 지난 12 개월 동안 문학 독서에 헌신 한 시간에 관한 질문을 포함하는 설문 조사였다. 문학 독서는 소설, 단편 소설, 연극 또는 시로 제한된 독서로 정의되었습니다. 응답자들은 학교 나 직장에 헌신적 인 독서를 배제하도록 지시 받았다. 그러나 Millennial Generation에 대한 독서가 10 % 감소한 것으로 나타났으나, 실제로는 모든 세대 별 코호트의 독서가 10 % 감소했습니다.

This generation more than any other has been influenced by the disaggregation of knowledge through digital media (DVDs, eBooks, the Internet, and mobile technologies) that has reduced narratives to sound bites and resulted in diminished attention spans and a shift from reading as literacy to media literacy (Considine et al., 2009). It is often put forward as a corollary to the Millennial student preference for learning with digital resources that they do not read (Oblinger and Oblinger, 2005; Sweeney, 2006). Yet, reading is fundamental to learning and requisite for informed current and future professional success. Statistics from the 2004 National Endowment for the Arts (NEA) report on reading in America are often referenced to support the claim that Millenial students do not read. The NEA report contained data that revealed a decline in literary reading in the Millennial population (NEA, 2004). The basis of the report was a survey that included questions on the amount of time devoted to literary reading in the preceding 12 months. Literary reading was defined as reading limited to novels, short stories, plays, or poetry. Respondents were directed to exclude any reading devoted to school or work. While the data showed a 10% decline in reading for the Millennial Generation, it showed an equal 10% decline in reading for every generational cohort.


사실, 이후 NEA에서 읽는 2007 년 보고서는 교육 과제에 요구되는 것으로 정의 된 의무 독서를 고려했습니다. 특히 데이터는 학교에서, 그리고 숙제를 위해 하루에 읽은 페이지 수가 실제로 증가했다는 것을 보여주었습니다 (NEA, 2007).

In fact, subsequently, the 2007 report on reading from the NEA took compulsory reading, defined as that required for educational assignments, into consideration. Notably, data showed that overall the number of pages read per day in school and for homework by Millennial students has actually increased (NEA, 2007).


디지털 미디어를 통해 읽을 수있는 읽을 수있는 콘텐츠의 양을 감안할 때 현재 학생들이 이용할 수있는 방법과 내용은 10 년 전 학습 환경의 학생들이 이용할 수 있었던 것과는 다릅니다.

Given the amount of readable content available via digital media, how and what is available now for students to access differs from that which was available for students in the learning environment a decade ago.


또 다른 영국 연구에 따르면 학생들은 연구를 위해 '인터넷만으로 충분합니다'라고 느끼곤 한다(Kolikant, 2010). 그러나 '어려운' 과제에 대한 조사를 할 때 그들은 온라인과 텍스트 북 자원의 조합을 사용하여 정보를 검색했습니다. 이러한 축적 된 결과를 고려할 때, 밀레니얼 학생들은 그들의 학습 전략 중 글 읽기textual reading를 거부하고 있다고 주장하는 것은 과장된 표현 일 수 있습니다.

Another British study reported that students felt with ‘‘an assignment amounting to just a few pages...the internet is sufficient’’ for research (Kolikant, 2010). However, when doing research for more ‘‘serious’’ assignments, they searched for information using a combination of online and text book resources. With these accumulated findings taken into consideration, it is likely an overstatement to claim that students from the Millennial Generation are resistant to including textual reading among their learning strategies.



비판적 사고

Critical Thinking


비판적 사고 능력은 21 세기 직장에서의 전문적인 성공의 열쇠입니다 (P21, 2011). Millennial Generation의 학생들은 아마도 20 세기 말에 학습 이론의 급속한 발전을 감안할 때 광범위한 교수법을 경험 한 최초의 세대 일 것이며, 아마도 미국 역사상 가장 검증 된 세대 일 수 있다고 주장 할 수 있습니다 . 이러한 [과도한] 시험testing은 (21 세기 고용주의 주요 관심사인) 비판적 사고 감소의 원인으로 제안되었습니다 (Spellings, 2006).

The ability for critical thinking is key for professional success in the 21st century workplace (P21, 2011). It can be argued that students of the Millennial Generation are probably the first generation to have experienced a wide range of teaching methods given the rapid advancement of learning theories in the end of the 20th century, and they are possibly the most tested generation in US history. Such testing has been suggested as a cause for reduced critical thinking, a primary concern for 21st century employers (Spellings, 2006).


비판적 사고의 과정은 추론의 과정과 관련이있다.

    • 전문가의 경우 임상 적 추론에는 이전 경험과 함께 관련 지식을 패턴 인식하여 전형적인 조건을 신속하게 평가할 수있는 귀납적 추론이 포함됩니다 (Maudsley and Strivens, 2000). 이러한 인식 패턴은 "스키마"(Sweller, 1988)라고도 불리며 정보의 덩어리를 구성합니다. 전문가가 발전할수록 접근 할 수있는 관련 정보의 덩어리가 커진다 (Sweller, 1998). 전문가들은 귀납적 추론이 실패 할 때, 문제 해결을 위해 귀납적 추론과 연역적 추론을 전환한다 (Maudsley and Strivens, 2000). 

    • 초보자는 스키마를 작성하기위한 기초 지식과 경험이 부족합니다. 그들은 hypothetico-deductive reasoning을 사용하여 가설로부터 후향적으로 작업한다. 초보자에게 문제 해결을위한 미리 결정된 스키마를 제공하면 자신의 전문적인 비판적 사고의 개발을 위해 적절한 지식과 경험을 독립적으로 합성 할 수있는 능력이 제한 될 수 있습니다.

The process of critical thinking is linked to the process of reasoning. For the expert, clinical reasoning involves inductive reasoning in which pattern recognition of relevant knowledge along with previous experience facilitates rapid assessment of typical conditions (Maudsley and Strivens, 2000). These patterns of recognition, also referred to as ‘‘schemas’’ (Sweller, 1988), constitute chunks of information. The more advanced the expert, the larger the chunk of relevant information that can be accessed (Sweller, 1998). For experts, when inductive reasoning fails problem solving involves switching between inductive and deductive reasoning (Maudsley and Strivens, 2000). The novice lacks the foundational knowledge and experience to create schemas. They use hypothetico-deductive reasoning to work backward from a hypothesis. Providing the novice with predetermined schemas for problem solving may limit their ability to independently synthesize appropriate knowledge and experience for the development of their own expert critical thinking.


헬스케어의 지속적인 발전은 실무 전문가가 현재 자신의 분야에서 현재 상태를 유지하고 가장 진보 된 지식을 독립적으로 확인할 수 있어야합니다. 이 지식의 타당성을 검증하기 위해서는 1 차적 문헌에 대한 비판적인 분석이 필요합니다. Millennial 학생 인구 내에서 미디어 리터러시 기술은 약하다는보고가있다 (Weiler, 2004; UCL, 2008; Considine et al., 2009; Hargittai et al., 2010, Kolikant, 2010). 밀레니엄은 WikipediaTM (Wikimedia Foundation Inc., 샌프란시스코, CA) 및 YouTube ™ (YouTube, LLC, San Bruno, CA)에 의해 예견된 융통성없는 인터넷 자원에 놀라운 노출로 성장해 왔습니다. Millennial 학생들은 [빠르게 최소한의 노력으로 큰 이익을 얻는 것]을 선호하며, 이는 그들을 [최초의, 가장 쉽게 얻어진 정보원을 선택하는 경향]을 갖게 했다 (Newton, 2000; Kuh, 2003). 넓게 봤을 때, Millennials는 비평 할 기술이 부족하고, 무엇이 valid하고 무엇이 그렇지 않은지를 판단하는 기술이 부족한 것처럼 보여서, 전략적으로 교육을 통해 이것을 길러줘야 할 것을 제안한다.

Ongoing advances in health care necessitate that practicing professionals, to remain current in their field, must be capable of independently ascertaining the most advanced knowledge. Verifying the validity of this knowledge requires critical analysis of primary literature. It has been reported that media literacy skills within the Millennial student population are weak (Weiler, 2004; UCL, 2008; Considine et al., 2009; Hargittai et al., 2010; Kolikant, 2010). Millennials have grown up with astonishing exposure to unvetted internet resources exemplified by WikipediaTM (Wikimedia Foundation Inc., San Francisco, CA) and YouTubeTM (YouTube, LLC, San Bruno, CA). The predilection for Millennial students is to make big gains quickly and with minimal effort (Newton, 2000; Kuh, 2003) which has conditioned them to select the first or most easily available information resource. In large measure, Millennials appear to lack the skill to critically analyze information and determine what is and is not valid (Selwyn, 2008; Considine et al., 2009) which suggests that strategic curricular strategies should be considered to develop these skills.



프로페셔널하지 못한 행동

Unprofessional Behaviors


Millennial 학생이 특성이 어떻든, 일단 전문 교육과 훈련을 받기로 선택하면 자신이 선택한 직업에 의해 정의 된 행동 기준을 유지해야 할 의무를 인식해야 합니다. 모든 전문 분야는 표준을 유지할 것으로 기대된다 (Cusimano, 1996; Lovas et al., 2008)

Regardless of which character traits are determined to be accurate for the Millennial student, once they choose to progress to professional education and training they must recognize their obligation to maintain the behavioral standards defined by their chosen profession. Every professional field is expected to maintain standards (Cusimano, 1996; Lovas et al., 2008)


적절한 프로페셔널한 행동의 습득이 어떻게 훈련 과정에서 없어 졌는가? 미국의 18 세기 의학 교육은 공식 커리큘럼의 일부인 '견습 (Apprenticeship)'모델을 통해 전문적인 행동에 대한 교육을 통합했다. 각 학생은 교육의 상당 부분을 담당하는 개별 의사의 뒤를 따라다닌다. 의사 견습생은 전문적인 행동, 윤리 및 도덕뿐만 아니라 적절한 환자/의사 상호 작용이 무엇인지에 대해 의도적으로 guide 되었습니다. 의학 교육을 표준화 한 1910 년의 Flexner 보고서는 과학 지식의 전달에 소요되는 시간을 늘려놓았다 (Flexner, 1910; Rothstein, 1987; Mitka, 2010). 근본적으로 ''견습 (Apprenticeship) ''형식의 의학교육 모델은 기본적으로 '2 + 2'모델이 되었습니다.

How did the acquisition of appropriate professional behaviors get lost in the process of training? Eighteenth century medical education in the United States incorporated training in professional behaviors through an ‘‘Apprenticeship’’ model which was part of the formal curriculum (Rothstein, 1987). Each student shadowed an individual physician for a significant portion of their training. The physician apprentice was purposefully guided in appropriate patient/physician interactions as well as professional behaviors, ethics, and morals. The 1910 Flexner report, which standardized medical education, also lengthened the time devoted to the delivery of scientific knowledge (Flexner, 1910; Rothstein, 1987; Mitka, 2010). The essentially ‘‘Apprenticeship’’ model of medical training morphed to a model that was basically a ‘‘Two plus Two’’ model.


2 년의 교육 기간이 기초 지식 습득에 할당되면서, 의사 지식과 환자 상호 작용 관찰을 통해 적절한 전문적 행동을 배울 수있는 'Apprenticeship'훈련에 헌신하는 시간이 감소하였다. 원래 이 시기는 환자/의사 상호작용을 관찰하며 배우는 기회가 있었다. 임상 교육에서 환자와 의사의 상호 작용은 남은 2 년간의 훈련으로 대부분 이관되었습니다. 19 세기가 진행됨에 따라 의료의 근대화로 인해 주로 치료는 점차 사무실/가정에서 병원으로 이동하였다(Rothstein, 1987). 이것은 학생들이 임상에 노출되는 환경을 더 변화시켰고, 더 견습 훈련을 감소시켰습니다. 대부분의 학생과 의사의 상호 작용은 병원 환경에 국한되었습니다. 따라서, 학부 의학 커리큘럼은 전문적인 행동에 대한 공식적인 훈련을 최소화하는 방식으로 발전했습니다.

Approximately, the first two years of training were designated predominantly for the acquisition of foundational knowledge with a concomitant decrease in the time devoted to ‘‘Apprenticeship’’ training in which students had the opportunity to learn appropriate professional behaviors through observation of physician/ patient interactions. Interactions with physicians in clinical training were largely relegated to the remaining two years of training. As the 19th century progressed, modernization of healthcare moved treatment from primarily an office/home setting to one that was hospital based (Rothstein, 1987). This dramatically changed the environment in which students received clinical exposure and further diminished apprenticeship training. The majority of student/physician interactions were limited to the hospital setting. Thus, the undergraduate medical curriculum evolved in a way that minimized formal training in professional behaviors.


현재의 의학 교육 시스템에서 학생들이 프로페셔널한 행동 및 전문직 정체성을 개발하는 대부분의 input은 "숨겨진 커리큘럼"이다.

in the current medical education system, students receive most of their input regarding professional behaviors and the development of their ‘‘Professional Identity’’ (Cribb and Bignold, 1999) through the ‘‘hidden curriculum’’ (Hafferty and Franks, 1994; Turbes et al., 2002; Lempp and Seale, 2004; Chuang et al., 2010) rather than through explicitly delineated program requirements within the formal curriculum.


행동 기준 또는 "전문직 정체성"의 습득은 필수 지식을 전달하는 것과 마찬가지로 공식 커리큘럼에서 필수적인 구성 요소가되어야합니다 (Cruess and Cruess, 1997). 해부학 과정은 초기 의학 커리큘럼에서 '직업적 정체성'교육의 요소를 도입 할 수있는 하나의 수단으로 확인되었습니다 (Escobar-Poni and Poni, 2006; Lachman and Pawlina, 2006; Pangaro, 2006; Pawlina, 2006). Swartz, 2006; Swick, 2006; Warner and Rizzolo, 2006; Bo ckers et al., 2010; Pearson and Hoagland, 2010).

Training students in behavioral standards, or in acquiring their ‘‘Professional Identity,’’ should be as integral a component in the formal curriculum as is delivery of requisite knowledge (Cruess and Cruess, 1997). The anatomy course has been identified as one possible vehicle through which to introduce elements of ‘‘Professional Identity’’ training in the early medical curriculum (Escobar-Poni and Poni, 2006; Lachman and Pawlina, 2006; Pangaro, 2006; Pawlina, 2006; Swartz, 2006; Swick, 2006; Warner and Rizzolo, 2006; Bo¨ ckers et al., 2010; Pearson and Hoagland, 2010).


많은 분야에서 역량 평가만을 위한 성과만을 사용하는 것이 그 약속을 성취하지 못했고 정의 된 표준의 명확한 clarification의 반복만이 되었다는 증거가 있습니다 (Wolf, 2001). 최근에는 적절한 역량 평가 도구가 존재하더라도 그 해석에 일관성이 없다는 것이 지적되고 있습니다 (Green and Holmboe, 2010). 또 다른 지적은 성과 목록 평가에만 전적으로 의존하는 것은 지식과 기술에만 초점을 맞추는 결과를 낳는다는 것이다 (Wass et al., 2001; Whitcomb, 2007)

In many fields, there is evidence that using outcomes alone for competency assessment has not fulfilled its promise and has become a cycle of ever increasing clarification of defined standards (Wolf, 2001). Recently, a case has been made that, although in the field of medicine adequate competency assessment instruments exist, there is inconsistent interpretation and use of them (Green and Holmboe, 2010). Others caution that relying solely on assessing lists of outcomes focuses on testing knowledge and skills (Wass et al., 2001; Whitcomb, 2007)


전직 '견습'교육 모델 하에서 연수생들은 knows, knows how, shows how 등을 평가 받았다. 그러나 견습 모델(the Apprenticeship Model)에서는 비판적 사고 능력의 평가에도 상당한 기회를 제공했다. 멘토는 환자를 치료하는 과정에서 학생들과 협력하여 실제로 지식, 기술 및 행동을 통합하는 방법에 대한 학생의 이해를 평가했습니다. Knows, Knows how, Shows how에 대한 평가는 성과에 초점을 둔 역량 평가에 쉽게 복제duplicate될 수 있다(Miller, 1990). 그러나 어떤 교육 단계에서도, 지식과 기술 만의 시연에 기반을 둔 역량 평가는 본질적으로 학생들의 비판적 사고 능력을 평가하지 못합니다. 이는 이미 천년 학생들에게 취약한 기술입니다. 비판적 사고와 임상 추론의 개발은 특히 전문 교육 분야의 주요 목표로 통합되어야한다 (Norman, 2005, 2006, ElizondoOman ~ a and Guzma'n-Lo'pez, 2008, Elizondo-Oman ~ a et al., 2010 ).

Under the former ‘‘Apprenticeship’’ model of education, trainees were assessed on their acquisition of ‘‘knows,’’ ‘‘knows how,’’ and ‘‘shows how’’ knowledge and skills. The ‘‘Apprenticeship’’ model, however, also provided substantial opportunities for the assessment of trainees’ critical thinking skills. Mentors worked with students in the process of treating patients and assessed student understanding of how to integrate their knowledge, skills, and behaviors in practice. Assessment of ‘‘knows,’’ ‘‘knows how,’’ and ‘‘shows how’’ knowledge and skills can be easily duplicated with competency assessments focused on outcomes (Miller, 1990). However, competency assessment based on demonstration of knowledge and skills alone, at any level of education, essentially neglects the evaluation of the students’ critical thinking skills—a skill already shown to be weak in Millennial students. The development of critical thinking and clinical reasoning should be incorporated as a major objective especially in professional education (Norman, 2005, 2006; ElizondoOman˜ a and Guzma´ n-Lo´ pez, 2008; Elizondo-Oman˜ a et al., 2010).



학습 스타일

Learning Style


많은 교육 기관에서는 학생들에게 최적의 지식 습득에 가장 효과적인 학습 전략을 결정하는 데 도움이되는 특성 또는 학습 스타일 평가를 제공합니다. 학습자의 성격과 학습에 가장 중요한 특성을 이해하는 것이 가장 중요합니다. 이 평가 도구의 대부분은 응답자가 자신이 가장 많이 기울이는 한 쌍의 반대 행동의 극에 대해 자기보고를하는 것을 기본으로합니다 (Felder, 1996; Reynolds, 1997; Coffield et al., 2004). 이러한 평가에 의해 생성 된 정보는 절대적이지 않다 (Coffield et al., 2004).

Many institutions provide students with personality or learning style assessments to help them determine which learning strategies would be most effective for optimal knowledge acquisition. Understanding the nature of the learner and those characteristics most critical for learning is paramount. The majority of these assessment instruments are based on having the respondent self-report toward which pole of a pair of opposite behaviors they are most inclined (Felder, 1996; Reynolds, 1997; Coffield et al., 2004). The information generated by these assessments is not absolute (Coffield et al., 2004).


학습 스타일 평가에 관한 발표 된 데이터는 그들이 선택하는 학습 전략과 관련하여 Millennial 학생 하위 집단 내에 다양성이 있음을 보여줍니다 (Murphy et al., 2004). 학생들 사이의 학습 스타일 차이는 다양한 학습 환경, 자원 또는 징계 내용을 가진 개별 경험을 반영 할 수 있습니다. 특정 직업이 종종 비슷한 핵심 성격 특성을 가진 개인을 끌어 들이고 있다고 생각하십시오. 아마도 각 보건전문직군마다 학생의 독특한 학습 경향이있을 수 있습니다

Published data on learning style assessments demonstrate there is diversity within Millennial student subpopulations in regard to which learning strategies they choose (Murphy et al., 2004). Learning style differences among students may reflect individual experiences with a variety of learning environments, resources, or discipline content. Consider that particular professions often attract individuals with similar core personality traits. Conceivably, there may be a unique learning predisposition among students in each of the health care professions


개인 학습 스타일 선호도를 알면 학생들이 다양한 콘텐츠 전달 방법에 접근하는 방법을 인식하는 데 도움이 될 수 있습니다. 학생들이 자신의 선호를 더 잘 인식할수록, 자신의 학습 전략을 consciously 계획 할 가능성이 높아집니다. 그러나 학생들이 자신이 선호하는 방식으로만 배워야 한다고 느끼지 않도록 주의해야합니다. 오히려 학생들은 자신의 학습을 위해 개인적인 책임을 져야합니다. 콘텐츠 전달에서 다양성을 사용하면 학생들에게 다양한 학습 전략을 제공 할 수 있습니다.

Knowing their personal learning style preferences may aid students in recognizing how to approach various content delivery methods. The more aware the students are of their preferences, the more likely they are to consciously plan their study strategy. However, care should be taken that students do not begin to feel entitled to be taught solely in their preferred style. Rather, students need to take personal responsibility for their own learning. The use of variety in content delivery can provide students a complete spectrum of learning strategies.


프로페셔널 지위에 도달한 이후에는, 청각 및 비주얼을 비롯한 다양한 형식으로 새로운 정보를 접하게 되므로, 학생들에게 복합적인 정보 처리 기술이 필요합니다 (Felder, 1996). 전문가는 어떤 방식으로 정보를 접하더라도 동등한 수준의 친숙도로 그것을 처리 할 수 ​​있어야합니다. 학생들이 자신이 선호하는 스타일로만 학습하도록 허용하면 평생 학습을 위해 준비하기에 충분하지 않습니다.

once professional status is attained, new information will be encountered in a variety of formats including text, auditory as well as visual which will require that students have multimodal information processing skills (Felder, 1996). Professionals must be capable of processing all manner of information with equal facility. Allowing students to learn in their preferred style only, will be insufficient to fully prepare them for life-long learning.


FUTURE DIRECTIONS


교육 재설계

Issues Impacting Instructional Redesign


테크놀로지 혁신을 동반한 학습 향상

Advancing Learning With Technological Innovation


Millennial 학습자들의 유비쿼터스 기술에 대한 열망으로 인해, 교육자들은 (특정 목적을 지원하기 위해 활용할 때 상당한 학습 효과를 보인 모바일 시스템을 포함하여) 자유롭게 접근 할 수있는 교육 기술을 식별하고 사용하는 데 어려움을 겪고 있습니다 (Naismith et al., 2004).

The desire for ubiquitous technologies which Millennial learners embrace challenges educators to identify and use instructional technologies that can be accessed freely (Kemelgor et al., 2000; Cross, 2003; Norris et al., 2003; Oblinger, 2003) including mobile systems that have shown significant learning gains when utilized to support specific objectives (Naismith et al., 2004).


교수의 선호도를 고려해야하는 반면, 21 세기의 학습자가 전문 기술과 지식을 개발할 때 지원할 수있는 기술 통합을위한 네 가지 일반적인 동인이 있습니다.

While faculty preferences must also be considered, there are four general drivers for technology integration that can support the 21st century learner as they develop professional skills and knowledge.


첫째, 기술은 리허설과 연습을 통해 학습의 decay를 예방할 수 있습니다. 대부분의 학습은 대부분의 학습자가 서로간에 비공식적 인 상호 작용, 내용 및 사용 가능한 리소스를 통해 교실 밖에서 발생합니다. 학생들은 스스로 배우는 방법이나 자신의 전문성 개발을 뒷받침 할 수있는 자원을 어디에서 찾을 수 있는지 숙련되지 않았을 수 있다. 자원에 대한 지침을 제공하고 텍스트 및 수업 노트를 인쇄 할 수있는 대안을 제공하면 학생들이 자신의 시간에 맞춰 배우고, 자신의 전문직 커리어를 유지할 수있는 마음의 습관을 갖게 될 가능성이 크게 커집니다. 논쟁, 문제 해결, 연구, 심지어 수업 외의 경쟁 기회를 제공함으로써 학생들은 자신의 지식발전을 적용하고 성찰할 수 있습니다. 표 1은 자유롭게 사용할 수있는 인터넷 자원의 예를 통해 학습자를 지원하는 다양한 유형의 도구를 보여줍니다.

First, technology can assist to prevent decay of learning through rehearsal and practice. Much learning, if not most of it, occurs outside the classroom through informal interactions between learners with each other, content, and available resources. Students may not be prepared or skilled in how to learn on their own or where to locate resources that can support their developing expertise. Providing directions to resources and offering alternatives to print text and class notes greatly expands the likelihood that students will take it on themselves to learn on their own time, a habit of mind that will sustain them over their professional career. Providing opportunities for debating, problem solving, research, and even competition outside of class can allow students to apply and reflect on their developing knowledge. Table 1 illustrates how different types of tools support the learner with examples from freely available internet resources.



둘째, 기술을 통해 학생들은 자신이 배운 것을 문서화하고, 소유하고, 공개 할 수 있습니다. 학생들이 배우는 것의 대부분은 프로그램 구성 (파절 된 프로그램, 순서가 벗어난 코스 등)의 결과로 파편화 될 수 있습니다. 학생들은 서점에 텍스트를 대여하거나 팔고, 플래시 드라이브를 잃어 버리고, 노트북을 놓습니다. 개인 학습 네트워크와 전자 포트폴리오는 학습자가 제작하고 성취 한 것뿐만 아니라, (밀레니엄 세대에게 자연스러운 접근방식인)동료들의 프로페셔널 네트워크를 추적하는 데에도 도움이되는 체계적인 전략입니다.

Second, technology can allow students to document, own, and reveal what they have learned. Much of what students learn may be fragmented as a result of program organization (fractured programs, courses taken out of order, etc.). Students rent or sell back their texts to bookstores, lose flash drives, and misplace notebooks. Personal learning networks and electronic portfolios are systematic strategies that can assist learners in keeping track not only of what they produce and accomplish but also the professional networks of peers which can be accessed in ways that are natural for the Millennials.


셋째, 기술, 특히 Web 2.0 도구는 학생들이 동료, 강사 및 전문가와 상호 작용하고 의사 소통하는 것을 도울 수 있습니다. 밀레니엄 학생들은 휴대 전화를 통해 서로 유비쿼터스 연결을 유지하며 다른 세대와 달리 자신이 아는 바, 그들이하는 일, 다른 사람들이 하고있는 바를 검증하기 위해 친구들로부터 더 많은 피드백을 얻습니다 (Brown and Duguid, 2000). 그들은 또한 피드백에 대한 기대를 가지고 있으며, 그것 없이는 자신의 진보나 성취에 대한 오해가있을 수 있습니다. 강사는 기술을 통해 피드백과 상호 작용을 제공하여 잠재적으로보다 효과적인 교수법을 개발하고 학습자의 참여를 높일 수 있습니다 (표 2). 동료와 전문가는 학생의 지식을 authentic and public한 방식으로 검증하는 많은 전략을 통해 가치있는 피드백을 제공 할 수 있습니다. 소셜 네트워킹은 학생들이보다 폭 넓은 대화의 맥락에서 아이디어를 평가할 수있는 방법을 제공합니다.

Third, technology, particularly Web 2.0 tools, can help students interact and communicate with peers, instructors, and experts. Millennial students have a ubiquitous connection with each other through their mobile phones and unlike any other generation they get more feedback from their peers to verify what they know, how they are doing, or what others are doing (Brown and Duguid, 2000). They also have an expectation for feedback and without it may have misconceptions about their progress or achievements. Instructors can provide feedback and interaction through technology in ways that can potentially make the work of teaching more efficient and increase learner’s engagement (Table 2). Peers and experts can provide valuable feedback through many of these strategies validating student knowledge in an authentic and public manner. Social networking provides a way for students to assess their ideas in the context of a broader dialogue.




넷째, 마지막으로 기술 (특히 온라인 도구)은 학습자가 정보에 액세스 할 가능성이 높은 방식으로 정보를 구성하는 데 도움이 될 수 있습니다. 학습자는 이미 자신의 스타일과 개인 취향에 맞게 디지털 및 소셜 미디어를 사용하여 개인 생활을 스스로 구성합니다. 디지털 자료, 성취 및 연결을 조직하도록 돕는 것은 교실 및 코스 활동 이외의 학습 이전을 지원합니다. 개인 학습 네트워크 (PLN)를 만드는 것은 밀레니엄 학생들의 유비쿼터스 기술 접근에 대한 선호도를 활용합니다. PLN은 관리 시스템, 과정 또는 권한에 의해 조정되지 않는 분산 된 상호 연결된 사람 및 서비스입니다 (Yang and Yuen, 2010). 가장 단순한 PLN은 중앙 집중식 방식으로 느슨하게 연결된 도구 모음입니다 (그림 1). 무엇보다 PLN은 그것을 만든 학생이 졸업하고 난 후에도 지속적으로 학생의 소유로 남아 있게 된다. 학생들이 익숙하고 편안하게 사용할 수있는 도구를 사용하면 학생 커뮤니케이션, 상호 작용 및 이후에 학습이 향상 될 가능성이 커집니다.

Fourth, and finally, technology—particularly online tools—can help the learner organize information in ways they are more likely to access it. Learners already self-organize their personal lives using digital and social media building upon their style and personal preferences. Helping them to organize their digital materials, accomplishments, and connections supports transfer of learning beyond the classroom and course activities. Creating personal learning networks (PLNs) taps into the Millennial students’ predilection for ubiquitous technology access. PLNs are distributed, interconnected people, and services not mediated by a management system, course, or authority (Yang and Yuen, 2010). At their simplest, PLNs are a collection of tools that are loosely connected in some centralized manner (Fig. 1). Most importantly, they are owned by their creators and remain with them long after they leave the institution. By using tools with which students are familiar and comfortable, it is more likely that student communication, interaction, and subsequently C learning will be enhanced.



교육의 구조를 재구조화 하기 위해 고려해야 할 근본 요인

Fundamental Factors to Consider in Reframing the Structure of Education


변화를 고려할 때 다음의 네 가지 요소를 고려하라

When contemplating changes in the advancement of instructional design four factors should be considered.


지식 습득을 위한 학습 스타일

Student learning styles for acquisition of knowledge.


개인은 학습 스타일 선호도의 독특한 세트를 가지고 있지만 유사한 학습 특성을 가진 학생들은 일반적으로 특정 분야의 학습이나 교육 프로그램에 끌릴 수 있습니다. 특정 학생 집단의 학습 특성을 파악하고 학습 촉진을 위한 지침 혁신에 초점을 맞 춥니 다.

While individuals have unique sets of learning style preferences, students with similar learning characteristics may be commonly attracted to particular fields of study or educational programs. Know the learning characteristics of your specific student cohort and focus on those for instructional innovation to facilitate learning.


테크놀로지에 대한 학생의 적성

Student aptitude for learning with technology.


Millennial Generation을 포함한 모든 세대의 학생들은 교육 기술을 사용할 수있는 능력에 상당한 격차가 있다. 어떤 코호트의 학생들도 교육 기술 사용과 관련하여 동일하지 않은 기술을 가지고 있음을 인식하십시오. 일반 교육 프로그램, 전문 소프트웨어 및 기술 혁신의 사용을위한 교육 또는 최소한의 온라인 교육을 제공하십시오. 이것은 테크놀로지에 덜 익숙한 학생들도 익숙하지 않은 패러다임으로부터 배우는 것을 촉진 할 것입니다.

Students from every generation, including the Millennial Generation, indicate via self-assessment a fairly large disparity in the ability to use various types of educational technology. Recognize that students in any cohort have unequal skill with regard to the use of educational technology. Provide hands on training or at a minimum online instruction for the use of general educational programs, specialized software, and technological innovations. This will facilitate learning from unfamiliar paradigms for students that are less technologically proficient.


비판적 사고에 대한 능력

Student ability for critical thinking.


학생들은 신뢰할 수 있는 수집한 정보를 어떻게 식별, 습득, 조립하는지, 그리고 수집된 정보, 사고 및 데이터를 비판적으로 분석하는 방법을 이해해야합니다. 학생들은 자신이 배운 것을 분석하고 통합 할 수있는 능력을 일찍 평가해야합니다. 온라인 운동은 이와 관련하여 학생들을 훈련시키는 데 유용 할 수 있습니다. 그러나 얼굴을 맞댄 상호작용이 학생이 이 목표를 얼마나 잘 달성했는지를 판단하는 데 가장 효과적 일 수 있습니다. 이 분야에서 약한 사람들에게는 training이 이 분야에서 성공하는데 결정적일 수 있습니다.

Students must understand how to identify, acquire, and assemble reliable, vetted information and subsequently how to critically analyze the collected information, thoughts, and data. Students should be assessed early and often for their ability to analyze and integrate what they have learned. Online exercises can be useful to train students in this regard; however, face to face interaction is likely to be most effective in determining how well a student has met this goal. For those weak in this area, training could prove critical to success in their field.


전문직 정체성 개발을 위한 학생 행동

Student behaviors for development of ‘‘Professional Identity’’.


학생이 훈련을 받고있는 분야에서 기대되는 "직업적 정체성"행동의 명시 적 묘사는 공식 커리큘럼에 통합되어야합니다. 학생들은 자신이 약한 행동 영역을 파악하고 개선의 기회를주기 위해 적절한 행동을 훈련 할 수 있도록 전문가 및 동료 평가를 통해 피드백을 제공받아야 합니다.

Explicit delineation of ‘‘Professional Identity’’ behaviors that are expected by the field of study for which a student is being trained should be incorporated into the formal curriculum. Students should be provided feedback through professional and peer evaluation to identify behavioral areas in which they are weak as well as training in appropriate behaviors to give them opportunity for improvement.


Green ML, Holmboe E. 2010. Perspective: The ACGME toolbox: Half empty or half full. Acad Med 85:787–790.









 2011 Jul-Aug;4(4):214-26. doi: 10.1002/ase.240. Epub 2011 Jul 6.

Demystifying the Millennial student: a reassessment in measures of character and engagement in professional education.

Author information

1
Department of Anatomy, Philadelphia College of Osteopathic Medicine, Philadelphia, Pennsylvania 19131, USA. camilled@pcom.edu

Abstract

The characteristic profile of Millennial Generation students, driving many educational reforms, can be challenged by research in a number of fields including cognition, learning style, neurology, and psychology. This evidence suggests that the current aggregate view of the Millennialstudent may be less than accurate. Statistics show that Millennial students are considerably diverse in backgrounds, personalities, and learning styles. Data are presented regarding technological predilection, multitasking, reading, critical thinking, professional behaviors, and learning styles, which indicate that students in the Millennial Generation may not be as homogenous in fundamental learning strategies and attitudes as is regularly proposed. Although their common character traits have implications for instruction, no available evidence demonstrates that these traits impact their fundamental process of learning. Many curricular strategies have been implemented to address alleged changes in the manner by which Millennial students learn. None has clearly shown superior outcomes in academic accomplishments or developing expertise for graduating students and concerns persist related to the successful engagement of Millennial students in the process of learning. Four factors for consideration in general curricular design are proposed to address student engagement and optimal knowledge acquisition for 21st century learners.

PMID:
 
21735557
 
DOI:
 
10.1002/ase.240


총괄평가의 맥락에서 피드백의 수용과 활용 장벽(Adv in Health Sci Educ, 2014)

Barriers to the uptake and use of feedback in the context of summative assessment

Christopher J. Harrison • Karen D. Ko¨nings • Lambert Schuwirth • Valerie Wass • Cees van der Vleuten




도입

Introduction


모든 형태의 평가 후에 의견을 제공 할 것에 대한 요구가 있어왔다 (Norcini et al. 2011). 그러나 형성평가와 총괄평가 사이에는 인공적인 이분법이 남아있는 경우가 많습니다. 이것은 종종 선생님이 피드백을 제공하고자하는 노력을 제한하지만, 학생들에게는 (특히 이미 통과한 평가의) 피드백에 대한 uptake를 제한합니다 (Archer 2010). 고부담 평가는 학습자에 대한 많은 유용한 정보를 생성 할 수있는 잠재력을 가지고 있지만, 궁극적으로 단일 P/F 결정으로 축소되는 경우가 많습니다.

there have been calls to provide feedback after all forms of assessment (Norcini et al. 2011). However, there often remains an artificial dichotomy between formative and summative assessments. This often limits the effort teachers are willing to put into providing feedback but also limits the uptake of feedback by students especially those that have passed the assessment (Archer 2010). Though high-stakes assessments have the potential to generate much useful information about the learner, they are often ultimately reduced to a single pass–fail decision.


이러한 환원 주의적 접근법에 대한 접근은 문제가 된다(Schuwirth and van der Vleuten 2011). 중요성이 높은 객관적 구조 임상 시험 (OSCE) 평가에서 각 항목이나 스테이션의 점수는 일반적으로 하나의 최종 표시를 만들기 위해 함께 추가됩니다. 

  • 의사 소통 기술 OSCE 스테이션에서 만점을 얻었지만 인공 호흡 스테이션에서 0 점을 받은 학생은 

  • 의사 소통 기술에서 0 점을 얻었지만 인공 호흡에서 만점을 얻은 점수와 동일한 점수를 받게됩니다. 

이 두 학생의 능력은 크게 다를 수 있습니다.

This reductionist approach to assessment has been challenged (Schuwirth and van der Vleuten 2011). In a high-stakes objective structured clinical examination (OSCE) assessment, the scores for each item or station are typically added together to make one final mark. Thus, a student who scores full marks on a communication skills OSCE station but zero marks on a resuscitation station will receive the same overall score as one who scores zero marks in communication skills but full marks in resuscitation, even though the information learnt about each learner’s competence may be vastly different.


이 인공적인 이분법에 문제를 제기하고, 고부담 평가가 후에 피드백을 제공하려는 시도가 반드시 성공적인 것은 아니다. 제한된 근거로부터 미뤄보면, 학생들은 총괄 written 평가 또는 OSCE 후에 따라오는 피드백을 항상 받아들이지 않거나 제한적으로만 사용한다. 퍼포먼스는 그 한 원인으로 보이는데, 상위권과 하위권 학생들은 피드백을 더 많이 사용하는 경향이있는 반면, 적당히 통과한 (중위권) 학생이 피드백을 가장 적게 활용하는 것으로 나타납니다 (Harrison 외. 2013).

Attempts to challenge this artificial dichotomy and instead provide feedback after highstakes assessments are not necessarily successful. From the limited evidence, it appears that students will not always take up the offer to receive feedback, or will make limited use of it, following summative written assessments or OSCEs (Sinclair and Cleland 2007; Harrison et al. 2013). Performance appears to be an influential factor, with students who perform very well, and those who fail the assessment, tending to make more use of the feedback, whereas those students who just passed make least use (Harrison et al. 2013).


피드백은 매우 복잡한 과정이지만 학습자의 지식이나 수행 능력을 향상시키기 위해서는 몇 가지 중요한 단계를 협상해야한다는 일반적인 동의가 있습니다 (Hattie and Timperley 2007; Shute 2008; Archer 2010). 

  • 첫째, 학습자는 그것을 받아들이기를 수용해야합니다.

  • 두 번째로, 학습자는 주어진 메시지를 이해해야하므로 학습자의 Frame of reference와 일치해야합니다 (Kluger and DeNisi 1996). 

  • 셋째, 학습자는 구체적이고 의미있고 달성가능한 목표를 설정하고 도달을 위한 조치를 취해야합니다 (Hattie and Timperley 2007, Shute 2008). 

  • '피드백 문화'를 창안하는 중요성이 제기되었습니다 (Archer 2010). 최근의 연구는 직업 내의 사회적 문화적 영향이 개인의 감수성 및 피드백에 어떻게 영향을 미칠 수 있는지를 보여주었습니다

Although feedback is a highly complex process, there is general agreement that several important steps need to be negotiated in order for it to be successful in improving the knowledge or performance of the learner (Hattie and Timperley 2007; Shute 2008; Archer 2010). 

  • Firstly, a learner needs to be receptive to receiving it.

  • Secondly, the learner must understand the message being given, so it must be such that it aligns with the learner’s frame of reference (Kluger and DeNisi 1996). 

  • Thirdly, the learner needs to set concrete, meaningful and attainable goals, and then take steps to reach them (Hattie and Timperley 2007; Shute 2008). 

  • The importance of creating a ‘culture of feedback’ has been advocated (Archer 2010). Recent work has demonstrated how social and cultural influences within a profession can influence an individual’s receptivity and responsiveness to feedback


피드백 추구 행동은 '가치있는 목표를 달성하기위한 행동의 정확성과 타당성을 결정하기위한 노력의 의식적 헌신'으로 정의 할 수 있습니다 (Crommelinck and Anseel 2013). 

  • 첫째, 유용한 정보를 얻을 필요가 있습니다. 

  • 둘째로 자기 자신의 에고를 보존하거나 강화할 필요가있다. 

  • 셋째, 타인이 그 사람에 대해 가지고 있는 인상을 방어하거나 강화할 필요가있다 (Ashford and Cummings 1983). 

Bok et al. (2013)은 피드백 제공자의 특성, 피드백 탐색자의 특성 및 피드백 탐색자와 제공자 간의 관계가 모두 중요하다는 것을 발견했습니다.

Feedback-seeking behaviour can be defined as ‘‘the conscious devotion of effort towards determining the correctness and adequacy of one’s behaviours for attaining valued goals’’ (Crommelinck and Anseel 2013). 

  • Firstly, there is the need to obtain useful information; 

  • secondly there is the need to preserve or enhance one’s own ego; and 

  • thirdly there is the need to defend or enhance the impression others hold of the person (Ashford and Cummings 1983). 

Bok et al. (2013) found that characteristics of the feedback provider, characteristics of the feedback seeker, and the relationship between the feedback seeker and provider are all important.


현재 연구의 맥락에서, 왜 학습자가 피드백을 탐색하지 않거나, 또는 적극적으로 회피하는지를 연구하는 것이 더 적절할 수 있습니다. 피드백 추구 행동뿐만 아니라, Moss et al. (2003)은 능동 피드백 회피 행동 또한 존재한다고 제안했다. 직장에서 더 열등한 수행자는 자신의 수행 능력이 열악하다는 것을 알고있을 때 적극적으로 피드백을 피할 수 있습니다. 다른 연구들은 또한 poor performer가 피드백을 찾는 경향이 적음을 보여 주었다 (Northcraft and Ashford 1990; Morrison and Bies 1991).

In the context of the current study, it may be more relevant to consider why learners may refrain from seeking, or actively avoid, feedback. As well as feedback-seeking behaviour, Moss et al. (2003) proposed that active feedback-avoiding behaviour also exists. Poorer performers in the workplace may actively avoid feedback when they are aware that their performance is poor. Other studies have also demonstrated that poorer performers are less likely to seek feedback (Northcraft and Ashford 1990; Morrison and Bies 1991).


  • 모호함과 불확실성은 학습자의 인지부담을 높여주고 피드백에 대한 반응을 저해 할 수 있습니다 (Shute 2008). 

  • 변경해야 할 사항과 유지해야 할 강점에 대한 명확한 지침이 제시된 지침 피드백은 초보자나 struggling 학습자에게 가장 유용하지만 

  • 의견과 제안을 포함하는 보다 촉진적인 피드백은 경험이 많은 학습자에게 도움이 된다(Shute 2008). 

  • 동시에 매우 복잡한 피드백 메시지는 학습자가 흥미를 잃을 수도 있기 때문에 반드시 도움이되지는 않습니다 (Shute 2008).

Vagueness and uncertainty will lead to a higher cognitive load for learners, which can impair the response to feedback (Shute 2008). Directive feedback, in which clear guidance is given on what needs to be changed and which strengths should be maintained, appears to be most useful for novice or struggling learners, whereas more facilitative feedback, which comprises comments and suggestions, is acceptable for more experienced learners (Shute 2008). At the same time, a very long complex feedback message is not necessarily helpful, as learners may lose interest (Shute 2008).


  • 피드백 메시지가 명확하게 이해되는 경우더라도, 학습자는 피드백을 받아 들이고 이를 활용할 필요가 있습니다. 제공된 정보가 이미 학습자가 알고 있는 경우에 학습자는 피드백을 거의 사용하지 않는 경향이 있습니다 (Hattie and Timperley 2007)

  • 신뢰성이 부족한 경우 의견을 무시할 수 있습니다. 예를 들어 피드백 제공자는 학습자를 직접 관찰하지 않은 경우가 있다(Watling 외. 2013). 

  • 학습자는 자신의 능력에 대한 자기 평가에 도전하는 피드백 정보를 받는 것에 대해 우려하고 있습니다 (Mann 외. 2011). 

  • 비판적 피드백은 강력한 감정적 반응을 유도하여 효과적인 사용을 방해 할 수 있습니다 (Sargeant 외. 2008). 

  • 일부 학습자는 피드백을 지식 또는 기술 결함을 교정하기위한 장치라기보다, 자신감을 높이는 수단으로 사용하는 데 더 관심을 보입니다 (Eva 외. 2012).

Even if the feedback message is clearly understood, learners need to be willing to accept the feedback and make use of it. Learners will tend to make little use of feedback if the information provided confirms what they already knew (Hattie and Timperley 2007). Feedback may be disregarded if it is lacking in credibility; for example because the feedback giver has not observed a learner directly (Watling et al. 2013). Learners are apprehensive about receiving feedback information which challenges their own selfassessment of their abilities (Mann et al. 2011). Critical feedback can induce strong emotional reactions which may block effective use (Sargeant et al. 2008). Some learners appear more interested in using feedback as a means of boosting their self-confidence rather than as a device to correct knowledge or skill deficiencies (Eva et al. 2012).


피드백에 대한 개별 학습자의 반응을 고려할뿐만 아니라, Watling et al. (2013) 피드백과 학습이 이루어지는 사회 문화적 배경에 대해 고려해야 한다. 전문직종마다 피드백과 관련하여 조직 문화가 다르며, 이는 학습자가 자신이 받은 피드백이 건설적인지, 그것이 신뢰할만 한지에 대해 인식하는 방식에 영향을 미친다 (Watling et al., 2013).

As well as considering the individual learner’s response to feedback, Watling et al. (2013) advocate consideration of the social and cultural contexts in which feedback and learning takes place. Different professions appear to have different organisational cultures with respect to feedback, which influence how learners perceive the constructiveness and credibility of feedback they receive (Watling et al. 2013).


평가가 학습에 미칠 수있는 영향은 분명히 중요합니다. 이들은 이전에 사전 평가, 사후 평가 및 순수한 평가 효과로 분류되었다 (Dochy et al., 2007). 현재까지 총평 평가의 학습 효과에 관한 연구는 사전 평가 효과에 중점을 두 었으며 사후 평가 효과는 고려하지 않았다 (Rudland et al., Cilliers et al. 2010, 2012, O'Carroll and Fisher 2013).

The effects that assessment can have on learning are clearly important. These have previously been categorised as pre-assessment, post-assessment and pure assessment effects (Dochy et al. 2007). Studies to date on the learning effects of summative assessment have focussed on the pre-assessment effects and not considered the post-assessment effects (Rudland et al. 2008; Cilliers et al. 2010, 2012; O’Carroll and Fisher 2013).


Methods


맥락

Context


The study took place at Keele University School of Medicine in 2011 with students from the third year (out of five). 

  • Two-thirds of the way through the year, students have a summative 12-station OSCE, including stations on history-taking, clinical examination and practical procedural skills. Students have to pass at least eight stations in order to progress to the next year. Each station lasted for 8.5 min. New stations are introduced each year to minimise the risk of students ‘studying to the test’. Students have to pass the OSCE, as well as written assessments, in order to progress to Year 4. 

  • Following the OSCE, they have a further 12 weeks of study within the year, based in general practice and in selected clinical areas of their choice. 

  • Individualised feedback about each student’s performance was released via a website on the same day the results were published but there was no compulsion for students to view the feedback. Students could choose to look at the feedback in different ways; they could view a breakdown of the skills assessed in each station or across the OSCE as a whole. They could also compare their performance with the cohort as a whole. 

More details about this have been published elsewhere (Harrison et al. 2013). A number of screen captures are shown in Appendix 1. In years 1 and 2, the students had received feedback on summative written and practical skills assessments in large group classes. They had not had a formative OSCE earlier in Year 3, but had received more informal teaching regarding preparation for the assessment. 


참여자와 표집

Participants and sampling


  • Recruitment of students followed a maximum variation sampling approach to ensure that the sample included students with a wide range of achievement in written and OSCE assessments, and who had used the website in very different ways. Maximum variation sampling helps to achieve information-rich cases for in-depth study (Patton 2002). 

  • To preserve anonymity, and in order to avoid any suggestion of coercion, students received an initial email from an administrator, rather than directly from the researchers. Interviewing continued until theoretical saturation was reached.


Individual, semi-structured, face-to-face interviews were conducted in June and July 2011 by the principal researcher (CH), who had previously had little direct interaction with the students. 

  • This method was chosen in order to gain in-depth information and encourage deep exploration of personal matters in a way that is often not possible in a group setting (DiCicco-Bloom and Crabtree 2006). 

  • The interviewing technique followed recognised methods of rapport development and use of exploratory open-ended questions recommended by DiCicco-Bloom and Crabtree (2006). 

  • All the interviews were audio-recorded. 

  • The interviews lasted 30–60 min. 

  • Questions explored students’ experiences of their recent OSCE, their perceptions of the feedback they received and its impact. 

  • The interview protocol is shown in Appendix 2. 

  • Themes which emerged in earlier interviews were explored in subsequent interviews.


In total, data were derived from 17 participants. It proved hard to recruit students who had only just passed the assessment (passed 8 or 9 OSCE stations). 

  • As these were a group who had been shown to have made little use of feedback, recruitment continued to focus on those students who had accessed the feedback in only a limited manner but had a slightly higher level of performance (Harrison et al. 2013). 

  • Details of the participants are shown in Table 1. Ten (59 %) of the interviews were female, which was identical to the proportion of females in the year group as a whole. Twelve (80 %of those who provided information) had entered directly from school which is comparable to the cohort as a whole (73 %). Participants visited the website on one to five separate occasions, viewing between 46 and 316 webpages in 6–70 min. These figures were closely comparable to the cohort as a whole.


자료 분석

Data analysis


Verbatim transcriptions of the interviews were analysed with the assistance of computer-assisted qualitative data analysis software (NVIVO version 9, QSR International Pty Ltd, Doncaster, VIC, Australia). 

  • Data were analysed using the constant comparative method, which comprises simultaneous coding and analysis of data in order to develop and refine concepts and explore their inter-relationship (Corbin and Strauss 2008). 

  • Analysis combined coding which was guided by a priori awareness of the feedback literature relevant theories with inductive coding which emerged from the data. 

  • Findings from the interviews were triangulated, with the participants’ consent, with information from each participant’s usage of the website, and their performance in the assessments (Lingard et al. 2008). 

  • The principal researcher (CH) coded all transcripts and constructed initial themes. 

  • A quarter of the transcripts were reviewed by a second researcher (VW) against the coding framework and themes. 

  • A third researcher (SY), unconnected from the main research project, independently coded two transcripts. 

  • Discrepancies were resolved by discussion.


결과

Results


Five themes emerged 

  • (1) the power of the summative assessment culture and its negative impact on the use of feedback; 

  • (2) the influence of strong emotions; 

  • (3) the influence of social interactions with others; 

  • (4) the influence of prior learning experiences on expectations; 

  • (5) the disconnection between assessment and future learning.


총괄평가 문화의 힘

Power of summative assessment culture


총괄 평가는 실패와 잠재적 처벌에 대한 두려움, 재시 필요성이 지배하는 강력한 문화를 창출했습니다.

Summative assessment created a powerful culture that was dominated by fear of failure and potential punishment, i.e. the need to take re-sits.


실패에 대한 두려움과 평가 장애물을 뛰어 넘어야 할 필요성은 대부분의 인터뷰를 에서 등장하였고, 이런 것이 OSCE가 학습 기회이기보다는 외재적 동기로 간주되게 하였다.

The fear of failure, and the need to jump over the assessment hurdle, pervaded most interviews and prevented the OSCE frombeing regarded as a learning opportunity, but was instead an extrinsic motivator.


이 문화는 역설적으로 평가를 통과 한 학생을 무시하면서, 실패하고 처벌을 요구하는 학생에게 더 많은 관심을 쏟게 했다.

This culture paradoxically focused more attention on students who failed and required the punishment, while ignoring students who passed the assessment:


허들을 장래의 학습을 향한 디딤돌이 아닌 종점endpoint로 여기는 태도는 의대에 의해 강화 된 것으로 인식되었다.

The attitude towards the hurdle being seen as an endpoint, not as a stepping stone towards future learning, was perceived as being reinforced by the medical school.


강력한 감정의 영향

Influence of strong emotions


실패에 대한 두려움은 학생들에게 매우 강렬한 감정을주었습니다. OSCE 당일 시험이 시작되기를 기다리는 것은 불안한시기였습니다. 몇몇 참가자는 신체적으로 아팠습니다. 그 결과를 기다리는 동안 실패에 대한 두려움이 지배적이었고, 이로 인해 더욱 큰 불안이 초래되었습니다. 일부 학생들은 너무 두려워 결과를 열어보기 힘들어했고, 동료 나 친구에게 대신해달라고 요청했습니다.

The fear of failure generated very strong emotions in the students. On the day of the OSCE, the wait for the exam to begin was a time of high anxiety, with several participants being physically sick. Fear of failure was dominant while awaiting the results, which led to even greater anxiety. Some students were too fearful to open the results and asked colleagues or friends to do it on their behalf.


피드백 타이밍이 한 요인이었습니다. 이 경우, 피드백은 다른 서면 시험을 위해 revising하는 동안 release되었으며, 실패한 표식을받는 것에 대한 두려움은 슬픔에 비유되었습니다.

The timing of the feedback was a factor. In this instance it was released while they were revising for other written exams and some did not want it to disturb their revision for these exams, as the fear of receiving a failing mark was likened to a grief reaction:


대조적으로, 성적결과 공개 이후의 기간은, 대다수의 학생들에게 [재시험을 피하는 목표]가 달성됨에 따라 격렬한 안도감으로 표시되었습니다. 이로 인해 학생들이 특정 피드백에 참여할 동기가 줄어 들었습니다실패에 대한 두려움에 뒤따라오는 평가 장애물을 극복했다는 엄청난 안도감은 피드백에 대한보다 합리적인 관심을 차단하는 것처럼 보였습니다. OSCE를 수행하는 동안과 결과를 기다리는 동안의 불안감은 안도감을 심화시키는 것으로 보였다.

In contrast, the period after the release of results was marked, in the vast majority of students, by an intense feeling of relief, as the goal of avoiding the re-sits had been achieved. This reduced the motivation of students to engage with the specific feedback. The enormous relief at overcoming the assessment hurdle, following the fear of failure, appeared to block a more rational interest in the feedback. The anxiety, both while performing the OSCE, and while awaiting the results, appeared to intensify the feeling of relief.


다른 사람과의 사회적 상호작용

Social interactions with others


임상 교사, 동료, 부모 및 파트너 (남자 친구 / 여자 친구)와의 상호 작용은 실패를 회피하고자 하는 필요성을 강화 시켰습니다. 학생들은 임상교사가 OSCE를 뛰어넘을 후프로서, 그냥 통과 하는 것 만으로 충분하며, 실제 임상 학습은 별도이고, 그리고 졸업 후 종종 이뤄지는 것이라고 여김을 인식했다.

Interactions with clinical teachers, peers, parents and partners (boyfriends/girlfriends) reinforced the need to avoid failure. Students perceived that clinical teachers regarded the OSCE as a hoop to jump through, for which a pass was sufficient, whereas the real clinical learning took place separately, and often after graduation.


재시험을 볼 필요가 있는지 없는지에 대한 토론을 제외하면, 학생들 간의 피드백에 대한 심층적 인 토론은 거의 없었으며, 이는 학습 피드백을 사용하는 것보다는 Pass-fail 문화에 중점을 두는 태도를 더 강화시켰다. 학생들은 의대를 졸업하고 어딘가에 지원할 때 학업 성적이 사용된다는 점, 그리고 또 부분적으로는 고학업성취자인 의대생의 내재한 경쟁을 인식했기 때문에, 집단 내에서 강한 경쟁적인 태도를 지니고있었습니다. 이 태도는 학생들 사이에서 명확하게 논의되는 경우가 거의 없었으며, 연구참여자들은 왜 그렇게 강하게 존재했는지 설명하는데 어려움을 보였다. 그럼에도 불구하고, 거의 모든 학생들이 숨겨진 경쟁을 감지하고 이것이 피드백에 대한 그들의 반응에 영향을 미치는 것으로 보입니다. 학생들은 종종 자신과 타인의 경쟁에 대한 모순 된 의견을 표현했습니다.

There was rarely any in-depth discussion of the feedback between students, other than discussion as to whether they needed to re-sit or not, which reinforced the focus on the summative pass–fail culture rather than on using the feedback for learning. Students perceived a strongly competitive attitude among the cohort, partly due to academic ranking being used in applications for the first jobs when leaving medical school and partly due to a perceived inherent competitiveness from medical students being high academic achievers. This attitude was rarely explicitly discussed between students and they struggled to explain why it existed so strongly. Nevertheless, almost all students sensed the hidden competition and this appeared to influence their response to the feedback. Students often expressed contradictory opinions about their own and others’ attitudes to competition:


나는 다른 사람들과 비교하여 내가 어떻게하고 있는지를 보는 것이 유용하다는 것을 안다... 모두가 나올 때 '몇 등 했어?'라고 묻는 것이 싫다. ... 나는 나 자신을 보고 싶지만, 그 밖의 다른 모든 사람과 비교하는 것이 싫다

I find it useful to see how I am doing in comparison to everyone else….I hate it when everyone comes out and asks ‘what percent did you get?….I’d like to see myself, but I don’t want everyone else to be comparing’


학생들은 잘 한 경우에도 그것을 드러내는 것이 타인에 의해 오만하게 느껴지거나 uncaring한 것으로 해석 될 수 있다는 두려움 때문에 그 사실을 다른 사람들에게 알려주기를 꺼려했습니다. 어떤 학생들은 학업적으로 아주 뛰어난 학생들을 따라가는 것은 이미 불가능하다고 느꼈고, 경쟁에서 opted out하여 그냥 지나가는 것 만을 목표로 삼았습니다.

Students were reluctant to reveal to others that they had performed well for fear that it would be interpreted by others as arrogant or uncaring towards those who had performed badly. Others felt unable to keep up with the academically strongest performers, and ‘opted out’ of the competition and aimed just to pass.


학생들은 또한 관계를 망치지 않으면서 파트너와도 경쟁해야 하는 복잡한 상황을 협상해야 했습니다.

Students also had to negotiate a complex situation of competition with their partner without upsetting the relationship.


나는 내가 그녀보다 낫다고 생각하는 것처럼 보여지기 싫다. 또한 나는 그녀가 나보다 낫다는 것을 아는 것도 원하지 않는다.

I wouldn’t want to make myself sound like I think I’m better than her. And I wouldn’t want her to make out that she’s better than me, so it works two ways.


학생들이 피드백 데이터를 부모에게 보여줄 의사가있는 것처럼 보였지만, 일반적으로 그 목적은 만족스러운 수준으로 수행하고 있음을 입증하기 위해였습니다. 그들은 심사관보다 부모로부터의 긍정적 인 피드백을 중요시했다.

Although students seemed more willing to show the feedback data to parents, this was usually in order to demonstrate that they are performing to a satisfactory level. They valued positive feedback from parents more than from examiners.


학부모들은 학생들의 태도를 평가에 합격하는 것에 만족시키기 위해 강화했습니다.

Parents reinforced the attitude among students to be content with just passing the assessment.


사전 학습경험이 기대치에 미치는 영향

Influence of prior learning experiences on expectations


의대에 다니기 전에 학생들이 배웠던 문화는 성취에 대한 기대와 개선을 위해 피드백을 사용할 필요성에 영향을 미쳤습니다. 학생들은 학업 성취에 대한 기대치의 변화에 ​​적응하는 데 어려움을 겪었습니다. 학생들은 최상위권에 오르는 것이 익숙했었지만, 지금은 의대생으로서 well down한 상태이다. 이로 인해 최상위권 성적은 달성 할 수 없다는 무용감을 느끼게 했다. 결과적으로, 그들은 너무 열심히 노력하는 것을 피했고 단순히 평가를 통과하는 더 낮은 목표로 만족했습니다. 이것은 평가의 총괄평가적 성격을 더욱 강화시켰다.


The culture in which students had learnt prior to attending medical school affected their expectations about achievement and the need to use feedback to improve. Students reported difficulty in adjusting to a change in their expectations for academic achievement; as school pupils they were used to coming near the top of the class, but now as medical students they were well down the field. This led to a sense of futility at being unable to achieve marks towards the top of the year. As a result, they avoided trying too hard and instead were content with the lower goal of simply passing the assessment. This further reinforced the summative nature of the assessment.


평가와 미래 학습과의 단절

Disconnection between assessment and future learning


직장에서의 임상 학습과 OSCE 간의 단절이있었습니다. OSCE에서 좋은 점수를 얻으려면 임상 현장에서 환자를 보는 데 많은 시간을 할애해야 했던 반면, OSCE의 피드백은 향후 근무지 학습을 위해 필요한 것으로 여겨지지 않았습니다. 이 시험은 특정 시험 (또는 시험 내 특정 질문)과 관련이 있는 것으로 보여졌으며 여러 스테이션의 성능 차이로 인해 여러 스테이션의 일반적인 기술 성능을 고려하지 않았습니다. 미래에 피드백을 사용할 계획이 있다면 이것은 미래의 OSCE와 관련된 것이지, workplace learning을 위한 것이 아닙니다.

There was a disconnection between clinical learning in the workplace and the OSCE. While spending extensive time seeing patients in the clinical workplace was seen as essential in order to gain a good mark in the OSCE, feedback from the OSCE was not seen as necessary for future learning in the workplace. It was seen as relevant only for that specific exam (or for a specific question within the exam) and the variability of their performance across stations made it irrelevant to consider their performance of generic skills across several stations. If there were plans to use the feedback in the future, this was in connection with future OSCEs, not workplace learning.


피드백 결과에 대한 감정적인 반응이 가라앉은 후에는, 피드백을 더 깊이 고려하도록 병원 내 튜터들과 피드백에 대해 논의하는 일은 거의 없었다. 그러나 그렇게 할 경우에는 도움이 되었습니다.

Feedback was rarely discussed with tutors in the workplace to encourage further consideration of the feedback after the emotional response to the release of the results had subsided. When it did take place, this was helpful.


고찰

Discussion


우리의 연구는 또한 학생들이 다른 사람, 특히 부모님, 의 인식을 관리하려고 노력함을 보여주었다. 그 방법은 피드백을 사용하여 자신이 얼마나 잘하고 있는지 보여 주거나 코스의 어려움을 보여 주려고 노력하는 것이었다. 이것은 조직의 심리학 문헌과 약간의 유사점을 가지고 있는데, 직원들은 정보를 얻기 위해 피드백을 사용하기보다는, 다른 사람에게 특정 정보를 강조해서 보여주기 위한 목적으로 사용한다(Ashford and Cummings 1983; Morrison and Bies 1991). 적극적인 피드백-기피 행동의 확실한 증거는 찾지 못했습니다.

Our study has also demonstrated that students seek to manage the perceptions of others, particularly their parents, by using the feedback to demonstrate how well they are doing, or to show how difficult the course is. This has some similarities with the organisational psychology literature, in which employees seek feedback not to obtain information, but rather to highlight information to others (Ashford and Cummings 1983; Morrison and Bies 1991). We did not find clear evidence of active feedback-avoiding behaviour.


학생들이 피드백 메시지를 이해하지 못했다는 증거는 거의 없었지만, 학습자들이 종종 피드백을 사용하도록 동기 부여를 받지 않았다는 것에 대해서는 확증적인 증거가 있었습니다.

Although there appeared to be little evidence that students failed to understand the feedback message, there was confirmatory evidence that learners were often not motivated to make use of the feedback.


이 연구의 결과는 피드백으로부터의 학습이 상황 이론 (Situationivity theory) (Durning and Artino 2011)에 기술 된 바와 같이, 피드백이 일어나는 맥락에서 분리 될 수 없다는 개념을 강화시킨다. 이 이론은 교육자가 학습자에게 정보를 제공하는 방법뿐만 아니라, 정보가 사용되거나 사용되지 않을 상황을 이해하는 데 중점을 두어야한다고 제안합니다. 이론은 또한 authentic 학습 활동이 더 나은 학습을 가져야한다고 제안한다 (Durning and Artino 2011).

The findings from this study reinforce the notion that learning from feedback cannot be dissociated from the context in which it takes place, as described by situativity theory (Durning and Artino 2011). This theory proposes that educators need to consider not just the method by which information is given to learners, but instead focus on understanding the situations in which the information will, or will not, be used. The theory also proposes that authentic learning activities should result in better learning (Durning and Artino 2011).


이 맥락의 다른 중요한 요소로는 다른 학생들과의 사회적 상호 작용 - 그것이 동료 학생이든 교사와 부모의 더 위계적인 영향이든 - 을 포함합니다.

Other important elements of this context include the social interactions with others, whether it be fellow students or the more hierarchical influence of teachers and parents.


함의

Implications for practice


교수진에게 더 많은, 또는보다 우수한 품질의 의견을 제공하도록 요청하는 것은 한계가 있다. 마찬가지로, 학생들에게 그들의 결과와 피드백에 대해 반영하도록 격려하는 것은 거의 영향을 미치지 않을 것입니다. 대신, '피드백 문화'(Archer 2010) 개발에 중점을 두어야합니다. 의료계 내에서 이러한 문화를 달성하는 것은 피드백이 종종 계획된 방식이 아닌 산발적인 방식으로 주어지거나, 직접적으로 관찰 된 성과보다는 추론을 기반으로 할 때 특히 문제가되는 것처럼 보입니다 (Watling 외. 2013).


Asking faculty to provide more, or better-quality, feedback will have only limited success. Similarly, encouraging students to reflect on their results and their feedback is likely to have little impact. Instead, the focus should be on the development of a ‘feedback culture’ (Archer 2010). Achieving this culture within the medical profession seems particularly problematic when feedback is often given in a sporadic rather than planned way, and on the basis of inference rather than directly observed performance (Watling et al. 2013).


Limitations


Suggestions for Further Research


결론

Conclusions


모든 평가는 미래의 학습을 잠재적으로 알리고 향상시킬 수있는 개별 학생에 관한 많은 양의 데이터를 생성합니다. 그러나 통과와 실패에 중점을 둔 총괄평가 문화는 이러한 풍부한 피드백 정보를 사용하는 데 장애가 될 수 있습니다. 그러나 프로그램 수준에서 총괄평가와 형성평가를 분리해도 효과가 없다는 것은 분명합니다. 총괄평가는 의미있는 피드백을 제공하지 않으며, pure한 형성 평가는 장기적으로 덜 심각하게 받아 들여지는 경향이 있습니다. 따라서 학습 프로그램 평가를 위해서는 모든 평가에 형성적 기능과 총괄적 기능을 결합해야합니다.


All assessments generate large amounts of data about individual students which can potentially inform and enhance future learning. However, the culture of summative assessment, with its focus on passing and failing, can act as a disincentive for use of this rich feedback information. Yet it is clear that a separation of summative and formative assessments at the programme level does not work; summative assessments do not provide meaningful feedback and purely formative assessment tends to be taken less seriously in the long run. For an assessment for learning programme therefore, the formative function and summative functions need to be combined in all assessments.


Archer, J. C. (2010). State of the science in health professional education: Effective feedback. Medical Education, 44, 101–108.


Bok, H. G. J., Teunissen, P. W., Spruijt, A., Fokkema, J. P. I., van Beukelen, P., Jaarsma, D. A. D. C., et al. (2013). Clarifying students’ feedback-seeking behaviour in clinical clerkships. Medical Education, 47, 282–291.


Durning, S., & Artino, A. (2011). Situativity theory: A perspective on how participants and the environment can act. Medical Teacher, 33, 188–199.







 2015 Mar;20(1):229-45. doi: 10.1007/s10459-014-9524-6. Epub 2014 Jun 7.

Barriers to the uptake and use of feedback in the context of summative assessment.

Author information

1
Keele University Medical School, Keele University, David Weatherall Building, Keele, Staffordshire, ST5 5BG, UK, c.j.harrison@keele.ac.uk.

Abstract

Despite calls for feedback to be incorporated in all assessments, a dichotomy exists between formative and summative assessments. When feedback is provided in a summative context, it is not always used effectively by learners. In this study we explored the reasons for this. We conducted individual interviews with 17 students who had recently received web based feedback following a summative assessment. Constant comparative analysis was conducted for recurring themes. The summative assessment culture, with a focus on avoiding failure, was a dominant and negative influence on the use of feedback. Strong emotions were prevalent throughout the period of assessment and feedback, which reinforced the focus on the need to pass, rather than excel. These affective factors were heightened by interactions with others. The influence of prior learning experiences affected expectations about achievement and the need to use feedback. The summativeassessment and subsequent feedback appeared disconnected from future clinical workplace learning. Socio-cultural influences and barriersto feedback need to be understood before attempting to provide feedback after all assessments. A move away from the summativeassessment culture may be needed in order to maximise the learning potential of assessments.

PMID:
 
24906462
 
DOI:
 
10.1007/s10459-014-9524-6


평가 문화에 따른 학생들의 형성적 피드백 수용에 영향을 주는 요인(Perspect Med Educ, 2016)

Factors influencing students’ receptivity to formative feedback emerging from different assessment cultures

Christopher J. Harrison1 · Karen D. Könings2 · Elaine F. Dannefer3 · Lambert W. T. Schuwirth4 · Valerie Wass1 · Cees P. M. van der Vleuten2




도입

Introduction


최적의 임상 수행 능력 개발을 위해서는 피드백을 deliberate practice과 연결하는 것이 중요하다는 것이 일반적으로 인정되고있다 [1-3]. 규제 당국은 의료 훈련에 강하게 기능하는 피드백을 요구했다 [4, 5]. 의대생은 평가 후 더 많은 피드백을 요구하며, 교수들에게는 피드백 전달에 대한 많은 조언들이 있다[8, 7]. 그러므로 학습자가 때때로 평가 후 피드백의 기회를 소홀히하는 것은 놀라운 일입니다. 한 연구에서 학생의 50 %가 에세이 시험에 대한 피드백에 액세스하지 못했으며 [9], 또 한 가지로 OSCE (summative Objective Structured Clinical Examination)에서 최소한의 역량을 달성 한 학생은 피드백을 가장 적게 사용했습니다 [10].

For the development of optimal clinical performance, the importance of linking feedback with deliberate practice is generally acknowledged [1–3]. Regulatory authorities have called for feedback to feature strongly in medical training [4, 5]. Medical students demand more feedback after assessment [6, 7] and much advice is available for faculty on feedback delivery [8]. It is therefore surprising that learners sometimes neglect opportunities for feedback after assessment. In one study, 50% of students failed to access feedback on an essay examination [9], and in another, students just achieving minimal competence in a summative Objective Structured Clinical Examination (OSCE) made least use of feedback [10].


피드백은 여러 가지 이유로 실제 잠재력에 도달하지 못할 수도 있습니다

  • 교수진은 피드백 프로세스가 복잡하다고 느끼고, 학습자에게 불친절한 것으로 인식되는 것을 두려워합니다. 피드백은 학습자의 미래 성과를 향상시키고 자신감을 키우는 목표와 상충되기 때문이다.

  • 학습자는 자신의 자기 평가에 대한 어려움을 두려워한다. [12] 

  • 종종 올바른 결함이 아닌 자신감을 높이기 위해 피드백을 원한다. 학습자의 인식과 일치하지 않는 피드백은 무시 될 수 있습니다 [14, 15]. 

  • 의학의 학습 문화 또한 피드백 수용을 제한 할 수 있습니다. 음악, 육상 및 교사 교육에 관한 연구에서 조형 비판적 피드백은 학생들을 우수성으로 이끌 것으로 예상되었지만 의학 내에서는 그다지 기대되지 않았습니다 [16-19].

Feedback may not reach its full potential in practice for several reasons. 

  • Faculty find it a complex process and fear being perceived as unkind to learners, as they struggle with conflicting aims of improving learners’ future performance and building their confidence. [11] 

  • Learners fear challenges to their own self-assessments, [12] often wanting feedback to boost their confidence, not correct deficiencies.[13] 

  • Feedback not aligned with a learner’s perception may be ignored [14, 15]. 

  • Medicine’s learning culture may also limit receptivity. In studies of music, athletics and teacher education, formative critical feedback was expected to push students towards excellence, whereas this was less expected within medicine [16–19].


일부 의과 대학은 학습 기간 전반에 걸쳐 풍부하고 서술적인 피드백과 결합 된 여러 가지 저부담 평가에 중점을 둔 '학습 평가 및 프로그램 평가'로 전환했습니다. 그러나 최근의 연구에 따르면 학생들은 저부담 평가를 학습 기회이기보다는 극복해야 할 학습 장애로 생각함이 보고되고 있습니다.

Some medical schools have shifted towards ‘assessment for learning’ and programmatic assessment with a focus on multiple low-stakes assessments combined with rich, narrative-based feedback throughout the period of study [21–23]. However, Recent studies have demonstrated that students may still regard the low-stakes assessments as summative hurdles to be overcome instead of learning opportunities [24, 25].


우리의 연구 질문은 '학생들의 피드백에 대한 수용성을 방해하거나 방해하는 의과 대학 평가 시스템의 요소는 무엇입니까?'

Our research question was: ‘what are the factors within medical schools’ assessment systems which aid or hinder student receptivity to feedback?’



방법

Method


맥락

Context


We purposively selected three medical schools known to have different assessment and feedback systems.


자료 수집

Data collection


  • We chose focus groups in order to seek a range of views and to enable expressed ideas to be developed through interaction between participants. 

  • We conducted six focus groups in April to June 2014 (two at each school) to gather the perceptions of the student cohort on their feedback at different points in their studies. 

  • A faculty member from the local school, unconnected with the research project, recruited students by email. 

  • A convenience sampling approach was taken based on the students’ availability at pre-determined times. Incentives to participate were not offered. 

  • To encourage discussion of potentially challenging areas, each group deliberately consisted of a small number of students from a single year

  • More details of the groups are shown in Table 2.


  • The focus groups took place in the respective institutions with a single facilitator (CH) and lasted 60–120 min. 

  • A semi-structured approach was underpinned by open-ended questions designed to elicit students’ perceptions of their institution’s assessment system, their interpretation and use of feedback and any effect of grades on their aspiration to excellence. 

  • Questioning evolved according to the participants’ responses. 

  • We recorded and transcribed discussions maintaining student anonymity.


자료 분석

Data analysis


  • We used a constructivist grounded theory approach. This approach to qualitative data analysis encompasses the notion that interpretation of the data is co-constructed by both researchers and participants [30]. 

  • By studying the experiences and perspectives of the participants described in the transcripts, we aimed to identify thematic categories of factors that aid or hinder the uptake of feedback. 

  • Consistent with grounded theory, analysis occurred alongside data collection and was able to inform the questioning in the later groups. 


  • The lead author (CH) coded all transcripts in order to organize the data and identify key themes and concepts. 

  • A second researcher (VW) separately coded three transcripts (one from each school). 

  • There was close agreement; minor discrepancies were discussed and could be quickly resolved. 

  • At regular intervals, the research team conducted Skype teleconferences to refine the conceptual analysis. 

  • As our analysis framework assumes that data are co-constructed by interactions between researchers and participants, we provide the following contextual information: 

    • CH, LS, VWare medical doctors with a major involvement in medical education research and development; 

    • CvdV, KK have backgrounds in psychology and ED in sociology with a major involvement in medical education research and development.


결과

Results


네 가지 주요 주제

Four principal themes emerged: 

(1) 개인의 주체성 Personal agency; 

(2) Authenticity and relevance of assessment; 

(3) Grades and comparative ranking; 

(4) Scaffolding of feedback.



개인의 주체성

Personal agency


모든 학교의 평가 시스템 내의 요소는 학생들의 개인적 agency, 즉 자신의 능력을 사용하여 행동하고 선택하는 능력을 촉진하거나 방해하며, 맥락의 제약과 가능성 내에서 개인의 능력을 사용합니다. 에이전시는 (강제 평가 또는 선택 평가 사이에서의) 선택을 제공함으로써, 학생들이 지식 습득을 자신과 교사에게 보여주는 방식으로 촉진되었다. 대조적으로, 의무적 객관식 시험지는 학생들이 자신의 지식을 충분히 보여주지 못하게함으로써 개인의 에이전시를 줄였습니다. 이러한 시험은 구체적인 '무작위적' 사실에 초점을 맞추는 것으로 인식되었습니다.

Factors within the assessment systems across all schools promoted, or hindered, students’ personal agency, their capacity to act and make choices using their personal abilities within the constraints and possibilities of their context. Agency was promoted by providing choice, either within compulsory assessments or by providing optional assessments, which enabled students to demonstrate knowledge acquisition to themselves and their tutors. In contrast, compulsory multiple-choice question papers reduced personal agency by preventing students from fully demonstrating their knowledge; the questions were perceived to focus on specific ‘random’ facts.


학생들은 피드백의 상당 부분을 향후 학습이나 평가와 관련이없는 것으로 낮춰보았다. 자율성을 제한하는 것보다 개인 에이전시를 지원하는 것이 (학생들이 독립적으로 행동 할 수 있게하는 피드백 방법으로) 더 도움이되었습니다. 예를 들어 온라인 문항과 피드백은 언제든지 다시 방문 할 수있는 능력과 결합되어, (revisit을 제공하지 않는) 그룹 세팅에서 전달된 강의식 교사 주도 피드백 세션보다 선호되었습니다. 평가 및 피드백 시스템 내에서 자율성을 충분히 제공하면 수월성에 대한 포부가 촉진되었습니다.

Students discounted much of the feedback as irrelevant for future learning or assessments. Feedback methods enabling students to act independently were more conducive to supporting personal agency than those restricting autonomy. For example, online questions and feedback, combined with the ability to revisit these at any time, were preferred to didactic tutor-led feedback sessions delivered in a group setting without provision to revisit later. Providing significant autonomy within the assessment and feedback systems fostered an aspiration towards excellence:


대조적으로, 고부담 평가에 의해 지배 된 평가 시스템은 개선을위한 포부를 꺾어놓는다

By contrast, an assessment system dominated by highstakes assessments discouraged aspiration to improve:


저부담 평가로부터의 피드백이 고부담 평가에서 미래의 성과를 예측하는 것으로 나타난다면, 학생들은 통제감이 있다고 느꼈습니다. 저부담 평가가 '실제real thing'와 너무 다른 것처럼 보이는 경우에는 반대 느낌을 주었다.

Students felt in control if feedback from low-stakes assessments appeared predictive of future performance in high-stakes assessments. The feeling was the opposite if low-stakes assessments were seen as too dissimilar from the ‘real thing’.


평가를 위한 기관의 요구 사항 (예 : 포트폴리오 완성을위한 포맷팅 규칙)은 주체성agency을 제한하고 많은 좌절감을 불러 일으키고, 학습의 가치를 떨어뜨릴 위험을 일으킨다. 학생들은 때로는 학습을 극대화하기 위해 마킹 기준을 뒤집으려고 노력하는데, 이는 학생 주체성과 기관의 통제 사이의 긴장감을 보여준다.

Institutional requirements for assessments (e. g. formatting rules for completing a portfolio) limited agency and provoked much frustration and risked devaluing learning. Students sometimes tried to subvert the marking criteria to maximize learning, demonstrating tension between student agency and institutional control.


마찬가지로, (progress을 보여주기 위해 전체 집계 된 피드백 중) 기관이 특정 항목을 선택하기 위한 기준을 정하는 경우에도 주체성은 위협을 받습니다. 학생들은 도움이 안되며, 개성없고, generic한 경우에조차 개인적이고 긍정적인 피드백을 희생시켜가면서 critical feedback을 강요받는다고 인식했습니다. 그들은 '평가 게임'을 하도록 강요 받았습니다.

Similarly, agency was threatened when institutions set criteria for selecting specific items from overall aggregated feedback to demonstrate progress. Students perceived being forced to include critical feedback, at the expense of detailed, personal and positive feedback, even if it was unhelpful, bland and generic. They felt forced to play the ‘assessment game’.


학생들은 자율성에는 한계가 있음을 인식했습니다. 미래의 환자의 안전은 평가 과정이 학생들의 약한 영역이나 자기 평가의 결함을 식별 할 것을 요구했습니다. 평가의 표준화는 일반적으로 자율성을 제한하더라도 받아들여졌지만, 의사로서의 미래의 역할에 직접적으로 관련이없는 것으로 받아 들여지면 수용률은 훨씬 낮았다.

Students recognized that autonomy should have limits. The safety of future patients necessitated that assessment processes identify students’ weaker areas or flaws in self-assessment. Standardization of assessments was generally accepted, even though it limited autonomy, but acceptance was much lower if it was perceived to lack immediate relevance to their future role as doctors.


평가의 Authenticity와 관련성

Authenticity and relevance of assessment


많은 평가는 authenticity가 부족하거나 의사로서의 학생들의 미래 업무에 직접적으로 관련이없는 것으로 나타났습니다. 평가가 부적절한 것으로 인식되면 의견은 무시됩니다.

Many assessments were seen to lack authenticity or direct relevance to students’ future work as doctors. Feedback was often ignored if assessments were perceived as irrelevant.


성적과 상대적 순위

Grades and comparative ranking


코호트 내의 성적과 상대적 순위는 피드백에 대한 수용성에 여러 가지 영향을 미쳤습니다. 성적은 학생이 자격요건을 충족한 경우 그들을 안심 시켰습니다.

Grades and comparative student rankings within the cohort had mixed effects on receptivity to feedback. Grades reassured students they were achieving the standards required for qualification:


성적은 예상되는 성과 수준에 대한 명확성을 제공하고 서술 피드백에 의해서 성과 수준이 오도될 가능성을 줄여준다.

Grades provided some clarity on the expected level of performance and avoided the potential for narrative feedback to mislead:


글쎄, 내 말은, 당신은 따뜻하고 피드백을 받으면서도 4/10점을 받을 수 있습니다. 당신이 4 점을 얻는다면 당신은 6 점을 얻기 위해 뭔가를해야한다는 것을 알게됩니다. 나는 따뜻하고 모호한 느낌보다 열심히 일해야한다는 것을 많이 알고 있습니다. (학교 B, FG2)

Well, I mean, you can get a warm and fuzzy description and be four out of ten. If you get a four then you know you need to do something to get to the six that is required to make the grade. I would much rather know that I need to work harder than have a warmand fuzzy feeling. (School B, FG2)


동료들과 비교한 정보는 피드백을 진지하게 받아들이게 만드는 추가적인 자극이었습니다.

Information comparing performance with peers was an additional stimulus to take feedback seriously:


총괄평가에 이어지는 성적은 충분한 정보를 제공했습니다. 더 자세한 피드백은 불필요한 것으로 여겨졌다.

Grades following summative, end-of-year assessments gave sufficient information; more detailed feedback was seen as superfluous:


어떤 경우에 네러티브 피드백이 없는 성적만으로는 개선을 자극하기에 충분한 정보 또는 동기 부여를 제공하지 못했습니다. 한 학교에서 많은 학생들이 '기대 수준에 합당함'으로 등급이 매겨져 우수성을 향한 열망을 느끼지 못했습니다.

At other times within a programme, grades without narrative feedback failed to provide sufficient information or motivation to stimulate improvement. At one school, so many students were graded ‘at the level expected’ that it was felt futile to aspire towards excellence.


이전 프로그램의 성적 기반 시스템에서 성적표기가 없는 서술형 피드백만을 기반으로 한 성적 시스템으로의 전환은 학생들이 '옳은 궤도를 따라가는지'를 확인하는 방법을 찾는데 어려움을 유발한다

The transition from a grade-based system in a previous programme to one based on narrative feedback without grades presented a challenge for students to then find ways of checking they were ‘on track’.


전환transition이 계속되면서, 점수나 순위가 없는 것이 동료 학생들이 강점과 약점에 대해보다 예민한 시각을 갖게 해준다. 이것은 그들에게 자신의 자부심을 유지하면서, 피드백을 사용하는데 있어서 더 많은 자유를주었습니다. (점수로 드러나는) '충분히 좋은' 성적이 주는 reassurance가 없다는 것은 학생들로 하여금 수월성을 목표로 갖게끔 격려했습니다.

As the transition continued, the absence of grading or ranking forced students to take a more nuanced view of their peers’ strengths and weaknesses. This gave them more freedom in using the feedback while preserving their own self-esteem. The lack of reassurance from ‘good enough’ grades incentivized students to aim for excellence:


우리는 하한선이 무엇인지 모릅니다. 차라리 슬램 덩크를 해버리는 것이 좋습니다. (학교 A, FG1)

We don’t know what the bare minimum is. You better have a slam-dunk to make sure. (School A, FG1)


모든 학교에서 교사가 모호한 긍정적 인 피드백을 제공하는 경향은 학생들을 좌절 시켰습니다. 그것은 성과를 향상시키기위한 포부를 충족시키지 못했습니다.

The tendency for tutors at all schools to provide vague positive feedback frustrated students; it failed to meet aspirations to improve performance.


맨날 이러한 '참 잘했어요'만 받는 것은 별 의미가 없다. 내가 더 발전할 방법을 알려주는 사람이 더 낫다(스쿨 A, FG2)

It means very little to me to always get these ‘great job, great job, great job’ versus someone who is trying to find ways to help me get better. (School A, FG2)


일반적으로 교사들은 비판적인 피드백을 두려워하는 것으로 인식되었습니다. School A의 학생들은 건설적으로 중요한 피드백에 대해 교사에게 적극적으로 도전 한 방법을 설명했습니다. 다른 사이트에서 feedback-seeking 행동에 대한 증거는 거의 없었습니다.

It was also commonly perceived that tutors feared giving critical feedback. Students at School A described how they had actively challenged tutors for more constructively critical feedback. There was little evidence of feedback-seeking behaviour at the other sites:


피드백 스캐폴딩

Scaffolding of feedback


멘토가 제공 한 스캐폴딩은 피드백에 대한 수용성을 돕거나 가끔 방해하는 중요한 역할을했습니다. 성공적인 멘토링은 학생들이 피드백을 해석하는 데 도움을 주었고 학생들에게 통제력을 주었다. 학생들의 피드백 환경에 대한 의존도를 줄이기 위한 준비 과정을 진행하는 과정에서, 스캐폴딩을 줄여나갈 때 agency가 높아졌다.

Scaffolding, as provided by mentors, played a significant role in assisting, or occasionally hindering, receptivity to feedback. Successful mentoring helped students interpret feedback while allowing them to remain in control. Agency was promoted by reducing the scaffolding as the course progressed to prepare students for a working environment reducing dependency on feedback:


장기간 감독 (수년에 걸쳐)을 제공하고 멘토가 학생의 전체 피드백을 볼 수있게 해주는 학생 멘토링 시스템은 신뢰 개발을 가능하게했습니다. 이전 피드백에 대한 인식은 새로운 정보의 해석을 돕습니다 :

A student mentoring system which provided long-term supervision (over several years), and allowed mentors to see the student’s entire feedback, enabled trust to develop. Awareness of previous feedback aided interpretation of new information:




고찰

Discussion


학생이 '충분히 좋은 점수'를 받을 때 성적과 비교 순위 표식은 외면적으로 reassured했다. 성적을 제공하지 않은 경우, 초기에는 불확실성이 발생했지만, 나중에는 자기와 동료 모두 쉽게 분류 할 수없는 여러 가지 강점과 약점이 있음을보다 확실하게 인정했습니다. 이것은 수월성에 대한 열망을 격려했다. 장기적 멘토 관계는 학생들이 의견을 해석하는 데 도움을 주었고, 멘토가 학생의 선택 의지를 감소시키는 가부장적 태도만 피한다면, 멘토링은 부정확한 자기평가의 문제를 깨우쳐주었다. 학생들은 신뢰성이나 품질이 부족한 피드백을 무시했습니다.


Grades and comparative ranking marks superficially reassured students they were ‘good enough’. Not providing grades caused initial uncertainty, but later promoted more authentic recognition that both self and peers had a complex set of strengths and weaknesses which could not easily be labelled. This encouraged an aspiration to excellence. Long-term mentor relationships assisted both students’ interpretation of feedback and enabled inaccurate self-assessment to be challenged, as long as mentors avoided paternalistic attitudes which reduced students’ agency. Students ignored feedback lacking credibility or quality.


의학교육에 함의

Implications for medical education


최근 수십 년 동안 수동적 지식 습득에 의존하는 학습에 대한 행동주의적 접근으로부터 구성주의적 접근과 능동적 학습 전략으로 옮겨 갔다. 그러나, 평가에 대한 근본적인 접근법은 여전히 ​​행동주의적으로 남아 있습니다. 학생들은 실패로 인해 처벌을 받거나 보상을받습니다.

In recent decades behaviourist approaches to learning, relying on passive knowledge acquisition, have moved towards constructivist approaches and active learning strategies [32]. By contrast, the fundamental approach towards assessment has remained behaviourist. Students are rewarded for passing or punished for failing.


우리의 연구는 세 가지 핵심 구성주의 원칙의 잠재적 이점을 입증합니다.

(i) 평가의 신뢰성을 향상시키고, 

(ii) 학생들이보다 적극적으로 역할을하도록 권한을 부여하며, 

(iii) 성취 지향에서 학습 지향으로 전환 할 수 있도록 점진적으로 설명해야 한다

Our study demonstrates the potential benefits of three key constructivist principles: (i) improving the authenticity of the assessment, (ii) empowering students with a more active role and (iii) gradual descaffolding to enable transformation from a performance orientation towards a learning orientation.


장기적인 멘토링 관계는 효과적인 학습을 촉진하기위한 피드백 제공에 필수적입니다. 그것은 학습자가 도전받을 수있는 안전한 환경에서 신뢰를 발전시킬 수 있습니다. 그러한 관계가 다른 직업에서 흔히 발생하기는하지만, 의학 교육은 종종 여러 개의 단기간의 임상실습과 관련이있다 [19, 31].

A long-term mentoring relationship appears essential for feedback provision to stimulate effective learning. It enables trust to develop in a safe environment in which learners can be challenged. Although such relationships are common in other professions, medical education often involves multiple short-term clerkships [19, 31].


Suggestions for further research



Conclusions


우리는 가능한 한 진실 된 평가를하기 위해 노력해야하며, 성적 수여의 이점과 위험을주의 깊게 고려하고, 학생들이받은 피드백에 의해 지원되고 도전받을 수 있도록 장기 멘토링을 사용해야합니다.


we should strive to make the assessments as authentic as possible, consider carefully the benefits and risks of awarding grades and use long-term mentoring to enable students to be both supported and challenged by the feedback they receive.


Limitations





 2016 Oct;5(5):276-84. doi: 10.1007/s40037-016-0297-x.

Factors influencing students' receptivity to formative feedback emerging from differentassessment cultures.

Author information

1
Keele University School of Medicine, Keele, UK. c.j.harrison@keele.ac.uk.
2
Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, The Netherlands.
3
Cleveland Clinic Lerner College of Medicine of Case Western Reserve University, Cleveland, USA.
4
Flinders Medical School, Adelaide, Australia.
5
Keele University School of Medicine, Keele, UK.

Abstract

INTRODUCTION:

Feedback after assessment is essential to support the development of optimal performance, but often fails to reach its potential. Although different assessment cultures have been proposed, the impact of these cultures on students' receptivity to feedback is unclear. This study aimed to explore factors which aid or hinder receptivity to feedback.

METHODS:

Using a constructivist grounded theory approach, the authors conducted six focus groups in three medical schools, in three separate countries, with different institutional approaches to assessment, ranging from a traditional summative assessment structure to a fully implemented programmatic assessment system. The authors analyzed data iteratively, then identified and clarified key themes.

RESULTS:

Helpful and counterproductive elements were identified within each school's assessment system. Four principal themes emerged. Receptivity to feedback was enhanced by assessment cultures which promoted students' agency, by the provision of authentic and relevant assessment, and by appropriate scaffolding to aid the interpretation of feedback. Provision of grades and comparative ranking provided a helpful external reference but appeared to hinder the promotion of excellence.

CONCLUSIONS:

This study has identified important factors emerging from different assessment cultures which, if addressed by programme designers, could enhance the learning potential of feedback following assessments. Students should be enabled to have greater control over assessment and feedback processes, which should be as authentic as possible. Effective long-term mentoring facilitates this process. The trend of curriculum change towards constructivism should now be mirrored in the assessment processes in order to enhance receptivity to feedback.

KEYWORDS:

Feedback; Programmatic assessment; Summative assessment

PMID:
 
27650373
 
PMCID:
 
PMC5035283
 
DOI:
 
10.1007/s40037-016-0297-x


대규모 물리수업에서 학습 증진(Science, 2011)

Improved Learning in a Large-Enrollment Physics Class

Louis Deslauriers,1,2 Ellen Schelew,2 Carl Wieman*†‡



전통적인 강의 방식은 고등 교육 수준에서 과학을 가르치는 일반적인 방법이지만 다른 학습 방식이 더 효과적이라는 연구가 늘어나고 있습니다 (1-8).

The traditional lecture approach remains the prevailing method for teaching science at the postsecondary level, although there are a growing number of studies indicating that other instructional approaches are more effective (1–8).


  • 통제 그룹은 고등학생 평가와 이 과정을 수년간의 경험을 가진 의욕적 인 교수진에 의해 강의되었습니다. 

  • 실험 그룹은 학습 연구를 기반으로 한 지시를 사용하여 박사후 연구원이 진행했습니다. 

선택한 학습 목표는 1 주일 동안 두 강사 모두에게 적용되었습니다.

The control group was lectured by a motivated faculty member with high student evaluations and many years of experience teaching this course. The experimental group was taught by a postdoctoral fellow using instruction based on research on learning. The same selected learning objectives were covered by both instructors in a 1-week period.


실험 섹션을위한 교수 설계는 전문 지식 개발을위한 "deliberate practice"(11) 개념에 기반을두고 있습니다. DP개념은 구성주의와 형성평가의 교육적 아이디어를 포함합니다. 우리의 경우, DP는 잦은 피드백을 제공하면서 학생들이 수업 시간에 물리학자 같은 추론과 문제 해결을 연습하도록 요구하는 일련의 도전적인 질문과 과제의 형태를 취합니다.

The instructional design for the experimental section was based on the concept of “deliberate practice” (11) for the development of expertise. The deliberate practice concept encompasses the educational ideas of constructivism and formative assessment. In our case, the deliberate practice takes the form of a series of challenging questions and tasks that require the students to practice physicist-like reasoning and problem solving during class time while provided with frequent feedback.


디자인 목표는 학생들이 

  • 관련 주제에 관한 예측과 논증을 만들고 테스트하며 

  • 문제를 해결하고 

  • 자신의 추론을 비판하고 다른 사람들의 의견을 비판하는 형태로 

..."과학적으로 사고하는" DP에 engage하는 수업에서 모든 시간을 보내도록하는 것이 었습니다 . 

The design goal was to have the students spend all their time in class engaged in deliberate practice at “thinking scientifically” in the form of 

  • making and testing predictions and arguments about the relevant topics, 

  • solving problems, and 

  • critiquing their own reasoning and that of others. 

모든 활동은 이 목표를 뒷받침하기 위해 함께 맞도록 고안되었습니다. 

  • 가능한 한 클래스 밖으로 사실에 대한 지식의 간단한 이전을 옮기고

  • 학생들이 완전히 참여하도록 동기를 부여하는 작업과 피드백을 생성하는 것을 포함하여 

All of the activities are designed to fit together to support this goal, including 

  • moving the simple transfer of factual knowledge outside of class as much as possible and 

  • creating tasks and feedback that motivate students to become fully engaged. 

학생들은 이러한 작업을 통해 동료 학생들 (12)과 강사로부터 피드백을받습니다. 우리는 여러 가지 "최상의 교육 실습"을 통합하지만, 교육의 이점은 주로 특정 실습이 아니라 오히려 여러 요소가 전반적인 DP 프레임 워크로 통합되는 것이라고 생각합니다.

As the students work through these tasks, they receive feedback from fellow students (12) and from the instructor. We incorporate multiple “best instructional practices,” but we believe the educational benefit does not come primarily from any particular practice but rather from the integration into the overall deliberate practice framework.


(Table 1).


실험 섹션에서 사용 된 교육 접근법에는 CWSEI가 추진하고 콜로라도 대학 (University of Colorado)에서 추진 한 요소가 포함되어 있습니다 : 사전 읽기 과제, 사전 읽기 퀴즈, 학생 - 학생 토론 (CQ), 소그룹 능동 학습 과제 (GT) 및 목표로 한 강사 피드백 (IF)을 제공합니다. 

The instructional approach used in the experimental section included elements promoted by CWSEI and its partner initiative at the University of Colorado: 

  • preclass reading assignments, 

  • preclass reading quizzes, 

  • in-class clicker questions with student-student discussion (CQ), 

  • small-group active learning tasks (GT), and 

  • targeted in-class instructor feedback (IF). 

3 개의 50 분 수업 전 각각에 학생들은 3 페이지 또는 4 페이지 분량의 독서 과제를 배정 받았으며 독서 과제에 대한 짧은 true-false 온라인 퀴즈를 마쳤습니다. 학생들의 저항을 피하기 위해 첫 시간 초반에 몇 분 동안 학생들에게 왜 자료가 이런 식으로 가르쳐졌는지, 그리고 연구를 통해 이 접근법이 학습을 증가시키는 것으로 나타 났는지를 설명했습니다.

Before each of the three 50-min classes, students were assigned a three or four-page reading, and they completed a short true-false online quiz on the reading. To avoid student resistance, at the beginning of the first class, several minutes were used to explain to students why the material was being taught this way and how research showed that this approach would increase their learning.


실험 주간에 관여 및 출석은 통제 섹션에서 변경되지 않았습니다. 실험 섹션에서 학생 참여도는 거의 두 배로 증가했으며 출석률은 20 % 증가했습니다 (표 1).

During the week of the experiment, engagement and attendance remained unchanged in the control section. In the experimental section, student engagement nearly doubled and attendance increased by 20% (Table 1).


시험 결과는 그림 1과 같으며, 실험 구간은 211 명으로 시험에 응시하였으며, 대조 시험에서는 171 명이었다. 평균 점수는 대조군에서는 41 T 1 % 였고 실험군에서는 74 T 1 %였다. 무작위 추측은 23 %의 점수를 산출 할 것이므로 실험 구역의 학생들은이 시험에서 대조 구역의 학생들보다 두 배 이상 뛰어났습니다.

The test results are shown in Fig. 1. For the experimental section, 211 students attended class to take the test, whereas 171 did so in the control section. The average scores were 41 T 1% in the control section and 74 T 1% in the experimental section. Random guessing would produce a score of 23%, so the students in the experimental section did more than twice as well on this test as those in the control section.


테스트 점수 분포는 정규분포가 아닙니다 (그림 1). 천장 효과는 실험 섹션에서 분명합니다. 두 분포는 거의 겹치지 않아 두 부분 간의 학습 차이가 본질적으로 전체 학생 집단에 대한 것임을 보여줍니다. 두 섹션에 대해 계산 된 표준 편차는 약 표준 편차 2.5의 두 섹션 사이의 차이에 대한 효과 크기를 제공하는 약 13 %입니다. (4)에서 검토 한 바와 같이, 다른 과학 및 공학 교실 연구는 1.0 미만의 효과 크기를보고합니다. 훈련 된 개인 교사로 얻은 2의 효과 크기는 모든 교육 개입 (16)에서 관찰 된 최대 규모라고 주장됩니다.

The test score distributions are not normal (Fig. 1). A ceiling effect is apparent in the experimental section. The two distributions have little overlap, demonstrating that the differences in learning between the two sections exist for essentially the entire student population. The standard deviation calculated for both sections was about 13%, giving an effect size for the difference between the two sections of 2.5 standard deviations. As reviewed in (4), other science and engineering classroom studies report effect sizes less than 1.0. An effect size of 2, obtained with trained personal tutors, is claimed to be the largest observed for any educational intervention (16).



Hawthorne 효과의 영향에 대해 질문을 받는다. Hawthorne 효과는 조건의 변경이 성능 향상으로 이어지는 것을 말한다. SOM의 인용문에서 논의 된 것처럼 원래 Hawthorne 식물 데이터는 실제로 그러한 효과가 나타나지 않으며 교육 환경에서도 마찬가지로 그러한 효과는 없었다(17).

We are often asked about the possible contributions of the Hawthorne effect, where any change in conditions is said to result in improved performance. As discussed in citations in the SOM, the original Hawthorne plant data actually show no such effect, nor do experiments in educational settings (17).


교수진이 적극적인 학습 접근법을 채택 할 때 자주 제기되는 우려는 학생들이 변화에 반대 할 수 있다는 것입니다 (18). 실험과 시험이 끝난 지 일주일 후 실험 섹션의 학생들에게 온라인 설문 조사를 보냈습니다 (SOM 참조). 150 명의 학생들이 설문 조사를 완료했습니다.

A concern frequently voiced by faculty as they consider adopting active learning approaches is that students might oppose the change (18). A week after the completion of the experiment and exam, we gave students in the experimental section an online survey (see SOM); 150 students completed the survey.


"전체 물리학 과정이 고도의 양방향 스타일로 진행 되었다면 더 많은 것을 배웠을 것이다."77 %는 동의했으며 7 %만이 의견을 달리했다. 따라서 이러한 형태의 교육은 학생들에게 호평을 받았습니다.

For the statement “I feel I would have learned more if the whole physics 153 course would have been taught in this highly interactive style.” 77% agreed and only 7% disagreed. Thus, this form of instruction was well received by students.








 2011 May 13;332(6031):862-4. doi: 10.1126/science.1201783.

Improved learning in a large-enrollment physics class.

Author information

1
Carl Wieman Science Education Initiative, University of British Columbia, Vancouver, BC, Canada.

Abstract

We compared the amounts of learning achieved using two different instructional approaches under controlled conditions. We measured the learning of a specific set of topics and objectives when taught by 3 hours of traditional lecture given by an experienced highly rated instructor and 3 hours of instruction given by a trained but inexperienced instructor using instruction based on research in cognitive psychology and physics education. The comparison was made between two large sections (N = 267 and N = 271) of an introductory undergraduate physicscourse. We found increased student attendance, higher engagement, and more than twice the learning in the section taught using research-based instruction.

PMID:
 
21566198
 
DOI:
 
10.1126/science.1201783


카네기재단의 의학교육 개혁 요구: 1910년과 2010년(Acad Med, 2010)

Calls for Reform of Medical Education by the Carnegie Foundation for the Advancement of Teaching: 1910 and 2010

David M. Irby, PhD, Molly Cooke, MD, and Bridget C. O’Brien, PhD





20 세기 초, 카네기 진보 재단 (Carnegie Teaching Advancement Foundation)은 의학 교육의 주요 개혁 운동을 주도했습니다. 운동은 Abraham Flexner의 비전 - 과학적 엄격함과 교육의 우수성이 의사 준비에있어 원동력- 에 의해 인도되었습니다. 이제 21 세기 초 카네기 교육 진흥 재단은 다시 의사 준비를 개선 할 개혁을 요구하고 있습니다.

At the beginning of the 20th century, the Carnegie Foundation for the Advancement of Teaching spearheaded a major reform movement in medical education. The movement was guided by Abraham Flexner’s vision—a vision in which scientific rigor and educational excellence were the driving forces in the preparation of physicians. Now, at the beginning of the 21st century, the Carnegie Foundation for the Advancement of Teaching is again calling for reforms that will improve the preparation of physicians.



두 연구에 걸쳐 네 가지 공통 주제 :

(1) 학습 결과의 표준화 및 학습 과정의 개별화,

(2) 형식적 지식과 임상 경험의 통합,

(3) 탐구와 개선 습관의 개발, 

(4) 전문직 정체성의 형성.


four common themes across the two studies: 

(1) standardization of learning outcomes and individualization of the learning process, 

(2) integration of formal knowledge and clinical experience, 

(3) development of habits of inquiry and improvement, and 

(4) formation of professional identity.


1910년 개혁의 전조

Precursors to the Call for Reform in 1910



Flexner의 의학 교육 연구의 precursor는 1904 년 AAMC의 회원 학교 중 일부에서, 1906 년과 1907 년에는 AMA의 의과 대학 교육위원회 (Council on Medical Education)에서 실시되었습니다. NP Colwell 박사의 리드하에 존스 홉킨스 대 의과 대학, 하버드 의과 대학 및 기타 대학의 가장 엄격한 대학 모델을 표준으로 사용한 AMA 전국 조사에서 많은 의과대학이 매우 unsatisfactory함이 드러났다. 그러나 AMA는 회원들을 비난하기를 원치 않는 민감한 입장에 있었기 때문에 북미 지역의 의학 교육에 대한 포괄적인 연구를 수행하는 공정한 제 3자인 Carnegie Educational Advancement Foundation의 지원을 받았다. 1908 년 재단의 창립 회장 인 Henry Pritchett 박사는 의사는 아니지만, 켄터키 주 루이스 빌에있는 사립 고등학교의 전임 교장이었던 Abraham Flexner 박사를 고용하여 연구를 수행했습니다 .1

Precursors of Flexner’s study of medical education were conducted by the Association of American Medical Colleges (AAMC) in a few of its member schools in 1904 and by the American Medical Association’s (AMA’s) Council on Medical Education in all medical schools in 1906 and 1907. Under the leadership of Dr. N.P. Colwell, the AMA national survey, which used as its standard the most rigorous university models of Johns Hopkins University School of Medicine, Harvard Medical School, and others, revealed that many medical schools were deeply unsatisfactory. However, the AMA was in a delicate position of not wanting to condemn its own members, and it therefore sought the assistance of the Carnegie Foundation for the Advancement of Teaching, an impartial third party to conduct a comprehensive study of medical education in North America. In 1908, Dr. Henry Pritchett, inaugural president of the foundation, hired AbrahamFlexner, not a physician but the former headmaster of a private high school in Louisville, Kentucky, to conduct the study.1



그의 방문을 시작하기 전에, Flexner는 존스 홉킨스 (Johns Hopkins)를 다녔고, 그의 형제 Simon은 의대에 다녔다. 그곳의 교수진과 이야기 한 후 플렉스너는 존스 홉킨스 (Johns Hopkins) 모델을 탁월성의 모범으로 채택했습니다. 그는 이렇게 말했습니다. "내 마음 속에 이런 패턴이 없으면 나는 거의 성취할 수 없었을 것이다. 그로부터 나는 미국과 캐나다에서 의과 대학을 신속히 견학하기 시작했다. "2 (p115) 1909 년 미국과 캐나다의 155 개 모든 의과 대학을 방문한 동안 Flexner 박사는 Colwell 박사와 같은 결론에 도달했습니다 : 다수의 우수한 대학 기반 프로그램과 또한 다수의 저질의 영리를 목적으로 한 의과 대학이 있다. Flexner는 "Dr. 콜웰과 나는 많은 여행을 했고, 그는 조심스럽고 재치있게 진행할 필요가 있었지만, 나는 운이 좋게도 진정한 솔직함으로 진실을 말할 수 있었다. "고 했고, 실제로 그러했다(p115)

Before embarking on his site visits, Flexner went to Johns Hopkins, where his brother Simon had studied medicine. After speaking with faculty members there, he adopted the Johns Hopkins model as his exemplar of excellence. As he stated, “Without this pattern in the back of my mind, I could have accomplished little. With it I began a swift tour of medical schools in the United States and Canada.”2(p115) During his site visits to all 155 medical schools in the United States and Canada in 1909, Flexner came to the same conclusion as Dr. Colwell: There were a number of excellent university-based programs and many poor-quality for-profit medical schools. Flexner wrote, “Dr. Colwell and I made many trips together, but, whereas he was under the necessity of proceeding cautiously and tactfully, I was fortunately in position to tell the truth with utmost frankness,” which he did indeed do.2(p115)


1910년의 플렉스너 보고서

Flexner’s 1910 Report on Medical Education


Flexner의 1910 년 보고서, 미국과 캐나다의 의료 교육 : Carnegie Foundation for Teaching의 보고서는 두 부분으로 구성되어 있습니다 : 

  • 적절한 의대 학교 커리큘럼에 대한 해설과 그것을 지원하는 데 필요한 자원 

  • 그가 방문한 각 의과 대학에 대한 간단한 보고서. 


Flexner’s 1910 report, Medical Education in the United States and Canada: A Report to the Carnegie Foundation for the Advancement of Teaching,3 contains two parts: a year-by-year description of the proper medical school curriculum and the resources required to support it, and brief reports on each medical school he visited. Table 


표준화의 부족

Lack of standardization


19 세기 후반 북미에서의 의학 교육은 

    • 교육적으로 효과적이지 못했고, 

    • 엄격한 학업 기준이 없었으며, 

    • 종종 임상 수입을 보충하려는 의도로 개업의가 수행했습니다. 

    • 학교는 규모가 작았고 일반적으로 의사가 소유 했으므로 의사의 이익을 위해 운영했습니다. 

    • 입학 기준은 미미하며, 일반적으로 고등학교만 졸업하면 되었고, 모든 학생이 학업 성취 수준에 관계없이 졸업했습니다. 

이러한 결과로부터 Flexner는 의과대학이 최고의 대학 프로그램을 모방하고 의대에 입학하기 전에 강력하고 과학적으로 기초한 학부 교육을 강요 할 것을 권장했습니다.

Medical education in North America in the late 19th century was an ineffectual educational process, lacking rigorous academic standards and often carried out by local practitioners supplementing their clinical incomes. Schools were small and typically owned by the doctors, who operated themfor a profit. Admission standards were minimal, typically a high school education, and all graduated regardless of the level of academic achievement. These findings fueled Flexner’s recommendation to emulate the best university programs and insist on a strong, scientifically based undergraduate education prior to admittance to medical school.


Flexner의 권고 사항 중 다른 하나는 의과 대학 커리큘럼의 큰 차이와 학생들의 준비상태 및 성취수준의 이질성을 해소하였다. 학생들이 의학 교육에 대한 과학적 접근법을보다 잘 준비 할 수 있도록 그는 의과 대학 입학을 위한 전제 조건으로 일련의 과학 과정 이수와 학사 학위를 주창했습니다. Flexner는 고품질의 엘리트 대학교 의과 대학에서 제공하는 엄격한 4 년제 커리큘럼을 채택하는 대신 한 차례 반복되는 16 주간의 강의식으로 운영되는 교육은 없어져야 한다고 주장했다. 이러한 교육은 작고 품질이 낮은 proprietary 의대 학교에서 일반적이었습니다. proprietary 학교에서는 실험실이나 임상 경험을 할 기회는 거의 없었습니다. 훈련 중 학생들은 매우 드문 경우만 환자를 검사했습니다. 커리큘럼은 의사의 지혜와 연습에 기반을두고 있었으며, 과학의 실천과 진보와는 아무런 관련이 없었습니다 .1 대조적으로 Flexner는 2 년간의 기본 과학 과정에 이어 2 년간의 교육 병원에서의 임상 경험으로 구성될 것을 권고하였다.

Another of Flexner’s recommendations addressed the great variability in curriculum among medical schools and the heterogeneity in student preparation and achievement. To better prepare students for the scientific approach to medical education, he advocated a set of science courses and a baccalaureate degree as prerequisites to matriculation into medical school. Flexner further supported the adoption of a rigorous four-year curriculum offered by the high- quality elite university medical schools and the elimination of the 16 weeks of lectures that were repeated once, which were common among the small, poor- quality proprietary medical schools. In those proprietary schools, there were rarely any laboratories or clinical experiences; students only infrequently examined a patient during their training.The curriculum was based on the received wisdom and practices of physicians, and there was no connection between practice and advances in science.1 By contrast, Flexner advised widespread adoption of a medical curriculum consisting of two years of basic science followed by two years of clinical experience in a teaching hospital.


인정 된 학업 기준이나 인증 기관이 없었기 때문에 많은 의대는 매우 열악했습니다. 그리고 면허 요건이 없는 상태에서, 의대생이 졸업시에 역량을 갖췄는지를 대중이 알 수있는 거의 방법이 없었습니다.

Because there were neither accepted academic standards nor an accrediting agency, many medical schools were of very poor quality. And, without licensing requirements, there was little way for the public to know if medical students were competent on graduation.


통합의 부족

Lack of integration


Flexner가 관찰 한 것처럼 대부분의 의대에서는 의사가되기 위해 배운 정보를 전달하기 위해 한 번 반복되는 강의에 의존했습니다. 그는 이러한 수동적인 형태의 학습은 실습과 연관되지 않으면 효과가 없으며, 지식은 더 적극적인 형태의 실험실 및 임상 경험을 통해 적용되어야 한다고 말했다.

As Flexner observed, most medical schools relied on lectures, repeated once, to transmit the information that students needed to learn to become doctors. He contended that this passive form of learning was ineffective if it was not connected to practice and argued that knowledge needed to be applied through more active forms of laboratory and clinical experience.


받은 지혜received wisdom에서 실험 의학으로의 전환은 의학 교육을 근본적으로 변화 시켰습니다. 의학 연구소를 설립하고 대학의 교육병원을 설립함으로써, 능동적인 학습 과정을 임상 문제를 해결하기 위한 지식의 적용과 사용을 장려하는 의학교육에 통합 할 수있었습니다 .1

The shift to experimental medicine from a focus on received wisdom fundamentally changed medical education. The establishment of medical laboratories and the creation of university teaching hospitals made it possible to incorporate an active learning process into medical education that encouraged the application and use of knowledge to solve clinical problems.1


탐구의 부족

Lack of inquiry


Flexner는 그의 전임자들과 마찬가지로 proprietary 소규모 학교에서의 의학 교육은 과학적 조사와 엄격한 학술 문화를 잃어버린 것이며 의사가 received wisdom에 대한 암기에 의존한다는 사실을 발견했습니다. 19 세기 후반에 이미 질병의 기전이 실험적으로 확인되고 확인되고 있는 독일 대학의 연구실의 출현으로 인해 변화가 일어났습니다. 많은 미국의 의사들은 의학에 대한 실험적 접근법에 대해 흥분을 감추지 않았고 실험실 연구 방법을 배우기 위해 독일을 여행했으며시카고, 코넬, 하버드, 미시간, 펜실베니아, 나중에 존스홉킨스 등의 대학에서 과학 의학을 확립하게 되었다.  Flexner는 고품질의 의학 교육을 통해 학생들이 과학-지향적인 교사를 모방하고, formal knowledge를 침상 옆에서 관찰 한 것에 비추어 테스트하고, 경험을 바탕으로 이해를 정제 할 수있는 준비를 할 것으로 기대했습니다.

Flexner, like his predecessors, found that medical education within small, proprietary schools was bereft of scientific investigation and a rigorous academic culture and relied on rote memorization of the received wisdomof practicing physicians. Yet change was already occurring in the latter part of the 19th century, influenced by the rise of research laboratories in German universities, where the mechanisms of disease were being experimentally examined and confirmed. Many American physicians were excited about this experimentalist approach to medicine and traveled to Germany to learn laboratory research methods, returning with a commitment to establish scientific medicine at their universities, which included Chicago, Cornell, Harvard, Michigan, Pennsylvania, and, later, Johns Hopkins. Flexner expected that high-quality medical education would prepare students to emulate their scientifically oriented teachers, testing their formal knowledge against what they observed at the bedside and refining their understandings on the basis of their experience.


Flexner는 암기 기억에 의존하는 것과 달리 과학적 호기심과 탐구 방법에 대한 가르침을 의학 교육에 중요한 것으로 보았다. 의사는 의학 실습을 발전시키기 위해 조사와 연구를 사용하는 과학자처럼 생각하도록 가르쳐야합니다. 이러한 습관을 개발하기 위해 의대 학생들은 존 듀이 (John Dewey)와 다른 진보적 인 교육자들이 옹호 한 것처럼 탐구를 통해 문제에 접근하기 위해 교육받을 필요가있었습니다. 연구와 실천의 유사성에 대해서 플렉스너는 다음과 같이 말했다.

Flexner saw the inculcation of scientific curiosity and methods of investigation, as opposed to relying on rote memorization, as critical to medical education. Physicians should be taught to think like scientists—to use inquiry and research to advance the practice of medicine. To develop these habits of mind, medical students needed to be educated to approach problems through inquiry—as advocated by John Dewey and other progressive educators. Drawing a parallel between research and practice, Flexner4(p4,6) observed that


연구와 실습practice을 구분할 수는 없습니다. 연구자는 분명히 관찰하고, 실험하고, 판단합니다. 현대 정신에서 예술art을 실천하는 의사도 마찬가지다. 근본적으로 연구자와 의사의 지적 태도와 과정은 동일하거나 동일해야한다 .... 만약이 이 입장이 옳다면, 병동과 실험실은 논리적으로 탐구, 치료, 교육의 견지에서 뗄 수 없게 얽혀있다.

no distinction can be made between research and practice. The investigator, obviously, observes, experiments, and judges; so do the physician and surgeon who practice their art in the modern spirit. At bottom the intellectual attitude and processes of the two are—or should be—identical....If this position is sound, the ward and the laboratory are logically, from the standpoints of investigation, treatment, and education, inextricably intertwined.



결과적으로, Flexner는 의학 교육이 지식의 발견과 진보가 그 사명의 중심에있는 대학 강의실과 교육 병원 내에 위치해야한다고 권고했다.

As a result, Flexner recommended that medical education should be located within university classrooms and teaching hospitals, where discovery and the advancement of knowledge are central to its mission.



전문직 정체성 형성에 실패

Failure to focus on professional identity formation


임상 경험이 제한적이거나 아예없는 강의 중심의 커리큘럼에서 학생들은 전문적인 태도나 실무자의 행동을 관찰 할 기회가 거의 없었고, 모방할 롤 모델도 없었습니다. 나중에 더 많은 실험실과 임상 경험이 도입되었지만, 여전히 직업적 정체성의 개발에 공식적인 초점은 없었다. Flexner는 학생들이 교수와 적절한 시간을 보내고 곁에서 실천을 배운다면 교수의 가치와 행동을 흡수할 것이라고 믿었습니다. 따라서 학생들의 formation은 대학 문화에 immersion하고 과학적 근거가있는 대학 교수진 역할 모델과 지속적인 접촉을 통해 가장 잘 처리됩니다.

In a lecture-dominated curriculum with limited or no clinical experiences, students had few opportunities to observe the professional demeanor or actions of practitioners and thus had no role models to emulate. Later, as more laboratories and clinical experiences were introduced, there was still no formal focus on the development of professional identity. Flexner believed that students would absorb the values and behaviors of the faculty if they spent adequate time with them and learned the practice at their sides. Thus, student formation would best be served by immersion in university culture and sustained contact with scientifically grounded, university faculty role models.



즉, Flexner는 MDdegree로 이어지는 4 년 교육의 다음과 같은 표준적 특징을 제안했습니다.

In short, Flexner proposed the following standard features of a four-year education leading to the MDdegree:


    •   강한 과학적 배경을 가진 학사 학위에 기초한 의과 대학 입학.

    •   실험실과 강의실에서 2 년간의 기본 과학 교육을 제공하고 교육 병원에서 2 년간의 임상 경험을 제공하는 대학 기반의 의대.

    •   교육, 연구 및 환자 간호에 종사하는 의사 - 과학자 교육을 통해 실험실의 이점을 침대 옆으로 가져옮.

    •   실험실 및 대학 기반의 교육 병원에 감독된 참여supervised participation를 통한 탐구 경험.

    •   Admission to medical school based on a bachelor’s degree with a strong science background.

    •   A university-based medical school providing two years of basic science instruction in laboratories and classrooms, and two years of clinical experience in a teaching hospital.

    •   Instruction by physician–scientists who engage in teaching, research, and patient care, bringing the benefits of the laboratory to the bedside.

    •   Experience with investigation through supervised participation in laboratories and university-based teaching hospitals.



플렉스너의 개혁 요구에 대한응답

Response to Flexner’s Call for Reform


의학교육 공동체가 매우 중요하게 생각한 Flexner의 보고서의 영향은 특정 ​​학교에 대한 Flexner의 신랄한 판단으로 현장 하루를 보냈던 기발한 언론인에 의해 증폭되었습니다. 10 년 안에 155 개 의과 대학 중 약 1/3이 다른 학교를 폐쇄하거나 합병했습니다. 불행하게도 폐쇄 된 많은 학교가 여성과 아프리카 계 미국인에게 의학 교육을 제공하는 유일한 학교였으며, 이 상황이 1970 년대까지는 교정되지 않았다.

The impact of Flexner’s report, taken very seriously by the medical education community, was amplified by muckraking journalists, who had a field day with Flexner’s caustic judgments about specific schools. Within a decade, approximately one third of the 155 medical schools had closed or merged with other schools. Unfortunately, a number of the schools that closed were the only ones that offered women and African Americans access to medical education, a situation that was not rectified until the 1970s.


1920 년까지 의학 교육의 표준화를위한 모든 기본 구조가 확고하게 확립되었습니다. AMA와 AAMC는 (1942 년까지, 그들의 노력을 결합하고 의학 교육에 대한 연락위원회를 구성 할 때까지) 각각 의과 대학을 조사하고 평가했으며, 국립 검시관 (NBME)은 미국의 의학 면허 시험을 수립하고 의학 보드는 연습중인 의사의 면허를 얻기 시작했습니다.

By 1920, all of the basic structures for standardization of medical education were firmly established. The AMA and the AAMC separately surveyed and evaluated medical schools (until 1942, when they combined their efforts and formed the Liaison Committee on Medical Education), the National Board of Medical Examiners (NBME) established the United States Medical Licensing Examinations, and state medical boards began to license practicing physicians.


Flexner 보고서는 Abraham Flexner를 국가적으로 유명하게 만들었고 John D. Rockefeller 재단의 총 교육위원회 (General Education Board)의 비서로 새로운 직책을 수행했습니다. 상당한 금액의 자선 기금을 의과 대학에 보급함으로써 그는 표준을 향상시키고 학교의 교육 프로그램을 direct 할 수 있었습니다 .5 이러한 모든 노력의 결과로, 루드머어 (Ludmerer)에 따르면, 1차 세계대전 시기에 이르면 과학 지향적인 대학 기반 의과대학 및 교육 병원이 표준이 되었으며, 이것은 미국의 의학 교육에서 최초의 주요 변형이며, 종종 "플렉스너 혁명 (Flexnerian Revolution)"이라고도 불린다.

The Flexner Report propelled Abraham Flexner to national prominence and a new position as the secretary of the General Education Board of the John D. Rockefeller Foundation. By directing substantial amounts of philanthropic funds to medical schools, he was able to upgrade standards and direct the course of the schools’ educational programs.5 As a result of all of these efforts, the scientifically oriented, university-based medical school and teaching hospital became the normby the start of World War I. According to Ludmerer,5 this was the first major transformation in American medical education and is often referred to as the “Flexnerian revolution.”


2010년의 개혁을 요구한 전조

Precursors to the Call for Reform in 2010


제 1 차 세계 대전에서 제 2 차 세계 대전에 이르기까지 교육 사명이 최우선이었고 환자 관리와 교육을 통합하는 Flexnerian 모델이 널리 보급되었습니다. 연구는 환자의 신중한 관찰과 실험실에서의 환자 지향적인 조사 작업에 크게 기인 한 것이기 때문에, 환자 간호, 연구, 교육이 모두 연결되었습니다 .6 다음 수십 년 동안 대학의학에서 두 가지 추가 혁명이 발생했습니다. 하나는 생물 의학 연구의 혁명이며, 다른 하나는 임상 실습이 megabusiness로 변모한 것이다. 이들 각각은 다른 의과 대학 미션을 요구했다.

From World War I to World War II, the education mission was paramount and the Flexnerian model of integrating patient care and teaching was widespread. Patient care, investigation, and teaching were all connected because research was based in large part on careful observations of patients as well as patient-oriented investigative work in the laboratory.6 Over the subsequent decades, two additional revolutions in academic medicine occurred: the revolution in biomedical research and the transformation of clinical practice into megabusiness. Each of these encouraged the ascendancy of a different medical school mission.


제 2 차 세계 대전 이후, 이러한 혁명의 첫 번째 사건이 생겨났고, 생의학 연구의 부상이 일어났습니다. 이것은 두 가지 힘의 결과로 발생했다 : 국립 보건원 (National Institutes of Health)의 급속한 확장과 의대가 대학에 통합된 것; 그 결과 "publish or perish"의 문화가 등장하였다. 연구가 점점 더 복잡 해짐에 따라 연구실 교수진은 환자를 계속 가르치고 관찰하는 것이 점점 더 어려워지고 있음을 발견했습니다. 유사하게, 임상 교사들은 더 이상 최첨단 wet lab연구를 수행 할 수 없었습니다. 따라서 실험실과 침상 옆을 오가는 임상의라는 Flexner의 이상은 퇴색하기 시작했습니다.

After World War II, the first of these revolutions took place, the rise of biomedical research. This occurred as a result of two forces: the rapid expansion of the National Institutes of Health and the incorporation of medical schools into universities; together, these resulted in an intensifying culture of “publish or perish.” As research became increasingly molecular in nature, laboratory-based faculty found it more and more difficult to continue teaching and seeing patients; similarly, clinical teachers were unable to conduct leading-edge wet lab research. Thus, Flexner’s ideal of the clinician– investigator who went back and forth from the laboratory to the bedside began to fade.


또 다른 혁명은 임상 혁명이 메가 비즈니스로 변모한 것으로, 1965 년 메디 케어와 메디 케이드의 통과와 함께 시작되었습니다. 의료는 엄청나게 확대되었으며, 의과 대학의 주요 수입은 교수진이 창출 한 임상 실습 수익이되었습니다. 이후 수십 년 동안 교수진의 임상 생산성 요구가 증가하고, 이는 계속해서 교육을 위한 시간을 줄여놓거나 심지어 제거했습니다 .5 오늘날 의과 대학생들은 주로 환자와 환자가있는 급성 환자의 맥락에서 레지던트가 가르치고 있습니다. 직원은 자주 바뀌고 환자 진료의 핵심 참가자들 간에는 거의 연속성이 없습니다. 결과적으로 의학 교육은 Flexner가 상상하지 못했던 새로운 과제에 직면하게됩니다.

The other revolution, the transformation of clinical practice into megabusiness, began in 1965 with the passage of Medicare and Medicaid. Medical faculties expanded dramatically, and the primary income for medical schools became clinical practice revenue generated by the faculty. Over succeeding decades, the clinical productivity demands on the faculty increased and continued to do so, compressing or even eliminating time for teaching.5 Today, medical students are being taught primarily by residents in the context of acutely ill patients on inpatient services where patients and staff change frequently and there is little continuity between the key participants in patient care. As a result, medical education faces a new set of challenges unimagined by Flexner.




현대의 카네기 연구 

The Contemporary Carnegie Study of Medical Education


오래된 모델을 기반으로 하더라도, 커리큘럼, 교육학, 평가에 대한 새로운 비전을 제시하는 새로운 모델이 필요합니다.

A new model is needed that builds on the old but offers a new vision for curriculum, pedagogy, and assessment.


우리가 21 세기 초 미국의 의학 교육에 대해 생각할 때, 우리는 플렉스너처럼 마찬가지로 그것이 부족하다는 것을 알게됩니다

  • 의학 교육은 유연성이없고 지나치게 길며 학습자 중심이 아닙니다. 

  • 학생과 레지던트 모두를 위한 임상 교육은 사실적 지식의 숙달, 입원 임상 경험, 레지던트에 의한 교육, 가르치는 시간이 줄어든 임상 교수에 의한 감독, 교육 임무를 지원 의지나 능력에 한계에 도달한 병원을 과도하게 강조합니다. 

  • 우리는 공식 지식과 경험 학습과 환자 집단, 의료 전달, 환자 안전 및 품질 향상에 대한 부적절한 관심 사이의 연관성을 관찰했습니다. 

  • 학습자는 환자 경험에 대한 총체적인 시각이 부족하고 의사의 광범위한 시민 및 옹호 역할을 제대로 이해하지 못합니다. 

  • 마지막으로, 건강 관리의 속도와 상업적 성격은 종종 직업의 근본 가치에 대한 가르침을 방해합니다.

As we reflect on medical education in the United States at the beginning of the 21st century, we find, like our famous forbearer, that it is lacking. 

  • Medical training is inflexible, overly long, and not learner-centered. 

  • Clinical education for both students and residents excessively emphasizes mastery of facts, inpatient clinical experience, teaching by residents, supervision by clinical faculty who have less and less time to teach, and hospitals with marginal capacity or willingness to support the teaching mission. 

  • We observed poor connections between formal knowledge and experiential learning and inadequate attention to patient populations, health care delivery, patient safety, and quality improvement.

  •  Learners lack a holistic view of patient experience and poorly understand the broader civic and advocacy roles of physicians. 

  • Finally, the pace and commercial nature of health care often impede the inculcation of fundamental values of the profession.


우리의 연구는 재단이 위임 한 직업을 준비하는 데 더 큰 규모의 일을하고 있습니다. 책으로 출판 된 동반자 연구는 성직자 교육, 변호사, 엔지니어, 간호사를 대상으로합니다.

Our study is part of a larger body of work on preparation for the professions commissioned by the foundation. The companion studies, published as books, address the education of clergy,7 lawyers,8 engineers,9 and nurses.10


우리는 2005 년과 2006 년에 미국에서 11 개의 의과 대학과 3 개의 비-대학 교육 병원 *을 연구했습니다. Flexner와 달리 우리의 목적은이 기관의 교육 프로그램을 평가하는 것이 아니라 혁신과 도전으로부터 배우는 것입니다.

We studied 11 medical schools and three nonuniversity teaching hospitals* in the United States in 2005 and 2006. In contrast to Flexner, our purpose was not to evaluate educational programs at these institutions but, rather, to learn from their innovations and challenges.




핵심 결과와 권고

Key Findings and Recommendations


우리는 다음과 같은 의학 교육 시스템을 그린다.

  •     표준화 된 결과를 달성하는 과정에서 유연성을 극대화하고,

  •     통합 및 협업 학습 기회를 창출하며,

  •     질의와 개선의 습관을 가르치고

  •     학생 및 레지던트 professional formation을 위한 학습 환경을 제공합니다. 

  •     환자와 환자 집단의 건강을 진전시킨다.

We envision a medical education system that

  •    maximizes flexibility in the process of achieving standardized outcomes,

  •    creates opportunities for integrative and collaborative learning,

  •    inculcates habits of inquiry and improvement, and

  •    provides a supportive learning environment for the professional formation of students and residents— while at the same time it

  •    advances the health of patients and patient populations.



표 2는 네 가지 주제와 관련된 주요 결과를 요약합니다.

  •     학습 결과를 표준화하고 학습 과정을 개별화하십시오.

  •     공식적인 학습을 임상 경험과 통합하십시오.

  •     모든 수준의 의학 교육에 대한 조사 및 개선 습관을 개발하십시오.

  •     전문적인 정체성의 점진적 형성에 중점을 둡니다.

Table 2 summarizes our key findings associated with four themes:

  •    Standardize learning outcomes and individualize the learning process.

  •    Integrate formal learning with clinical experience.

  •    Develop habits of inquiry and improvement into medical education at all levels.

  •    Focus on the progressive formation of professional identity.




표준화와 개별화

Standardization and individualization


의학 교육은 역사적으로 교과 과정의 길이와 구조에 대한 인정 기준을 표준화했습니다. 다른 많은 사람들과 마찬가지로, 우리는 의학 교육이 학습 결과와 일반 역량을 표준화해야하고, 학생과 레지던트를 위한 학습 경험을 개별화 할 수있는 더 많은 옵션을 제공해야한다고 주장합니다. 역량을 지정하고 평가함으로써 높은 표준을 달성하면서, 학습 과정에 유연성을 부여하고, 조기에 역량을 얻을 수있는 사람에게는 지나치게 긴 교육 과정을 단축 할 수 있어야 한다.

Medical education has historically standardized accreditation standards on the length and structure of the curriculum . Like many others, we argue that medical education should standardize learning outcomes and general competencies and then provide greater options for individualizing the learning experience for students and residents. By specifying and assessing competencies, high standards can be achieved while affording greater flexibility in the learning process and shortening the overly long educational process for those who can achieve competence early.


개별화는 학생과 레지던트가 다양한 배경, 경험 및 전문 지식을 가지고 도착한다는 것을 인정합니다. 그러나, 종종 학생들이 의대를 시작하면, 그들이 가지고있는 지식과 경험은 무시됩니다. 타인의 삶의 질을 향상시키고 과학을 사용하는 데 대한 관심이 중요한 동기 부여요인이 된다. 우리의 주장은 학생과 레지던트에게 의학을 배우고 자신의 특정 관심 분야를 추구하고, 풍부한 교육 경험을 만들어 내고, 결과적으로 더 광범위하게 훈련 된 의사를 양성 할 수있는 기회를 더 많이 제공 할 수 있다는 것입니다. 이 모델은 일부 학생과 레지던트가 다른 사람들보다 빨리 숙달을 달성할 수 있음을 가정하고 있으며, 이 경우 심층적인 관심 주제를 추구하거나 다음 단계로 빠르게 진행할 수 있어야합니다.

Individualization acknowledges that students and residents arrive with diverse backgrounds, experiences, and expertise. Yet, when students begin medical school, the knowledge and experience they bring with them are often disregarded. Their commitment to improving the quality of life of others and their interest in using science to do so are important sources of motivation. Our contention is that we can offer students and residents more opportunities to both learn medicine and also pursue areas of special interest, creating a richer educational experience and producing a more broadly trained physician as a result. This model assumes that some students and residents will achieve mastery sooner than others and should be allowed to pursue topics of interest in extra depth or to proceed more rapidly to the next stage of training.


표준화 및 개별화와 관련하여 다음을 권장합니다.

    •   의학 교육의 궤적에 걸쳐 엄격하고 점차적으로 높은 수준의 역량을 수립하고 학생들이 각자의 속도로 진보 할 수 있도록 다양한 조치를 사용하여 여러 영역에서 여러 영역을 평가하십시오.

    •   레벨 내에서 레벨에 관계없이 학습을 개별화하여 학습 방법에 유연성을 부여하고 학생들이 역량 획기적 인 목표를 달성 할 수있는 기회를 제공합니다.

    •   공공 보건 및 옹호, 세계 보건, 의학 교육, 임상 및 번역 연구, 분자 의학 등의 분야에서 연구자 및 혁신가와 함께 일할 수있는 관심 분야 및 기회가있는 선택 프로그램을 학생과 거주자에게 제공하십시오.

We recommend the following related to standardization and individualization:

    •   Establish rigorous and progressively higher levels of competency across the trajectory of medical education and assess multiple domains in many settings using a variety of measures so that students can progress at their own pace.

    •   Individualize learning within and across levels, allowing flexibility in approaches to learning and the opportunity to progress as students achieve competency milestones.

    •   Offer elective programs around areas of interest and opportunities for students and residents to work with researchers and innovators in such areas as public health and advocacy, global health, medical education, clinical and translational research, and molecular medicine.


공식적 학습과 임상 경험의 통합

Integration of formal learning with clinical experience


우리는 통합이라는 단어를 기초, 임상 및 사회 과학에 대한 공식 지식을 임상 경험과 통합하는 것을 의미하며, 오늘날보다 훨씬 더 균형 잡힌 방식을 뜻한다

    • 이는 의대생이 조기에 임상에 참여해야하며, 레지던트는 과학에 대한 더 많은 노출과 자신의 의료행위를 뒷받침하는 최선의 증거가 있어야 함을 의미합니다. 

    • 통합은 또한 지식, 경험을 사용하여 환자, 환자의 경험 및 치료를보다 전체적으로 이해하는 것을 포함합니다. 

    • 마지막으로, 플렉스너의 개념보다 더 넓은 의미에서, 우리는 의사가되는 것과 관련된 여러 가지 전문적인 역할과 책임을지는 학습로 통합을 이해할 수 있습니다. 의사는 다양한 역할을 수행하기 때문에 학생과 레지던트는 전문적인 적성, 목표, 정체성 및 교육적 경험에 이러한 추가 역할을 통합해야합니다.

We use the word integration to refer to the integration of formal knowledge of the basic, clinical, and social sciences with clinical experience in a much more balanced manner than is true today. 

    • This means that medical students should be provided early clinical immersion and residents should have more intense exposure to the sciences and best evidence underlying their practices. 

    • Integration also includes using that knowledge and experience to understand patients, their experiences, and their care more holistically. 

    • Finally, in a sense of the word that is broader than Flexner’s concept, we see integration as learners taking on the multiple professional roles and commitments associated with being a physician. Because physicians performa variety of roles, students and residents should integrate those additional roles into their professional aptitudes, goals, identities, and educational experiences.


우리는 통합과 관련하여 다음과 같은 권고안을 제시합니다.

    •   조기 임상 집중과 보다 진보된 학습자가 성찰하고 연구 할 수 있는 적절한 기회를 비롯한 임상 경험과 공식적인 지식을 연결하십시오.

    •   기초, 임상 및 사회 과학을 통합합니다.

    •   환자와의 장기적인 연관성을 비롯하여 환자의 질병 및 치료 경험에 대한보다 포괄적 인 시각을 가지고 모든 수준의 학습자를 참여시킵니다.

    •   교육자, 옹호자, 지도자 및 연구자를 포함한 의사의 광범위한 전문적 역할을 학습자가 경험할 수있는 기회를 제공하십시오

    • IPE 및 팀워크를 커리큘럼에 통합하십시오.

We make the following recommendations related to integration:

    •   Connect formal knowledge to clinical experience, including early clinical immersion and adequate opportunities for more advanced learners to reflect and study.

    •   Integrate basic, clinical, and social sciences.

    •   Engage learners at all levels with a more comprehensive perspective on patients’ experience of illness and care, including more longitudinal connections with patients.

    •   Provide opportunities for learners to experience the broader professional roles of physicians, including educator, advocate, leader, and investigator.   Incorporate interprofessional education and teamwork in the curriculum.


탐구와 개선의 습관

Habits of inquiry and improvement


평생에 걸쳐 수월성을 촉진하기 위해서는 의사는 탐구, 발견 및 혁신에 종사해야합니다.

To promote excellence throughout a lifetime of practice, physicians-in- training should be engaged in inquiry, discovery, and innovation.


질의 및 개선을위한 교육은 일상적인 전문성을 뛰어 넘어 학습자의 능력capabilities을 확장시켜야 함을 제안합니다. 실제 "테이퍼 오프tapering off"또는 자만심을 방지하는 핵심은 어렵거나 모호한 문제를 탐구하고 해결하는 데 필요한 노력을 투자하는 것이다. 연구는 [탐구와 개선을 촉진하는 habits of mind]가 [일상적인 전문성 개발]뒤에 따로 이뤄지는 것이 아니라 함께 개발되어야 한다는 것을 제시한다.

We suggest that training for inquiry and improvement requires moving beyond routine expertise to stretch the capabilities of the learner. The key to preventing “tapering off” or complacency in practice seems to be investing the effort needed to explore and address difficult or ambiguous problems. Research suggests that the habits of mind that foster inquiry and improvement must be developed alongside the development of routine expertise rather than after it.12


교과 과정 개혁을 위한 이 함의는 적응력있는 전문성adaptive expertise과 그것의 습득에 대해 명시적으로 가르치고, 새로운 전략과 솔루션을 개발하기 위해 사전 지식과 기술을 적용하거나 재구성해야하는 새롭거나 익숙하지 않은 문제 또는 상황으로 학습자를 도전하는 것입니다. 현장 작업에서 자주 본 사례는 학생들과 레지던트가 품질 개선 프로젝트에 참여한 사례입니다.

The implications of this for curriculum reform might be to explicitly teach about adaptive expertise and its acquisition and to challenge learners with new or unfamiliar problems or circumstances that require adaptation or reconfiguration of prior knowledge and skills to develop new strategies and solutions. An example we saw frequently in our field work was the participation of students and residents in quality improvement projects.


조사 및 개선의 습관을 기르기 위해 다음을 권장합니다.

    •   학습자가 일상적 전문성과 적응적 전문성을 모두 얻을 수 있도록 준비하십시오.

    •   학습 문제를 해결하기 위해 학습자를 참여시키고 질문, 혁신 및 치료 개선에 진정으로 참여할 수 있도록합니다.

    •    인구 건강, 품질 향상 및 환자 안전에 중점을 둔 학습 활동에 참여하십시오.

    •    대학 교육 병원뿐만 아니라, 양질의 환자 치료가 제공되는 환경에서 임상 교육이 이뤄지게 한다.

To develop habits of inquiry and improvement, we recommend the following:

    •   Prepare learners to attain both routine and adaptive forms of expertise.

    •    Engage learners in challenging problems, and allow them to participate authentically in inquiry, innovation, and improvement of care.

    •    Engage learners in initiatives focused on population health, quality improvement, and patient safety.

    •    Locate clinical education in settings where quality patient care is delivered, not just in university teaching hospitals.


전문직 정체성 형성

Formation of professional identity


의학 교육은 의학을 배우는 것 이상입니다. 그것은 근본적으로 헌신적인 의사가되는 것에 관한 것입니다. 따라서 의사의 전문적 정체성 형성 - 전문적인 가치관, 행동 및 열망의 개발 -이 의학 교육의 주요 초점이되어야합니다. 의사의 전문적 정체성 형성은 다른 세 가지 주제의 통합을 포함합니다.

Medical education goes beyond learning medicine; it is fundamentally about becoming a dedicated physician. Therefore, the professional identity formation of physicians—meaning the development of their professional values, actions, and aspirations—should be a major focus of medical education. Formation of the professional identity of the physician includes the integration of our other three themes.


형성, 성직자 연구에서 동료들로부터 빌린 용어이며, 

    • 지식, 이해 및 숙련 된 성과를 확장시킴으로써expanding 전문가가되는 과정을 포함한다

    • 직업의 다른 구성원, 특히 경험 많은 다른 사람들과의 교제를 통해; 

    • 직업의 가치와 성향disposition에 대한 헌신을 habit of mind로 심화시킴으로써.

Formation, a term borrowed from our colleagues in the study of clergy,7 involves the process of becoming a professional 

    • through expanding one’s knowledge, understanding, and skillful performance; 

    • through engagement with other members of the profession, particularly more experienced others; and 

    • by deepening one’s commitment to the values and dispositions of the profession into habits of the mind and heart.


Arnold와 Stern은 의료 전문가로서의 발전에는 두 가지 요소가 있음을 제안합니다. 

    • 첫 번째는 세 가지 기본 영역을 숙달하는 것이다: 의학에서의 임상지식과 역량, 의사소통 기술, 법적 윤리적 책임

    • 이러한 기본 영역 외에도 열망aspiration이 있습니다. 목표란 그것을 추구할 수는 있지만 절대 도달하는 것이 아니기 때문에, 언제나 향상이 가능하다. 여기에는 우수성, 휴머니즘, 책임 성 및 애타주의가 포함됩니다.

Arnold and Stern13 suggest that one’s development as a medical professional has two elements. 

    • The first is demonstrating mastery in three foundational areas—clinical knowledge and competence in medicine, communication skills, and understanding the ethical and legal responsibilities of a physician. 

    • In addition to these foundational areas, there are aspirations: goals that are striven for but never achieved, as one can always improve. These include excellence, humanism, accountability, and altruism.


전문적인 정체성 형성의 발전을 위해서 필요한 것

    •   공식 윤리 강령, 스토리 텔링 및 심볼(명예 암호, 서약 및 백의 의식)를 제공하십시오.

    •    숨겨진 커리큘럼에 표현 된 기본 메시지를 다루고 임상 환경으로부터 espoused and enacted 가치를 맞추기 위해 노력합니다.

    •    장기 멘토링 및 조언의 맥락에서 전문성에 대한 피드백, 성찰 기회 및 평가.

    •    학습자를 동시에 지원하고 높은 수준으로 유지하는 교수진과의 관계를 촉진하십시오.

    •    우수성과 지속적인 개선을 위해 협업 학습 환경을 조성하십시오.


the following for the advancement of professional identity formation:

    •   Provide formal ethics instruction, storytelling, and symbols (honor codes, pledges, and white coat ceremonies).

    •    Address the underlying messages expressed in the hidden curriculum and strive to align the espoused and enacted values of the clinical environment.

    •    Offer feedback on, reflective opportunities for, and assessment of professionalism, in the context of longitudinal mentoring and advising.

    •    Promote relationships with faculty members who simultaneously support learners and hold them to high standards.

    •    Create collaborative learning environments committed to excellence and continuous improvement.



고찰

Discussion


우리가 바라는 변화를 달성하기 위해서는 의과 대학의 교수진, 병원, 프로그램 디렉터, 부서장 및 학장뿐만 아니라 의학 전문직 단체 및 정부의 지도자들에 대한 공동의 노력이 필요합니다. 우리의 권고 사항들 각각은 의료 교육의 재정, 규제, 인증 및 인정에있어서 국가 또는 국가 수준에서의 변화를 필요로하거나 최소한 촉진 할 것입니다. 의대 및 레지던트 프로그램이 성공적으로 혁신을하기 위해서는 의료 교육을 통제하거나 영향을 미치는 기금 제공자, 규제 기관 및 전문기구가이 개혁 노력에 적극적으로 참여해야합니다.

Achieving the changes we envision will require the concerted and combined efforts of faculty members in medical schools and teaching hospitals, program directors, department chairs, and deans as well as leaders of medical professions organizations and government. Each of our recommendations necessitates, or at a minimum would be facilitated by, changes at the state or national level in the financing, regulation, certification, and accreditation of medical education. For medical schools and residency programs to successfully innovate, the funders, regulators, and professional organizations that control or influence medical education must be actively engaged in this reform effort.


우리는 의학 교육의 핵심 인사가 미국의 의학 교육을 발전시키고 궁극적으로 대중의 건강을 위해 다음과 같은 7 가지 주요 단계를 수행 할 것을 제안합니다.

We propose that medical education’s keystakeholders take the following seven major steps to advance U.S. medical education and, ultimately, the health of the public: 



1. AAMC와 의과 대학은 예비 교육 과정 요구 사항과 입학 기준 및 과정을 수정하기 위해 함께 노력합니다.

1. The AAMC and medical schools work together to revise premedical course requirements and admission criteria and processes.


2. 인증, 인증 및 라이센스 기관은 함께 의료 교육의 연속체를위한 일관된 프레임 워크를 개발하고 표준 조정 및 관할권 분쟁 해결을위한 효과적인 메커니즘을 수립합니다.

2. Accrediting, certifying, and licensing bodies together develop a coherent framework for the continuumof medical education and establish effective mechanisms to coordinate standards and resolve jurisdictional conflicts.


3. 교육 병원 및 레지던트 프로그램의 이사는 환자 개호와 임상 교육을 조정하여 두 가지를 향상시키고 실습 요건에 부합하는 교육 프로그램을 개발합니다.

3. CEOs of teaching hospitals and directors of residency programs align patient care and clinical education to improve both and to develop educational programs that are consistent with practice requirements.


4. 의과 대학 학장과 교육 병원의 CEO는 재정 지원, 멘토링, 교수 개발, 인정 및 학업 향상을 제공하여 교수진의 교육 사명을 지원합니다.

4. Deans of medical schools and CEOs of teaching hospitals support the teaching mission of the faculty by providing financial support, mentoring, faculty development, recognition, and academic advancement.


5. 의과 대학의 학장과 교육 병원의 CEO는 협력하여 의료 교육을위한 자금을 투명하고 공정하게 조정하고 의과 대학 및 교육 병원의 임무에 맞 춥니 다.

5. Deans of medical schools and CEOs of teaching hospitals collaboratively make funding for medical education transparent, fair, and aligned with the missions of both medical schools and teaching hospitals.


6. AAMC, AMA, 대학원 의학 교육 (ACGME), 의학 전문 사회 및 의과 대학의 인증위원회는 의료 교육의 인프라, 혁신 및 연구를 지원하기위한 지속적인 개인, 연방 및 주 예산 공약을지지합니다.

6. The AAMC, AMA, Accreditation Council for Graduate Medical Education (ACGME), medical specialty societies, and medical schools be advocates for sustained private, federal, and state funding commitments to support infrastructure, innovation, and research in medical education.


7. AAMC, AMA, ACGME, 의학 전문 사회 및 의과 대학은 미국의 의료 인력 정책 개발에 협력합니다. 이러한 노력은 의료 교육 비용, 훈련 기간 및 인구의 필요를 충족시키기 위해 전문의와 전문의가 혼합 된 국가가 될 수있는 실무 생존 능력을 다루는 다양한 중재를 가져와야합니다.

7. The AAMC, AMA, ACGME, medical specialty societies, and medical schools collaborate on the development of a medical workforce policy for the United States. This effort should result in a variety of interventions addressing the cost of medical education, length of training, and practice viability that will ensure that the country has the mix of specialty and subspecialty physicians to meet the needs of the population.





 2010 Feb;85(2):220-7. doi: 10.1097/ACM.0b013e3181c88449.

Calls for reform of medical education by the Carnegie Foundation for the Advancement of Teaching1910 and 2010.

Author information

1
Department of Medicine, UCSF School of Medicine, San Francisco, California 94143-0410, USA. irbyd@ucsf.edu

Abstract

The Carnegie Foundation for the Advancement of Teaching, which in 1910 helped stimulate the transformation of North American medical education with the publication of the Flexner Report, has a venerated place in the history of American medical education. Within a decade following Flexner's report, a strong scientifically oriented and rigorous form of medical education became well established; its structures and processes have changed relatively little since. However, the forces of change are again challenging medical education, and new calls for reform are emerging. In 2010, the Carnegie Foundation will issue another report, Educating Physicians: A Call for Reform of Medical School and Residency, that calls for (1) standardizing learning outcomes and individualizing the learning process, (2) promoting multiple forms of integration, (3) incorporating habits of inquiry and improvement, and (4) focusing on the progressive formation of the physician's professional identity. The authors, who wrote the 2010 Carnegie report, trace the seeds of these themes in Flexner's work and describe their own conceptions of them, addressing the prior and current challenges to medical education as well as recommendations for achieving excellence. The authors hope that the new report will generate the same excitement about educational innovation and reform of undergraduate and graduate medical education as the Flexner Report did a century ago.

PMID:

 

20107346

 

DOI:

 

10.1097/ACM.0b013e3181c88449


의과대학의 교육과정 변화: 어떻게 성공할 것인가(Acad Med, 2000)

Curricular Change in Medical Schools: How to Succeed

Carole J. Bland, PhD, Sandra Starnaman, PhD, Lisa Wersal, MA, Lenn Moorhead-Rosenberg, PhD, Susan Zonia, PhD, and Rebecca Henry, PhD




검색 과정

THE SEARCH PROCESS


이 검토를 위해 적절한 출처를 모으기 위해 미네소타 대학의 교육 정책 및 행정학 교수 인 카렌시 쇼어 루이 (Karen Seashore Louis)가 교육 과정 전문가의 지시를 먼저 받았다. 그녀는 일반적으로 조직 변화와 교육적 변화에 대한 기초를 제공하기 위해 유치원부터 12 학년 (K-12)까지 학교 및 조직 설정의 변화에 ​​대한 자료를 안내했습니다. 그 근원은 그들의 참고 목록을 통해 다른 사람에지도했다.


In gathering appropriate sources for this review, we first sought direction from an expert in the field of curricular change, Karen Seashore Louis, professor of educational policy and administration at the University of Minnesota. She guided us to literature on changes in school and organizational settings from kindergarten to the twelfth grade (K–12) to provide grounding in organizational change in general, and educational change in particular. Those sources led to others via their bibliographies.


연구 결과 프레임워크

FRAMEWORK FOR OUR FINDINGS


이 리뷰에서 우리가 적용하는 용어와 그 의미를 분명히합니다. 특정 변화 단계를 설명하기에 적합한 경우 다음 용어를 사용합니다.

we clarify the terms and their meanings that we apply in this review. When it is appropriate to explicate a particular stage of change, we use the following terms: 



계획. 이 단계에서 변화의 필요성이 수립되고 변화에 대한 비전이 수립되며 변화에 대한 조직적 맥락이 고려됩니다.

Planning. During this stage, the need for change is established, a vision for change is designed, and the organizational context for change is considered.


개시 (동원 또는 도입이라고도 함). 계획을 수립하고 일반적으로 약 1 년 동안 지속되는 입문 과정에서 오랜 조직 패턴의 '해체'와 직장이나 교육 환경에 대한 혁신 도입을 관찰하게됩니다.

Initiation (also referred to as mobilization or adoption). During initiation, which follows planning and generally lasts about a year, one would observe the ‘‘unfreezing’’ of old organizational patterns and the introduction of the innovation into the workplace or education environment.


이행. 이 단계는 일반적으로 개시 이후 제도화로 이어지는 년을 의미합니다. 이 기간 동안 혁신은 시행 착오를 통해 수정 및 조정을 받아 직장이나 교육 환경에서 지속적으로 실용화되고 있습니다.

Implementation. This stage typically refers to the years following initiation and leading up to institutionalization. During this time the innovation continues to be put into practice in the workplace or education environment, acquiring modifications and adjustments through trial and error.


제도화. 이 단계는 혁신이 조직 행동의 새로운 질서가 된 때를 의미합니다. 조직의 구성원이 혁신 목표를 더 이상 '새로운'방식으로 언급하지 않고 오히려 '우리가 일을 하는 방식'이라고 지칭 할 때입니다. 이 시기는 때로는 초기의 바람직하지 못한 행동패턴의 unfreezing과 대조하여 "freezing" 시간이라고 부릅니다. 

Institutionalization. This stage refers to the time when the innovation has become the ‘‘new order’’ of organizational behavior. It is the time when the organization’s members no longer refer to the innovation objectives as the ‘‘new’’ way of doing things, but rather refer to them as, ‘‘the way we do things.’’ It is sometimes called a time of ‘‘freezing’’ desired behaviors, in contrast to the ‘‘unfreezing’’ of undesired behavior patterns in the initiation stage.


요인들을 세 가지 그룹으로

Thus, we cluster the factors into three groups:



맥락. 여기에는 변경을 용이하게하는 조직에있는 특성이 포함됩니다. 이 클러스터에서 논의되는 요소는 사명과 목표, 조직의 변화의 역사, 정치 및 조직 구조입니다.

Context. This includes characteristics present in the organization that facilitate change. Factors discussed in this cluster are mission and goals, history of change in the organization, politics, and organizational structure.


교육과정. 여기에는 커리큘럼 자체와 관련된 특성이 포함됩니다. 여기서 논의되는 요소는 변화의 필요성과 혁신의 범위와 복잡성입니다.

Curriculum. This includes characteristics pertinent to the curriculum itself. Factors discussed here are the need for change and the scope and complexity of the innovation.


프로세스. 프로세스에는 커리큘럼 변경을 구현하는 프로세스와 관련된 특성이 포함됩니다. 논의되는 요인은 협력 적 기후, 조직 구성원의 참여, 의사 소통, 인적 자원 개발, 평가, 성과 저하 (즉, 새로운 프로그램이 시행됨에 따라 조직의 성과가 일시적으로 감소 함) 및 리더십입니다.

Process. Process includes characteristics that relate to the process of implementing curricular change. Factors discussed are cooperative climate, participation by organization members, communication, human resource development, evaluation, performance dip (i.e., the temporary decrease in an organization’s performance as a new program is implemented), and leadership.


마지막으로 성공적인 혁신 - 교과 과정 또는 다른 방식 -의 특성 중 하나는 혁신을 구현하는 데 사용 된 혁신과 전략이 조직과 환경의 맥락에 적절해야한다는 것입니다. 이러한 이유에서 특정 기업 또는 교육 환경에 기반한 조직 변화에 대한 대부분의 연구는 결과가 다른 조직으로 반드시 이전transfer 가능하다고 주장하지 않습니다. 그럼에도 불구하고 우리는 성공적인 변화 노력과 관련된 특성과 관련하여 학문 분야 및 환경 전반에서 현저한 일관성을 발견했습니다.

Finally, it is important to mention that one of the characteristics of successful innovation—curricular or otherwise —is that the innovation and strategies used to implement it must be appropriate to the context of the organization and its environment. For this reason, most studies of organizational change, be they based on corporate or educational settings, do not claim that their results are necessarily transferable to other organizations. Still, we found remarkable consistency across disciplines and settings with regard to the characteristics associated with successful change efforts.



OUR FINDINGS


13개 카테고리, 35개 특징들

The review revealed 13 categories in which 35 features of successful curricular change were consistently reported.


Brief Descriptions of 35 Features of Successful Curricular Change, in 13 Categories


CONTEXT


Mission and Goals


Successful innovations must be compatible with the institution’s mission, goals, and educational philosophy.


History of Change in the Organization


Educational institutions with a history of effective change are more likely to implement new innovations successfully.


Politics


Internal Networking


Successful change efforts are characterized by:

(a) having a strong, influential advocate at the forefront of the change effort.

(b) gaining the ‘‘buy in’’ of powerful individuals or factions of the organization.


Informal networks are often the preferred means of negotiation of power issues in medical schools.


Resource Allocation


When external funds are used to initiate change projects, care must be taken to ensure that support for the change effort continues once the initial external support runs out.


External Relationships/Support


External support from foundations is a common means of funding curricular change efforts in medical settings. Tracking the innovation’s success is useful in leveraging funds for the continuation of the program.


Organizations are advised to link their proposed innovations to the interests and needs of their constituents. Identifying mutual goals, committing to a shared vision, and establishing communication protocols between external bodies and the organization increase the effectiveness of innovative efforts.


Organizational Structure


Organizations with high interaction, connection, and networks of participatory teams are better able to accomplish broad change than ‘‘segmental,’’ ‘‘departmentalized,’’ or ‘‘loosely coupled’’ organizations.


Organizations with segmental structures can accomplish curricular change by utilizing cross-departmental teams and thereby partially bypassing departmental control.


CURRICULUM


Need for Change


In order for change to occur and be lasting, there needs to be widespread agreement that the innovation is relevant to the real problems that potential users currently experience.


Scope and Complexity of the Innovation


Avoid the extremes of trivial trial projects or overly ambitious undertakings. A balanced approach that engages the organization members’ commitment and support will be most successful.


Successful innovations are large enough to justify the human and financial costs of the effort, but not so large as to lead to distortion of the innovation or only partial institutionalization.


PROCESS


Cooperative Climate


The importance of a positive, respectful work climate to successful curricular change cannot be overstated.


Features of change-conducive environments include interpersonal respect, support, and cohesion balanced by constructive criticism and high professional expectations.


Change-conducive organizations are also characterized by collaborative problem solving, rewards for risk taking, and skillful conflict resolution.


Participation by the Organization’s Members


As organization members invest themselves in the project through their participation, they strengthen their collective ownership of the project and deepen their commitment to see the innovation through to completion.


Public opportunities to declare agreement with the innovation help build the group’s resolve to move forward. Faculty forums, retreats, orientations, problem-solving teams, and committees are examples of means through which to invite faculty involvement.


Communication


Successful innovation is fostered by frequent, timely, substantive, and forthright communication that is shared in a variety of verbal and written forms, both formal and informal.


Communication among participants contributes to the coalescence of a shared meaning and a unified purpose.


It is vital for the change leader to be visible, proactive, and responsible in communicating a clear vision. The leader should also provide regular updates on the group’s progress toward stated goals.


Two forms of communication found to be especially effective in medical schools are face-to-face interaction and demonstration of proposed teaching practices.


Allowing dissenters to air objections and concerns invites participation, establishes trust, affirms risk taking, may uncover legitimate concerns, and deepens individuals’ investments in the change process.


Sharing insights and reflections on the innovation process during the final institutionalization stage helps recharge waning group energies. Institutionalization is also a time to reach out to newcomers and cultivate new leaders.


Human Resource Development


Training Support


For change efforts to be most effective, the organization must be attentive to the particular needs that arise as members move through the change process. Support provided should be appropriate to the culture of the school and the nature of the innovation.


Training support must be ongoing and of high quality. As follow-up practices to in-service training, peer coaching and team problem solving will significantly enhance the implementation of new behaviors.


Leadership training is necessary for continued cultivation of new leaders, especially in settings where personnel may not have previously needed to develop leadership skills.


New organization members must be ‘‘brought up to speed’’ on the innovation process, so they do not inadvertently weaken or disrupt progress already made.


Reward Structure


The organization’s reward structure must include incentives that reward participation in the innovation.


In medical settings, approaching curricular change as an ‘‘experiment’’ elevates the innovation in the eyes of participants to a process deserving of the organization’s investment of effort and resources.


Evaluation


An evaluation done well serves to legitimize the innovative process by holding it to standards of analysis that the faculty regard as valid and meaningful.


Formative evaluation is useful in locating difficulties and solving problems, in fostering open communication and a cooperative climate, and in renewing commitment to and ‘‘ownership’’ of the project.


Performance Dip


As a new program is implemented, a period of decline in organizational performance often occurs. During this time, strategies that lead to successful innovation include acknowledging grieving over losses associated with the old curriculum, celebrating successes, providing professional assistance, making minor adjustments in the process, and continuing to monitor progress toward organizational goals.


Leadership


Leadership in General


Stable leadership is positively associated with successful innovation.


Leadership Characteristics and Behavior


Essential characteristics of effective change leaders are to utilize assertive participative and cultural/value-influencing behaviors, to be ‘‘flexible,’’ to view the organization through a variety of perceptual ‘‘frames,’’ and to mobilize others to maintain the change momentum.


Leaders’ Advocacy of Organizational Vision


Leaders must effectively communicate and promote the organization’s shared vision for curricular change.


맥락

Context


맥락이 달라지면 유사한 조직조차도 다른 혁신의 길을 택하게 된다.

Even similar organizations in different contexts take different paths in innovation.


미션과 목적

Mission and goals.


조직의 기본 신념과 가치는 조직의 사명과 목표로 표현됩니다. 성공적인 혁신은 기관의 표현 된 가치, 신념 및 목적과 양립해야합니다. 교육 설정에서 학교의 사명과 목표,지지 된 교육 철학 및 교육 기관의 문화는 변화를 계획 할 때 고려해야 할 필수 요소입니다 .2,10-13

The underlying beliefs and values of an organization are expressed in its mission and goals. Successful innovations must be compatible with the institution’s expressed values, beliefs, and purposes. In educational set-tings, the mission and goals of the school, the espoused educational philosophy, and the institution’s culture are all essential components to consider when envisioning a change.2,10–13


로스와 파인 버그 (Ross and Fineberg)의 10 개 의과 대학에 대한 민족 지학 연구의 결과는 미션와 기관 문화, 혁신 사이의 밀접한 유대를 잘 보여주고있다 .14)이 연구자들은 보다 집중된 미션를 가진 소규모의 의과 대학 (예를 들어, generalist practitioners의 양성)이 보다 포괄적 인 사명을 가진 더 큰 학교보다 기관 차원의 혁신을 더 쉽게 구현할 수 있습니다. 학교가 클수록 더 좁은 범위의 혁신을 도입 할 가능성이 더 컸다. Ross와 Fineberg는 대형 학교는 전문 분야에서의 훈련, 다양한 연구 노력 및 병원 요원 배치와 같은 여러 가지 임무를 추구한다는 사실에 기인합니다. 각 부서는 기관 내에 고유 한 사명을두고 있으며, 각 기관은 사명을 수행함에있어 상당한 자치를 누리고 있습니다. (큰 대학처럼) 각 부서가 전문적인 목표를 추구하는 데있어 독립적으로 운영되는 환경에서는 교수진의 관심을 기관 차원의 혁신에 집중하는 것이 더 어렵습니다.

The results of an ethnographic study of ten medical schools by Ross and Fineberg exemplify the close ties between mission, institutional culture, and innovation.14 These investigators found that the smaller medical schools in their study, which had more focused missions (to prepare generalist practitioners, for example), could more readily implement institution-wide innovations than could larger schools with more comprehensive missions. The larger schools were more likely to introduce innovations of narrower scope. Ross and Fineberg attributed this to the fact that larger schools pursue a plurality of missions, including training in specialty practices, a variety of research efforts, and staffing of hospitals. Each department then has its own unique mission(s) within the institution, and each enjoys considerable autonomy in carrying out its mission(s). In such settings, where departments operate quite independently in pursuit of their specialized goals, it is more difficult to focus faculty attention on institution-wide innovations.


History of change in the organization.


혁신을 실행하는 조직의 이전 역사는 조직의 뒤따르는 변화 노력에 영향을 미칩니다. 효과적인 변화의 역사를 가진 교육 기관은 새로운 혁신을 구현할 가능성이 더 높았다 .15 성공적인 혁신의 역사는 변화의 제도화, 즉 변화를 조직의 지속적인 부분에 영향을 미칠 것이다 .16 변화 노력의 실패한 역사가있는 조직은 특히 혁신을 받아들이려하지 않을 것입니다.


 An organization’s prior history with implementing innovation influences that organization’s subsequent change efforts. educational institutions that had histories of effective change were more likely to implement new innovations.15 a history of successful innovation will positively influence the institutionalization of change, that is, making the change a lasting part of the organization.16 organizations that have histories of failed change efforts are particularly unlikely to incorporate innovations.


Politics.


정치적 문제는 희소한 자원의 배분에 초점을 맞춘다 - '누가 무엇을, 언제, 어떻게 얻는가'.

Political issues revolve around the allocation of scarce resources—‘‘who gets what, when and how.’’17


내적 네트워킹

Internal networking.


권력은 간단히 말해서 결정을 내리는 권한을 소유하거나 결정을 내리는 사람들에게 영향을 줌으로써 조직 성과에 영향을 줄 수있는 능력이다. 조직 내외부 그룹 내의 영향력있는 개인 또는 하위 그룹은 공식 또는 비공식 채널을 통해 권한을 행사할 수 있습니다. 의대에서 비공식 네트워크는 종종 권력 문제 협상에 선호되는 수단입니다.

Power is most simply explained as the ability to affect organizational outcomes either by possessing the authority to make decisions or by influencing those who do. influential individuals or subgroups within the organization and/or external groups may exercise their power through formal or informal channels. In medical schools, informal networks are often the preferred means for negotiation of power issues.


리피트 (Lippitt)와 동료들은 계획된 조직 변화에는 단호한 설득, 보상이나 징벌 수여, 신뢰 구축, 공통 비전에 대한 열렬한 지지를 보여주는 등 다양한 전략을 통해 개인적 영향력을 행사하는 적어도 한 명의 강력한 지지자advocate가 있어야한다고 제안했다. 변화가 지속되려면, 조직 내에서 강력한 개인이나 파벌이, 비록 그들이 프로세스 초기에 옹호자가 아니었더라도, 결국 변경 노력에 협조해야합니다.

Lippitt and colleagues suggest that planned organizational change must have at least one strong advocate who exercises personal influence through a variety of strategies, such as assertive persuasion, awarding rewards or punishments, building trust, and enthusiastically demonstrating support for the common vision.18 Furthermore, if change is to be enduring, powerful individuals or factions within the organization must eventually cooperate with the change effort, even if they are not early advocates of the process.


교수진과 행정관 외에도 학생들은 커리큘럼을 변경하는 동안 중요한 지지 베이스가 될 수 있습니다. 의대학생들의 피드백과 열의는 교수진을 앞으로 밀어 넣어 일부 설정에서 변화의 추진력을 유지하는 데 도움이되었습니다.

In addition to faculty and administrators, students can be an important base of support during curricular change. medical students’ feedback and enthusiasm have helped sustain the momentum of change in some settings by ‘‘pushing’’ the faculty forward.9,20


교과 과정 변경 노력에서 제기 된 하나의 권력문제는 교육과정을 누가 소유하고 통제하는지에 대한 문제입니다. 학교인가 또는 교수진인가? 일부 학교는 이 문제를 명확히하는 상위 지침을 작성했습니다. 다른 사람들은 여전히 ​​그것에 고심하고 있습니다.

One power issue that has arisen in curricular change efforts is the question of who ‘‘owns’’ or ‘‘controls’’ the curriculum: the school or the faculty. Some schools have written senate guidelines that clarify this issue; others are still struggling with it.



자원 할당

Resource allocation.


의과 대학 내에서 자원을 할당하는 방법은 부서별 자율성 시스템을 촉진하는 경향이 있습니다.

The method of allocating resources within medical schools tends to promote a system of departmental autonomy.


부서 이익과 연구 및 진료 수입 요구는 교육 기관 차원의 교육 목표 달성보다 우선시되는 경향이있다.

department interests and research and clinic-revenue imperatives tend to take precedence over the achievement of institution-wide educational goals.14


재단이 지원하는 교과 과정 변경 이니셔티브가 일반적이지만 변화를 시작하고 실행하기위한 외부 기금에 의존하는 것은 변화 노력의 제도화에 부정적인 영향을 줄 수 있습니다 .2 혁신이 진행됨에 따라 다른 외부 자원으로부터 충분한 자금을 모으고, 또는 초기 지원이 끝나면 내부 세출을 통해 변경 노력에 대한 지원이 이어져야 한다.

While foundation-supported curricular change initiatives are common, reliance on external funding to initiate and implement change may have negative ramifications for the institutionalization of the change effort.2 As the innovation progresses, care must be taken to garner sufficient funds from other external sources, or through internal appropriation, so that support for the change effort continues once the initial grant support runs out.



외부 환경과의 관계

Relationship with external environment.


상호 목표를 확인하고, 비전을 공유하고, 외부 기관과 조직 간의 의사 소통 프로토콜을 수립함으로써 지속적인 지침과 지원을받을 수 있습니다 .7,11,16,22,23 Glaser와 동료는 더 큰 공동체의 '맥박'을 모니터링하기 위한 내부 구조 및 절차가 조직이 혁신 전략을 구현할 때 외부 환경에 적응하는 데 도움을줍니다.

Identifying mutual goals, committing to a shared vision, and establishing communication protocols between external bodies and the organization open the door for continued guidance and support.7,11,16,22,23 Glaser and colleagues find that having internal structures and procedures for monitoring ‘‘the pulse’’ of the larger community helps organizations adjust to external environmental imperatives as they implement innovation strategies.1


의과 대학의 경우 외부 지지자는 정부 기관,인가 기관, 학회, 보건 전문 기관 및 관리 의료 기관뿐만 아니라 학교가 위치한 지리적 커뮤니티를 포함 할 수 있습니다. Kantrowitz와 동료들은 아이디어를 교환하고 성공을 공유하고 문제를 함께 해결하기 위해 유사한 혁신에 종사하는 다른 의과 학교와 관계를 발전시킬 것을 권고합니다.

In the case of medical schools, external supporters may include government bodies, accrediting agencies, scholarly societies, health professions organizations, and managed care organizations, as well as the geographic community in which the school is located. Kantrowitz and associates recommend developing relationships with other medical schools that are engaged in similar innovations to exchange ideas, share successes, and solve problems together.22


조직 구조

Organizational structure.


의과 대학에서 찾아 볼 수있는 매우 자율적인 교실 구조는 교실 간 통합 및 협업이 요구되는 교육 기관 차원의 교육 혁신에서 큰 과제가 된다.

The highly autonomous departmental structure found in medical schools presents a challenge to institution-wide curricular innovation that requires integration and collaboration among departments.


조직 구조가 통합적 또는 밀접하게 조직 구조가 "분절적"또는 "느슨하게 결합 된"시스템보다 기관 전체의 변화에 ​​더 잘 부합한다. 예를 들어, Kanter는 부서간 통합적 fluid 경계를 가진 조직이 rigid한, "분절적" 교실 구조를 가진 조직보다 아이디어의 자유로운 흐름을 더 잘 촉진한다는 것을 발견했다. '.26 Rogers 역시 부서 간 상호 연결 및 대인 관계 네트워크의 수준이 높을 때 부서간에 더 효과적으로 혁신과 새로운 아이디어가 퍼져 나간다고 말했다.

Researchers point out that ‘‘integrative’’ or ‘‘closely linked’’ organizational structures are more amenable to institutionwide change than are ‘‘segmental’’ or ‘‘loosely coupled’’ systems. Kanter, for example, finds that organizations with ‘‘integrative,’’ fluid boundaries between departments better facilitate the free flow of ideas than do rigid, ‘‘segmental’’ departmental structures.26 Rogers, too, notes that innovations and new ideas spread more effectively across departments when there is a higher degree of interconnection and interpersonal networks among units.8


느슨하게 결합 된 작업 단위를 사용하는 조직에서는 변경이 한 영역에서 구현하기 쉽지만 확산이 어려울 수 있다. 27 그러나 조직 차원의 혁신을 구현할 때는 세그먼트가 결합 된 느슨하게 결합 된 시스템이 무조건 나쁜것total loss는 아니다. 로젠 블럼 (Rosenblum)과 루이 (Louis)는 분산된 느슨하게 결합 된 시스템이 단위 간의 충분한 긍정적 인 상호 작용이 있으면 변화를 성공적으로 수행 할 수 있음을 발견했다.

In organizations with loosely coupled work units, change may be easy to implement in one area, but then prove difficult to spread.27 Segmented, loosely coupled systems are not at a total loss, however, when it comes to implementing organization-wide innovations. Rosenblum and Louis find that decentralized, loosely coupled systems may still be successful in effecting change if there is sufficient positive interaction among units.


일반적으로, 세분화 된 모델은 높은 상호 작용, 연결 및 참여 적 팀 중심 네트워크가있는 모델과 비교할 때 광범위한 변화를 달성하기가 어렵습니다 .16,28

In general, segmentalized models are seen as less able to accomplish broad change in comparison with models with high interaction, connection, and participatory, team-focused networks.16,28


변화를 촉진하기 위해 더 많은 '통합적'구조의 필요성을 인식 한 의과 대학은 이러한 도전을 창의적인 방법으로 충족시킵니다. 예를 들어, 카프만 (Kaufman)은 교과 과정 변경을 감독하기위한 학제 ​​간 커리큘럼 태스크 포스와 새롭고 통합 된 거버넌스 구조의 수립을 기술하고있다.

Recognizing the need for more ‘‘integrative’’ structures to facilitate change, medical schools meet this challenge in creative ways. Kaufman, for example, describes the establishment of an interdisciplinary curriculum task force and a new, integrated governance structure to oversee curricular change.21



교육과정

Curriculum


변화의 필요성

Need for change.


조직이 변화에 대한 진실한 '필요성'을 먼저 밝히지 않고서는 혁신적인 경로를 시작하지 않는다는 것은 자명하다. 자주 놓치는 것은 관리자 또는 이사회만으로는 필요를 인식하고 변화를 촉구하기에 충분하지 않다는 것입니다. 변화가 일어나고 지속되기 위해서는 변화가 필수적이라는 전제가 널리 퍼져 있어야합니다 .2,27

It may seem self-evident that an organization would not embark on an innovative path without first identifying a bona fide ‘‘need’’ for change. What is not always recognized is that it is not enough for the administrators or board of directors to recognize that need and call for change. In order for change to occur and be lasting, there needs to be a widespread agreement that change is requisite.2,27


때로는 변화를위한 추진력이 기관 외부에서 시작됩니다. 다른 때에 변화의 필요성은 내부에서 비롯됩니다. 핵심은 변화가 '현실과 효용'의 기준을 충족시키는 지 여부입니다. '31, p.27 즉, 혁신은 잠재적 인 새로운 사용자가 경험하는 실제 문제를 다루는 데 관련이 있어야합니다.

Sometimes the impetus for change originates outside the institution; at other times the need for change comes from within. What is key is whether the change meets the standards of ‘‘reality and utility.’’31,p.27 That is, the innovation must appear relevant to its potential new users for dealing with real problems that they experience.


혁신의 범위와 복잡성

Scope and complexity of the innovation.


변화 전략을 계획 할 때, 다루어야 할 초기 질문 중 하나는 변화 노력의 범위와 복잡성에 관한 것입니다. 조직 전체가 참여해야하고 상당히 복잡해야합니까? 아니면 조직이 제한된 범위의 "파일럿 프로젝트"로 시작해야합니까?

In planning a change strategy, one of the initial questions to deal with concerns the scope and complexity of the change effort. Should it involve the entire organization and be fairly complex, or should the organization start with a ‘‘pilot project’’ of limited scope?


일부 연구자들은 단계적으로 점진적으로 진행되는 프로세스가 덜 파괴적이며 조직 구성원 모두에게 불안한 자극을주기 때문에 "파일럿"또는 "시험"이니셔티브의 성공적인 사용에 주목합니다. 그러나 어떤 연구자들은 "시범 사업"을 사용하기 위해 몇 가지 단서를 제공합니다. "성공적인 혁신은 조직 구성원의 적극적인 참여를 토대로 구축되었습니다. 테스트 프로젝트가 ''평범한 것으로 판단된다면 회원들의 헌신과 지원을 얻는 데 필요한 매력적인 품질을 가지지 못할 것입니다. 제한된 범위의 소규모 프로젝트는 사람들이 심오한 투자를하지 않기 때문에 논란없이 더 쉽게 묻히거나 포기될 수 있습니다 .28,31

Some researchers note the successful use of ‘‘pilot,’’ or trial, initiatives because the phased-in, incremental process is less disruptive and anxiety-provoking for the organization members involved than a sweeping, organization-wide initiative would be.9,20,32 However, other researchers offer some provisos to the use of ‘‘pilot projects.’’ Successful innovation is built on the active participation of an organization’s members. If a test project is judged ‘‘trivial,’’ it will not have the engaging quality necessary to garner members’ commitment and support. Small projects of limited scope are more easily shelved or dropped without controversy because people are not deeply invested in them.28,31


Crandall과 동료들은 조직 지도자들이 조직의 맥락에주의를 기울이고 균형 잡힌 접근 방식을 선택한다고 조언했다. . . 변화가 성공하기 위해서는 그 크기가 눈에 띄고 지속적인 노력을 필요로 할만큼 충분히 커야 하지만, 일반 사용자가 변화를 심각하게 왜곡시키는 대처 전략을 채택할 만큼 거창해서는 안 된다. "31, p. 범위가 복잡하고 광범위 한 혁신은 구현에 어려움을 낳을 수 있는 반면, 작은 단계로 나누면 잘 성공할 수 있습니다 .28

Crandall and colleagues advise that organization leaders be attentive to their organizations’ contexts and choose a balanced approach: ‘‘from an organizational perspective . . . the greatest success is likely to occur when the size of the change is large enough to require noticeable, sustained effort, but not so massive that typical users find it necessary to adopt a coping strategy that seriously distorts the change.’’31,p.26 While innovations that are complex and broad in scope may pose difficulty in implementation, they succeed best when broken into small steps.28


프로세스

Process


조직 리더는 때론 혁신의 계획 단계가 가장 '어려운 부분'이며 변화의 시작과 구현이 더 쉬울 것이라고 믿는 오류를 범하는 경우가 있습니다. 사실 변화의 각 단계마다 독특하고 예기치 않은 문제가 발생하며 변화를 구현하는 프로세스는 종종 예상보다 오래 걸립니다.

Sometimes organizational leaders err by believing that the planning stage of an innovation is the ‘‘hard part’’ and that the initiation and implementation of change will be easier. In truth, each stage of change presents unique and unanticipated challenges, and the process of implementing change often takes longer than expected.


협력적 환경

Cooperative climate.


Colwill과 동료들은 의대에서 교과 과정 혁신을 계획하고 실행하기 위해 여러 학문 분야 나 부서의 사람들을 모으는 필요성을 구체적으로보고합니다. 흥미롭게도 조직의 변화 자체가 제대로 관리된다면 협업적인 조직 환경을 창안 할 수있는 원동력이 될 수 있습니다.

Colwill and colleagues report specifically on the necessity of bringing individuals of different disciplines or departments together to plan and implement curricular innovation in medical schools. Interestingly, organizational change itself, if properly managed, can be the impetus for the creation of a collaborative organizational environment.34


변화 과정에 참여하려면 친숙한 관행을 배제하고 새로운 관행을 채택해야합니다. 따라서 변화의시기는 조직 구성원에게 불확실성과 불편 함의 도전적 시간이 될 수 있습니다. 알려지지 않은 영역으로 모험을 돕기 위해서는 참가자에게는 혁신에 대한 첫 시도가 실패 할 경우 처벌에 대한 두려움없이 새로운 행동을 시도 할 수 있다는 확신이 필요합니다. 위험을 보상하는 기관은 혁신의 분위기를 육성한다 .19,23,28,35 동료 간의 의견 불일치를 표출air하는 능력은 변화에 도움이되는 환경을 조성하는 데 도움이된다.

Engaging in the change process requires that one put aside familiar practices and adopt new ones. Thus, a period of change can be a challenging time of uncertainty and even discomfort for organizational members. To assist them in venturing into unknown territory, participants need assurance that they can try out new behaviors without fear of punishment if their first attempts at innovation fail. institutions that reward risk taking foster an innovative climate.19,23,28,35 the ability to air disagreements among colleagues helps to create an environment conducive to change.24


결론적으로 성공적인 교과 과정 변화에 대한 긍정적이고 존중받는 근무 환경의 중요성은 과장 될 수 없습니다

In sum, the importance of a positive, respectful work climate to successful curricular change cannot be overstated.


조직 구성원의 참여

Participation by the organization’s members.


조직 회원들이 광범위하게 참여하는 것은 변화 과정에서 중요한 특징입니다. 1,2,10,11,16,18,26,36,40 조직의 구성원이 참여를 통해 프로젝트에 투자 할 때, 완료까지 프로젝트를보십시오 .19,28

broad participation by an organization’s members is an important feature in the change process.1,2,10,11,16,18,26,36,40 As an organization’s members invest themselves in the project through their participation, they strengthen their commitment to see the project through to completion.19,28


또한 일반적인 구성원들은 의사 결정시 지도자에게 어떤 '신뢰의 영역'을 부여하는 경향이 있습니다. 의사 결정 과정에서 참가자들에게 지나치게 의존하는 것은 지나치게 지배적인 것과 마찬가지로 문제가 될 수 있습니다.

Furthermore, rank-and-file members tend to grant their leaders a certain ‘‘zone of trust’’ in decision making. Being overly reliant on participants in decision making can be just as problematic as being too dominant.27


의사소통

Communication.


참가자들 간의 의사 소통을 통해 공유 된 의미가 합체coalesce 될 것이며, 참가자들은 공통되고 공통된 목적을 함께 수립 할 것입니다. 사 소통을 통해 목표가 수립되고, 명확히 밝혀지고, 선언됩니다 .2

Communication among participants ensures that a shared meaning will coalesce, and participants will formulate a common and unified purpose together. Through communication, goals are established, clarified, and then proclaimed.2


연구자들은 의사 소통이 자주 이루어질 것을 권고한다. Dannefer et al.은 의사 소통에서 "계획된 중복성"을 권장한다. 그들은 다양한 방법과 반복의 사용이 일회성 또는 단일 매체 접근법보다 훨씬 효과적이라는 것을 발견했다.

Researchers recommend that communication be frequent.2,41 Dannefer et al., for example, recommend ‘‘planned redundancy’’ in communication. They find that the use of a variety of methods and reiteration is much more effective than one-time or single-medium approaches.41


사람들은 정보를 선택적으로 수신, 통합 및 회수하기 때문에 목표와 계획에 대해 반복적으로 상기시키는 것이 중요합니다.

Repeated reminders of goals and plans are important because people receive, integrate, and recall information selectively.


어떤 종류의 의사 소통이 유용합니까? 모든 종류가 유용하다 : 서면 및 구두, 공식 및 비공식. 가장 중요한 것은 의사 소통이 간결하고, 빈번하며, 정직하고, 사실이며, 실질적이며 시기 적절해야 한다는 것입니다 .32 의사 소통은 신뢰와 명확성을 구축해야합니다 .18,41 정보가 간단하고 시의적절하게 전달되지 않으면 참가자는 (잘못된 정보, 풍자와 장난에 기초하여) 벌어지고 있는 일에 대해 자신만의 해석을 형성합니다.

What kinds of communication are useful? All kinds: written and verbal, formal and informal. Most important is that communication be succinct, frequent, honest, factual, substantive, and timely.32 Communication should build trust and clarity.18,41 If information is not delivered in a straightforward and timely manner, participants will form their own interpretations of what is happening, based on misinformation, innuendo, and hunches.


의과대학에서의 커뮤니케이션

Communication in medical schools.


두 가지 의사 소통 방식이 의대에서 특히 효과적이었습니다. 첫 번째는 대면 인터랙션이다. 우리의 하이테크 사회 에서조차, 그것을 대신 할 수는 없습니다. 일대일 상호 작용은 즉각적인 피드백과 설명을 할 수있는 기회를 허락하고 오히려 비언어적 단서의 차원을 더해줌으로써 오해의 가능성을 줄입니다.

Two forms of communication were found to be especially effective in medical schools. The first is face-to-face interaction. Even in our high-tech society, there is no substitute for it. One-on-one interaction reduces the possibility of misunderstanding by allowing the opportunity for immediate feedback and clarification and also by having the added dimension of nonverbal cues.41


의학 학교에서 특히 유용한 두 번째 유형의 의사 소통은 데모demonstration입니다. 제안 된 교수법의 시연은 교수진에 의한 새로운 교수법의 보다 신속한 이해와 성공적인 채택을 가져왔다 .19,40

The second type of communication found especially useful in medical schools is demonstration. demonstration of proposed teaching practices brought more immediate understanding and more successful adoption of new teaching methods by faculty.19,40


반대의견을 표출시키기

Airing dissent.


물론 모든 의사 소통이 긍정적이고 reaffirming하는 것은 아닙니다. 또한 이의 제기가 예상되며 포럼은 이의 제기와 우려의 방송을 위해 제공되어야합니다. 앞서 '협동적 분위기'에서 언급 한 아이디어를 유지하면서 참가자들은 반대 의견을 표명하는 것이 안전함을 느껴야 한다. 그들은 완전히 듣고, 진행중인 토론에 공헌 한 것으로 인정 받고, 피드백을 받아야합니다.

Naturally, not all communication will be positive and reaffirming. Dissent, too, is to be expected, and forums should be provided for the airing of objections and concerns.19,41 In keeping with ideas mentioned earlier under ‘‘cooperative climate,’’ participants must feel safe in taking the risk to express dissenting views. They must feel fully heard, be acknowledged for contributing to the ongoing discussion, and receive feedback.


반대 의견을 경청하는 것은 계획에 도움이 될 뿐만 아니라 계획 반대자들의 참여를 유도하고 변화 과정에 대한 그들의 commitment를 심화시킵니다. 그들의 아이디어를 경청하고 이것이 계획에 통합되면, 반대자들은 "계획자"가된다.

Listening to dissenters not only benefits the plan, but also invites the participation of plan opponents and deepens their commitment to the change process. As their ideas are heard and incorporated into the plan, dissenters become ‘‘planners.’’


반대자가 자신의 의견을 방송 할 수있게함으로써 또 다른 이점이 발전합니다. 때로는 우려를 표명할 때, 그 의견이 지지받지 못할 것을 두려워한다. 그렇게 되면 반대자는 빨리 ''증기를 잃는다. '' 또는 반대자들은 다른 참가자들이 자신의 입장을 지지하지 않을 수도 있음을 깨닫는다. 다시 말하면, 청중을 찾지 못한 사람은 조용해진다. 반대 의견을 표명하지 않는 것이 훨씬 더 위험합니다..

Another benefit evolves from allowing dissenters to air their views. Sometimes in the voicing of one’s concerns, one sees that one’s fears are ungrounded. Then the dissenter quickly ‘‘loses steam.’’ Alternatively, the dissenter may find no support for his or her position among other participants. Again, that individual, finding no audience, may quiet himself or herself. There is far greater danger in not allowing dissent to be expressed.


여기서 교훈은 심지어 의견 차이조차 개인이 변화 과정에 참여하고 헌신하는 수준을 높일 수있는 기회로 간주되어야한다는 것입니다.

The lesson here is that even dissent should be regarded as an opportunity for individuals to deepen their levels of participation in and commitment to the change process.


제도화 기간의 커뮤니케이션

Communication during institutionalization.


변화 과정의 마지막 단계 인 제도화는 특수한 종류의 의사 소통을 요구합니다. 변화는 부담스럽고, 결국에는 가장 헌신적 인 개인조차도 활력을 상실하게 만듭니다. 이를 수행하는 한 가지 방법은 교수진이 통찰력과 새로운 아이디어를 공유 할 수있는 포럼을 제공하여 혁신이 조직 환경의 일부로 계속 유지되도록하는 것입니다.


The final stage of the change process, institutionalization, calls for special kinds of communication. Change is demanding and can eventually deplete the vitality of even the most committed of individuals. One way to do this is to provide forums for faculty to share their insights and their new ideas so that innovation continues to be part of the organizational milieu.


인적자원개발

Human resource development.


인적 자원 이론가들은 사람들이 안락함, 안전, 존중, 자기 성취 및 의미있는 관계에 대한 필요가 충족 될 때 사람들이 자신의 업무에서보다 효과적이라고 주장한다.

Human resource theorists maintain that people are more effective in their work when their needs for comfort, safety, respect, self-accomplishment, and meaningful relationships are met.43



변화는 힘들고 긴 과정이며 지속적인 에너지가 필요합니다. 종종 예상보다 오래 걸립니다. 또한 변화에는 낡은 행동 패턴이 따로 따로 설정되어 있고 새로운 절차에 대한 요구에 부응하여 불안감, 부적절 함 및 불확실성이 발생함에 따라 손실 감정이 수반됩니다. 많은 연구자들은 변화하는 참가자가 특히 번아웃을 입기 쉽다는 사실에 주목합니다. 새로운 기술을 개발하고 새로운 행동을 배우는 데 도움이되는 다양한 지원 메커니즘이 필요합니다. Crandall과 동료들은 세 가지 영역에서 지원이 제공 될 것이라고 제안합니다.

    • 정서 (정서적 지원 및 안심)

    • 인지 (혁신에 대한 명확한 이해와 그에 대한 이해),

    • 술 개발 (훈련 및 코칭) .31

Change is a difficult and lengthy process, requiring sustained energy; it often takes longer than anticipated. In addition, change involves feelings of loss as old behavior pat-terns are set aside and feelings of anxiety, inadequacy, and uncertainty arise in meeting the demands of new procedures.2,12,40 Many researchers note that during change participants are especially vulnerable to burn-out, and need a variety of support mechanisms to assist them as they develop new skills and learn new behaviors.2,7,9,10,13,18–20,31,33,44 Crandall and colleagues suggest that support comes in three areas:

    • affective (emotional support and reassurance), 

    • cognitive(clear understanding of the innovation and one’s part in it), and 

    • skills development (training and coaching).31 


흔한 훈련 문제

Common training problems.


혁신은 교수진이 원하는 혁신의 이론적 토대를 이해하고 이를 구현하는 데 필요한 기술을 습득 할 때 채택 될 가능성이 큽니다.

An innovation is more likely to be adopted when the implementers, usually faculty, understand the theoretical underpinnings of the desired innovation and are trained in the skills required to implement it.


교육 영역에서 공통적으로 나타나는 오류 중 하나는 프로그램으로 시작시점의 초기 훈련 세션이 충분하다고 믿는 것입니다. Joyce와 Showers는 문제 해결에 참여할 기회와 함께 제공되는 후속 코칭이 필요하다고 설명합니다. 새로운 기술을 습득 한 동료와 함께 새로운 행동의 실행을 크게 향상시킬 수 있습니다.

One common error in the area of training is to believe that an initial training session, presented as a program is being launched, is ‘‘enough.’’ Joyce and Showers explain that follow-up coaching, coupled with opportunities to engage in problem solving with colleagues as new skills are practiced, can significantly enhance the implementation of new behaviors.44


훈련에 대한 또 다른 흔한 실수는 리더에게 필요한 지원과 기술을 제공하는 것입니다. 많은 사람들이 리더십 능력이 "선천적"인 것으로 믿습니다. 사실, 이들은 배울 수 있고 개발할 수있는 기술입니다.

Another common area of ‘‘lack’’ in training is in providing necessary support and skill building for leaders. Many people believe leadership abilities to be ‘‘inborn,’’ when, in fact, these are skills that can be learned and developed.


변경 과정에서 신입 회원이 조직에 가입 할 가능성이 있습니다. 이러한 신입 회원은 지속적인 혁신에 동참하도록 사회화되어야합니다. 신입 회원은 조직의 문화 나 맥락에 익숙하지 않기 때문에 허약 한 새 프로그램을 의도하지 않게 방해 할 수 있습니다.

It is likely that new members will join the organization during the change process. It is important that these new members be oriented and socialized to the ongoing innovation. New members can unintentionally disrupt a fragile new program because they are not familiar enough with the organization’s culture or context.



보상 구조

Reward structure.


혁신을 계획, 시작 및 실행하려면 시간과 에너지를 재분배해야합니다. 이 재분배를 유지하려면, 조직은 혁신에 계속 참여할 회원들을 유인하기 위해 보상 구조 (즉, 급여, 인정, 재임 기간 및 판촉)를 변경해야합니다. 몇몇 연구자들은 변화를 보상하는 인센티브 시스템의 필요성에 대해 논의합니다. Kanter는 보상 시스템을 목표 달성에 대한 보상보다는 개인의 미래 생산성에 대한 투자로 간주 되어야 한다고 제안했다.

To plan, initiate, and implement an innovation requires a redistribution of time and energy. If this redistribution is to be maintained, the organization must change its reward structure (that is, salaries, recognitions, tenure, and promotions) to entice members to continue to participate in the innovation. Several researchers discuss the need for an incentive system that rewards change.1,16,18,20,25 Kanter suggests that reward systems be viewed as an investment in the future productivity of the individual rather than as payoff for goals achieved.26



보상 체계를 변화시켜 승진, 급여 인상, 근태 결정에 영향을 미치도록 해야 한다. Kantrowitz등은 혁신 프로그램을 실험과 같이 설계하고 홍보하는 것이 좋다고 제안한다.

Along with changing reward structures so that one’s teaching does factor into promotion, salary increases, and tenure decisions, Kantrowitz et al. suggest designing and promoting an innovative program as an experiment.



평가

Evaluation.


참가자들의 시선에서 혁신을 높이는 또 다른 방법은 원하는 변경을 구현하는 조직의 진행 상황을 면밀히 모니터링 할 수있는 조형 평가 기술을 채택하는 것입니다. 이론 및 실습이 엄격하게 테스트되는 의과 대학 환경에서 평가가 잘 수행되면 교수진이 유효하고 의미있는 것으로 간주하는 분석 표준에 따라 혁신 프로세스를 정당화 할 수 있습니다. 많은 저자들은 의대 학교 환경에서의 교과 과정 변경 과정의 일부로 단기 및 장기 평가를 언급 할 때 'Critical' 이나 'Crucial'같은 같은 용어를 사용합니다.

Another way to elevate an innovation in the eyes of participants is to employ formative evaluation techniques to ensure close monitoring of the organization’s progress in implementing desired changes. In a medical school setting, where theories and practices are tested rigorously, an evaluation done well serves to legitimize the innovative process by holding it to standards of analysis that the faculty regard as valid and meaningful. Many authors use terms such as ‘‘critical’’ and ‘‘crucial’’ when referring to short- and long-term evaluation as part of the curricular change process in medical school settings.9,10,19,20,22,41,46


(Denial 이나 People-shuffling과 같은 단순한 대처 전략이 아니라) 평가에 교정적 행동이 수반되는 한, 변화 노력을 향상시키고 강화시킬 수있다 .16) 평가는 협력적 활동이기 때문에 앞서 말한 바와 같이 열린 커뮤니케이션과 조직의 협력적 분위기 형성에 기여할 수 있다.

So long as evaluation is accompanied by corrective action (and not just shallow coping strategies such as denial or people-shuffling), it can improve and reinforce the change effort.16,28 Because evaluation is a collaborative activity, it can contribute to fostering open communication and an organizational cooperative climate, as discussed earlier.35


Dannefer와 동료들은 포커스 그룹의 열린 대화가 프로젝트의 새로운 '소유권'을 육성하기 때문에 포커스 그룹이 특히 효과적인 평가 기법이라고 지적했다.

Dannefer and co-workers note that focus groups are a particularly effective evaluative technique, as the open dialogue of the focus group fosters renewed ‘‘ownership’’ in the project.41


Rebecca Henry는 프로젝트 평가가 

    • 다양한 이해 관계자에게 정보를 제공하고, 

    • 프로그램 요소를 개선하고 명확하게하고, 

    • "변화 의제를 지속적으로 유지"

...하는 세 가지 중요한 목적을 달성했다고 설명합니다. "47, p.149

Rebecca Henry comments that project evaluation served three important purposes: 

    • to provide information to various stakeholders, 

    • to refine and clarify elements of the program, and 

    • to ‘‘keep the change agenda alive.’’47,p.149


일시적 퍼포먼스 저하

Performance dip.


'퍼포먼스 저하 요인'은 새 프로그램을 구현할 때 자주 발생하는 조직의 퍼포먼스 감소를 나타냅니다. 다행스럽게도, 개인이 계속해서 지원을 받고 필요한 새로운 기술을 습득함에 따라, 이러한 일시적인 감소는 되돌아 갈 것이고, 성과는 새로운 '최고'에 도달 할 것입니다. '33 Eastwood와 Louis는 퍼포먼스 저하 기간동안 리더는 전문적 지원을 제공하고, 원하는 결과에 대한 조직의 진행 상황을 모니터하고, 필요한 경우 조정을 수행 할 수 있습니다. 그러나 리더는 개혁을 전복시킬 정도로 많은 구조 조정을 허용하지 않도록주의해야한다. 오히려 Eastwood와 Louis는 지도자들이 프로그램 목표를 향해 계속해서 나아갈 것을 권고합니다. 작은 승리를 인정하고 일상적인 성공을 축하하는 것은 ''경기 침체기 ''기간 동안의 사기를 도울 수 있습니다 .33

The ‘‘performance-dip factor’’ refers to the often-noted decrease in an organization’s performance that occurs as a new program is implemented. Fortunately, over time, as individuals continue to receive support and master the necessary new skills, this temporary decline will reverse, and performance will reach new ‘‘highs.’’33 Eastwood and Louis suggest that during a performance dip leaders continue to provide professional assistance, monitor the organization’s progress toward the desired outcomes, and make adjustments where needed. Leaders are cautioned, however, not to allow so much restructuring that the reform program is subverted. Rather, Eastwood and Louis advise that leaders continue to press forward toward program goals. Recognizing small victories and celebrating day-to-day successes can help bolster morale during the ‘‘performance dip’’ period.33


리더십

Leadership.


캐런 루이 (Karen Louis)는 "고의적으로 조사하려고 시도하지 않은 연구에서도 리더십 요소가 나타난다"고 주장했다. 13, p.945

It is so prevalent that Karen Louis states, ‘‘The leadership factor emerges even in studies that did not deliberately attempt to investigate it.’’13,p.945


리더십 특징과 행동

Leadership characteristics and behavior.


의과 대학에서는 학장이 주로 리더 역할을 수행합니다. 미국, 푸에르토 리코 및 캐나다의 100 개가 넘는 의과 대학에 대한 두 개의 독립적 인 연구에서 Hendricson et al. Cohen과 동료들, Colwill과 동료들, Mennin과 Krackov는 의과 대학 환경에서 가장 중요한 교육 변화의 촉진자가 학장이었다고보고했다. 29,34 , 40 다른 사람들이 지도자가 될 수 없다는 말은 아니다. 위원회 위원장, 고위직 및 준 학장도 변화를 이끌어 갈 수있는 후보자입니다. 핵심 리더는 누구나 혁신 프로세스 전반에 걸쳐 그 사람이 누구일지 식별 가능해야 한다. Bland et al. 마일스와 루이스 (Miles and Louis)는 성공적인 프로젝트 리더십이 성공적인 혁신 프로젝트와 관련이 있음을 확인합니다 .16,48

In medical schools, the dean frequently fills this role. In two separate studies of over 100 medical schools in the United States, Puerto Rico, and Canada, Hendricson et al. found that the leader in educational change was usually the dean.30 Cohen and colleagues, Colwill and associates, and Mennin and Krackov also report that the most important facilitator of educational change in the medical school settings that they studied was the dean.29,34,40 This is not to say that others cannot serve as leaders; committee chairs, senior faculty, and associate deans are also likely candidates to lead change. Whoever the primary leader is, it is important for that individual to remain as the identifiable leader throughout the innovation process. Both Bland et al. and Miles and Louis identify stable project leadership as being positively associated with successful innovative projects.16,48


Bland and colleagues (1999)는 이전에 지도자의 효과와 관련이있는 것으로 여겨지는 16 가지 행동을 추적하여이 16 가지 행동을 네 가지 범주로 분류했습니다.

    • (1) 조직적 권한 (예 : 조직 권한 사용, 보상 제공 또는 자원 배분)

    • (2) 명성 / 연합 세력 (예 : 다른 사람이 인식하는 전문적 / 징계 전문 기술 사용, 연합 형성을 통한 다른 사람의 권한 부여),

    • (3) 적극적인 참여 적 거버넌스 (예 : 적극적으로 일관되게 다른 사람들의 의견을 청취하고, 조직 구성원이 사명을 완수하기위한 구조적 메커니즘을 제공한다.)

    • (4) 문화적 / 가치 적 영향 (예 : 조직의 기본 의미 또는 목적을 나타내는 이야기 또는 기호의 명확한 표현, 파트너십의 가치를 정의, 형성 및 유지).

Bland and colleagues (1999) tracked 16 behaviors previously shown to be associated with leaders’ effectiveness, and placed these 16 behaviors into four categories: 

    • (1) organizational power (e.g., uses organizational authority; provides rewards or allocates resources), 

    • (2) prestige/coalition power (e.g., uses professional/discipline expertise as perceived by others; empowers others through building coalitions), 

    • (3) assertive participative governance (e.g., actively and consistently seeks input from others; provides structural mechanisms for organization members to accomplish the mission), and 

    • (4) cultural/value influence (e.g., articulates the stories or symbols that represent the underlying meaning or purpose of the organization; defines, shapes, and maintains the values of the partnership).

성공적인 지도자들은 조직적 권력 행동보다 참여적이고 문화적 / 가치관에 영향을 미치는 행동을 더 자주 사용했다 .48 성공적인 지도자는 덜 성공적이었던 지도자보다 조직적 권력 행동을 참여적이고 문화적 / 가치관에 영향을 미치는 행동과 더 자주 함께 사용했다 .

the more successful leaders used organizational power behaviors less often than they employed participative and cultural/value-influencing behaviors.48 the successful leaders more frequently accompanied their organizational power behaviors with use of participative and cultural/value-influencing behaviors than did the less successful leaders.


기본 지도자가 필요로하는 기술은

    • 갈등을 관리하고,

    • 격려와 긍정적 인 보강을 제공하고,

    • 프로젝트를 집중적으로 유지하고시기 적절하게 진행되도록 하고

    • 리더십에 대한 독단적 인 참여 방식을 사용하고,

    • 모든 프로젝트 참여자와 이해 관계자 간의 열린 의사 소통을 원활하게 하고,

    • 신뢰를 쌓고,

    • 다양한 견해를 존중하고 다양한 관점에서 상황을인지하고, 아마도 가장 중요한 것은,

    • 공유 비전 및 문화 / 가치를 구축하고 효과적으로 전달합니다 .1,7,25,40,48

Skills that a primary leader needs include being able 

    • to manage conflict, 

    • to provide encouragement and positive reinforcement, 

    • to keep the project focused and moving forward in a timely manner, 

    • to use an assertive participative approach to leadership, 

    • to facilitate open communication among all project participants and stakeholders, 

    • to build trust, 

    • to honor diverse views and perceive situations from various points of view, and, perhaps most important, 

    • to build and effectively communicate a shared vision and culture/values.1,7,25,40,48


리더의 조직 비전에 대한 지지와 다른 리더십 특징들

Leaders’ advocacy of organizational vision, and other leader-ship qualities of special note.


참여자 간의 광범위한 지원이 혁신의 성공을 위해 필수적이기 때문에, 리더는 광범위한 지원을 구축하고 참여자들 사이에서 혁신적인 지도력을 개발하고 지원할 수 있어야합니다. 참여자란 교수, 행정직원, 학생입니다. 변화는 공동의 책임입니다. 특히 변화 과정이 진행됨에 따라 다양한 기술과 전문 분야를 갖춘 개인이 프로젝트의 다양한 하위 목표를 완료하여 완료 될 수 있도록 모집해야합니다 .2,19,21,22,25 지도자는 다음과 같아야합니다. 

    • 통제력을 상실하지 않고 전력을 공유하고, 

    • 지배하지 않으면서 눈에 보이고 활동적이며, 

    • 지원을 계속 제공하면서 책임을 위임 할 수 있어야합니다 .28

Because widespread support among participants is vital for an innovation’s success, the primary leader needs to be able to build broad-based support and cultivate and support innovative leadership from among participants: faculty, administrators, and even students. Change is a shared responsibility. Particularly as the change process proceeds, individuals with varied skills and areas of expertise need to be recruited to lead various sub-objectives of the project through to completion.2,19,21,22,25 The primary leader, then, needs to be able 

    • to share power without losing control, 

    • to be visible and active without dominating, and 

    • to delegate responsibility while continuing to offer support.28


이것은 지도력의 복잡하고 역설적 인 성질을 가리킨다 .6,68 지도자가 "융통성있게"할 필요성은 몇몇 연구자들에 의해 주목된다 .2,19,23,48 Fullan과 Stiegelbauer는 이것을 간결하게 진술한다. 아이러니컬하게도, 여러면에서 개인이 특정 형태의 변화에 ​​더 헌신(집착)할수록, 다른 사람들이 그것을 이행하도록하는 데 효과적이지 못합니다. "

This points to the complex and paradoxical nature of leadership.2,6,48 the necessity for a leader to be ‘‘flexible’’ is noted by several researchers.2,19,23,48 Fullan and Stiegelbauer state this succinctly: ‘‘Ironically, in many ways, the more committed an individual is to the specific form of change, the less effective he or she will be in getting others to implement it.’’2,p.9


반면 리더는 프로젝트의 핵심이 손상될 정도로 유연해서는 안된다. 변화에 대한 조직의 비전을 유지하고 지원하는 것은 리더의 책임입니다. 수많은 연구자들은 조직의 혁신적인 비전에 대한 지도자의 명확하고 반복적 인 의사 소통의 중요성에 주목합니다.

On the other hand, a leader must not be so flexible that the integrity of the project is compromised. It is the leader’s responsibility to maintain and support the organization’s vision for change. Numerous researchers note the importance of the leader’s clear and repeated communication of the organization’s innovative vision.1,6,9–11,16,19,21,25,27,29,30,42


우리는 이전에 지도자가 변화 과정에 대한 참가자들의 서로 다른 견해를 존중함에있어서 융통성을 갖도록하는 중요성에 대해 언급했다. 지각 틀 이론가 Bolman과 Deal은 하나의 조직을 인식 할 수 있는 4 가지 일반적 프레임을 가정한다.

    • (1) 구조적: 공식적인 역할과 관계를 강조

    • (2) 인적 자원-지향적: 사람들의 필요에 초점을 맞추고,

    • (3) 정치적: 희소 한 자원에 대한 갈등을 중심에 둠

    • (4) 상징적 / 가치 - 기반: 하는 가치를 지닌 문화로서의 조직

볼만과 딜 (Bolman and Deal)은 지도자가 여러 가지 지각 프레임 즉 렌즈를 통해 주어진 상황을 바라 볼 때 직면하는 다양한 도전을 가장 잘 처리 할 수 ​​있다고 제안합니다.

We mentioned earlier the importance for the leader to be flexible in respecting participants’ differing views toward the change process. perceptual frame theorists Bolman and Deal, posit four ‘‘frames’’ through which one commonly perceives one’s organization: ‘‘

    • (1) structural—emphasizing formal roles and relationships, 

    • (2) human resource– oriented—focusing on the needs of people, 

    • (3) political —centering on conflict arising over scarce resources, and 

    • (4) symbolic/value-based—viewing organizations as cultures with shared values.’’43,48 

Bolman and Deal suggest that leaders are best able to handle the variety of challenges that they encounter if they view any given situation through several perceptual frames, or ‘‘lenses.’’


Bland et al. 연구에서 의과 대학에서 가장 성공적인 지도자들은 프로젝트의 상황을 볼 때 적어도 두 가지 지각 틀을 사용했다.

Bland et al. found that in the medical schools in their study, the most successful leaders employed at least two perceptual frames when viewing the circumstances of their projects.48


리더쉽에 대한 마지막 한 가지 점 : 연구자들은 광범위한 참여의 중요성을 강조하지만, 참여가 지나치게 무거워서 변화 과정을 질질 끌게 만들면 안된다는 점을 기억하십시오. 루이와 마일즈는 예를 들어 계획하는데 1 년 이상을 소비하지 말 것을 제안합니다. 그들은 참가자들의 지원과 헌신이 개발 프로젝트와 함께 성장할 것이라고 조언합니다. 그러나 혁신 프로세스가 지연되면 참가자들의 관심과 지원이 급감 할 수 있습니다. 다시 한 번, 변화의 기세에 지속적으로 연료를 공급하는 것은 리더의 책임입니다 .22,25,28,31

One final point on leadership: Recall that while researchers emphasize the importance of broad-based participation, that participation must not become so ponderous that it drags down the change process. Louis and Miles suggest, for example, that no more than one year be spent in planning. They advise that participants’ support and commitment will grow along with the developing project. If the innovation process stalls, however, participants’ interest and support may plummet. Again, it is the leader’s responsibility to continually fuel the momentum of change.22,25,28,31



고찰

DISCUSSION


문헌의 현재

State of the Literature


우선, 일반적으로 고등 교육의 성공적인 교과 과정 변화와 특히 의사의 전문 교육에 대한 특징을 다루는 문헌이 비교적 적다는 것에 놀랐습니다. 이것이 우리가 조직 변화 문학과 K-12 교과 과정 변경 문헌을 찾은 이유이기도합니다.


First of all, we were surprised by the relatively small number of sources available that addressed the characteristics of successful curricular change in higher education in general, and in the professional education of physicians in particular. This is why we also sought out organizational change literature and K–12 curricularchange literature.


연구 결과

Our Findings



실제로, 어떤 사람들은 그들이 분명해 보일 것이라고 말할지도 모릅니다. 그러나 이러한 권장 사항은 친숙한 것처럼 보일 수 있지만 실제로는 완료된 것보다 쉽습니다. 성공적인 변화 전략에 대한 ''계속해서 ''머무르는 것은 어렵습니다. 전략 권장 사항 중 하나를 간과하는 것은 혁신 프로세스의 아킬레스 건이 될 수 있습니다. 우리는 Krackov와 Mennin이 혁신 과정을 '많은 요소 들간의 복잡한 상호 작용'으로 규정하고, '변화가 성취하기 어렵다'는 statement에 전적으로 동의합니다. 열심히 일해야하며 필연적으로 흔들릴 때 회복 할 수있는 능력이 필요합니다. "12, p.S3

In fact, some might say they seem obvious. However, while these recommendations may seem familiar, they are easier said than done. ‘‘Staying the course’’ of successful change strategies is difficult, and overlooking any one of the strategy recommendations may become the Achilles’ heel of one’s innovation process. We wholeheartedly agree with Krackov and Mennin’s characterization of the innovation process as a ‘‘complex interaction among many elements,’’ and with their statement that ‘‘change is difficult to accomplish; it requires dedication, hard work, and the ability to recover when we inevitably falter.’’12,p.S3


우리는이 목록을 더 세분화 할 수 있는지 여부를 확인하고 이러한 중요한 요소 중 가장 필수적인 사항을 확인했습니다.

We wanted to see whether we could further refine this list and identify the most essential of these important elements.


리더십, 협력 적 기후, 조직 구성원 참여, 평가, 인적 자원 개발 및 정치 (표 1 참조)와 같은 6 가지 범주의 기능이 문헌에서 주로 발견되었습니다.

Six categories of features were found to predominate in the literature: leadership, cooperative climate, participation by organization members, evaluation, human resource development, and politics (see Table 1).


문헌 및 문헌에서 빈도별로 이러한 범주 및 하위 범주의 강점에 주목하지만, 우리는 이러한 노력의 정확성이 문헌의 높은 가변성에 의해 방해 받았다는 것을 인정합니다.

While we note the strengths of these categories and subcategories by their frequencies in the literature, we acknowledge that our precision in this effort was hampered by the high variability of the literature.


리더십과 협력적 분위기

Leadership and cooperative climate.


학술적 문화와 긍정적 인 분위기의 유지는 의과 대학의 커리큘럼 변화뿐만 아니라 최적의 연구 생산성, 창의력과 혁신, 교직원 사기 등에 대한 의과 대학에서 중요합니다.

The maintenance of an academic culture and a positive climate are important to a medical school, not just for curricular change but also for optimal research productivity, creativity and innovation, faculty morale, and more.


리더십과 조직 구성원의 참여

Leadership and participation by organization members.


또한 지도자는 조직에 실제로 참여적 거버넌스가 있음을 보장해야합니다. 이것은 다른 사람들의 말을 듣고 자하는 것 이상의 의지가 필요합니다. 이를 위해서는 교수진이 참여할 수있는 공식 메커니즘을 설정 한 다음 그 교수진이 참여하도록 "nudge"해야 한다.

Leaders must also assure that there is real participative governance in the organization. This requires more than a willingness to listen to others and have an open door; it requires that one set up formal mechanisms for faculty to participate and then that one ‘‘nudge’’ faculty to do so.


리더십과 평가

Leadership and evaluation.


평가의 주요 목적 중 하나는 의사 결정을 위한 정보를 수집하는 것입니다. 지도자는 다가오는 결정에 중요한 정보가 평가를 통해 수집되는 정보를 확인해야합니다. 따라서 리더는 유용하고 시기 적절한 데이터를 수집 할 수 있도록 평가자와 긴밀히 협력합니다. 평가의 또 다른 목적은 프로젝트의 프로세스와 결과에 대한 설명을 제공하는 것입니다. 변화의 과정에 대한 명확한 그림을 식별하는 작업이 복잡한 이유는 변화 과정에 대한 각 개인의 인식이 독특하기 때문이다. 변경 전의 교과 과정 및 교과 과정 결과에 대한 객관적인 설명 (예 : 학생들의 만족도, 습득 한 역량, 교수진 노력)은 변경 및 주기적으로 토론 및 결정에 대한 공통된 이해를 제공합니다.

One of the primary purposes of evaluation is to collect information for decision making. The leader must identify what information, important for upcoming decisions, is to be gathered through an evaluation. Thus, the leader works closely with the evaluator to assure that useful and timely data are collected. Another purpose of evaluation is to provide a description of the project’s process and outcomes. As each individual’s perception of the change process is unique, the variety of realities at play serve to complicate the task of discerning a clear picture of the change process. Having an objective description of the curriculum and curricular outcomes before the change (e.g., students’ satisfaction, competencies acquired, faculty effort), as well as periodically during the change, provides a common understanding for discussions and decisions.


우리의 검토에서 언급했듯이, 평가란 의과 대학에서 유용한 도구일 뿐만 아니라, 프로젝트를 응용 교육 연구로 프레이밍하고, 평가 결과를 연구 성과로서 제시함으로써 커리큘럼 작업의 가치를 높이는 수단이 되기도 한다. 그러므로 연구의 integrity와 의사 결정의 유틸리티를 모두 다루는 평가 설계의 개발은 계획 단계에서 결정되어야하는 문제 중 하나입니다. [일반화 할 수있는 데이터]와 [보다 즉각적인 의사 결정을 위한 데이터] 사이의 긴장감을 인식하는 것이 중요합니다. 커리큘럼 프로젝트의 프로세스와 결과에 대한 '실제'데이터를 확보하면 지속 가능성을 유지하고 자원을 할당하는 데 리더가 될 것이므로 중요합니다. 결과적으로 프로젝트 초기에 명확하고 객관적인 설명이 필요하며 측정 대상이 되는 성과에 대해서 대해 너무 지나치게 rigid하지 않아야합니다. Hembroff와 동료 연구원은 "(대부분의 사람들이 그렇게 생각하듯) 실제 프로그램이 구현되기 전에 평가자가 참여할 때 , 프로그램 목표가 많은데 아직 실제 구현의 현실에서 벗어나지 않은 경우 평가의 유연성은 최종 평가 전략이 실행 된 프로그램의 필연적 인 목표 명확성을 고려하기 위해 필요하다. "49, p.338

As noted in our review, medical schools find evaluation not only a useful tool but also a means to raise the value of curriculum work by framing the project as applied education research and presenting the evaluation data as research outcomes. The development of an evaluation design that addresses both research integrity and decision-making utility is, therefore, one of the issues that needs to be determined in the planning stage. Recognition of this tension between the need for generalizable data and data for more immediate decision making is important. It is important because having ‘‘real’’ data about the process and outcomes of the curriculum project will serve the leader in maintaining momentum and allocating resources for sustainability. As a consequence, it is necessary to have a clear, objective description at the beginning of a project and yet not to be too rigid early on about the outcomes to be measured. As Hembroff and colleagues point out, ‘‘When evaluators are brought in (as most of us think they should be) prior to actual program implementation, and where the goals for the program are many and are as yet untempered by the realities of actual implementation, evaluation flexibility is necessary so that the final evaluation strategy takes into account the inevitable goals clarification of the program as carried out.’’49,p.338


교과 과정 변화를 실행하는 기관은 지역 사회의 맥박pulse을 모니터링하기위한 내부 구조와 절차를 가져야합니다 .1 외부 사건은 교육 기관 또는 교육 기관이 존재하는 환경에 대한 영향으로 인해 커리큘럼 이니셔티브에 대한 적응을 필요로 할 수 있습니다.

an institution implementing curricular change needs to have internal structures and procedures for monitoring the pulse of the community.1 External events, due to their impacts on an institution or on the environment in which the institution exists, may necessitate adaptations to the curriculum initiative.


교육과정혁신은 본질적으로 다른 유형의 변화보다 길며, 결과 성공의 측정은 수 년에 걸쳐 이루어질 수 있습니다.

Curricular innovations are by nature more lengthy than are other types of change, and the measurement of outcome success may span years.


리더십과 인적자원개발

Leadership and human resource development.


거의 모든 교육과정 변화에서 일부 또는 모든 교수진을 대상으로하는 교육이 필요합니다.

Nearly all curriculum changes also require training for some or all of the faculty.


자주 언급되는 인적 자원 개발의 두 번째 측면은 보상을 제공하고 보상 개발을 교과 과정 개발 및 새로운 교과 과정과 연계시키는 것이 중요하다는 것입니다.

The second aspect of human resource development that is frequently mentioned is the importance of providing rewards and aligning rewards with curricular development and with implementing the new curriculum.


내부 자금 조달 할당을 재조정하는 방법에는 

    • 새로운 커리큘럼에 필요한 노력에 맞추기 위해 핵심적 자원이 할당되는 방법을 점진적으로 바꾸는 것,

    • 커리큘럼 변경 참여에 더 높은 가치를 부여하기 위해 승진 구조 조정

    • 교수직 계급 내에서 새로운 역할을 통합하도록 임명appointment 시스템 변경.

Methods of realigning internal funding allocations may include 

    • gradually shifting how central allocations are distributed to departments to match the effort needed for the new curriculum, 

    • adjusting the promotion structure to place a higher value on curricular-change involvement, or 

    • changing the appointment system to incorporate new roles within the ranks of the faculty.


이러한 재배치와 보상의 재배치가 없다면 새로운 커리큘럼은 생존하지 못할 것이며 종종 이름만 변한 구식 커리큘럼이 다시 나타날 것입니다.

Without this realignment of resources and rewards, the new curriculum will not survive, and often the old curriculum will reemerge, perhaps under the guise of the new name.


리더십과 정치

Leadership and politics.


'커리큘럼을 바꾸는 것보다 묘지를 옮기는 것이 더 쉽다'는 오래된 말은 그럴 만 한 이유가 있습니다. 커리큘럼을 바꾸는 것은 매우 정치적인 과정이기 때문입니다. 다른 사람들이 교과 과정 변화의 실체를 연구하는 동안 내적 및 외적 정치적 지형을 성공적으로 통과해야하는 것은 리더 (들)입니다. 리더는 내부적으로 새로운 접근 방식을 성공적으로 "팔고", 공식 및 비공식적 인 권력 구조에 대한 지식을 사용하여 새로운 커리큘럼의 공유 된 소유권을 구축해야 한다. 또한 주요 교육과정 요소의 통제가 새로운 이니셔티브에 맞도록 영역 다툼을 막아야 한다.

There is a good reason for the old saying, ‘‘It is easier to move a graveyard than change a curriculum,’’ for changing a curriculum is a highly political process. It is the leader(s) who must successfully traverse the internal and external political terrain while others are working on the substance of the curricular change. Internally, the leader(s) must successfully ‘‘sell’’ the new approach and use his or her knowledge of both the formal and the informal power structures to build shared ownership of the new curriculum and head off turf battles as the control of major curriculum pieces shifts to match the new initiative.


외부 정치학은 학교에 관심이 있고 교과 과정에 영향을 줄 수있는 외부 선거구와 협력하는 것을 포함합니다.

External politics involves working with outside constituencies who have an interest in the school and can have an effect on the curriculum.


일부 교과 과정 혁신은 국가 지도자들과의 상호 작용을 필요로합니다. 특히 혁신의 범위 나 규모가 주요 정부 기금을 요구하는 경우.

Some curricular innovations require interactions with state leaders, especially if the scope or magnitude of the innovation calls for significant state funding.


리더십에 대한 마지막 말

Concluding remarks about leadership.


거의 모든 기사는 변화에 관한 시각적 리더십의 중요성을 인식하고 있습니다. 독자는 유창하게 유혹을 퍼붓고 자기 자신에게 이렇게 말합니다. "그래, 나는 이것을 안다, 나는 이것을 안다". 그러나 아는 것과 그것을 하는 것은 서로 다르다.

Nearly every article about change identifies the importance of visionary leadership, such that a reader is tempted to glaze over and skip such sections, saying to one’s self, ‘‘Yeah, I know this, I know this.’’ But knowing one should do this and knowing how to do it are two different things.



FINAL THOUGHTS






 2000 Jun;75(6):575-94.

Curricular change in medical schools: how to succeed.

Author information

1
Department of Family Practice and Community Health, University of Minnesota Medical School, Minneapolis 55455-0392, USA. bland001@tc.umn.edu

Abstract

Society's changing needs, advancing knowledge, and innovations in education require constant changes of medical school curricula. But successful curricular change occurs only through the dedicated efforts of effective change agents. This study systematically searched and synthesized the literature on educational curricular change (at all levels of instruction), as well as organizational change, to provide guidance for those who direct curricular change initiatives in medical schools. The focus was on the process of planning, implementing, and institutionalizing curricular change efforts; thus, only those articles that dealt with examining the change process and articulating the factors that promote or inhibit change efforts were included. In spite of the highly diverse literature reviewed, a consistent set of characteristics emerged as being associated with successful curricular change. The frequent reappearance of the same characteristics in the varied fields and settings suggests they are robust contributors to successful change. Specifically, the characteristics are in the areas of the organization's mission and goals, history of change in the organization, politics (internal networking, resource allocation, relationship with the external environment), organizational structure, need for change, scope and complexity of the innovation, cooperative climate, participation by the organization's members, communication, human resource development (training, incorporating new members, reward structure), evaluation, performance dip (i.e., the temporary decrease in an organization's performance as a new program is implemented), and leadership. These characteristics are discussed in detail and related specifically to curricular change in medical school settings.

PMID:
 
10875502
[Indexed for MEDLINE]


성찰: 의과대학생의 전문직정체성형성을 위한 탐구(Med Educ, 2014)

Reflections: an inquiry into medical students’ professional identity formation

Anne Wong1 & Karen Trollope-Kumar2




도입

INTRODUCTION


의대생을 의사로 전환하는 것은 전통적으로 민족 지학 및 사회학 렌즈를 통해 연구되어왔다. 최근에는 학생들의 관점에서 직업적 정체성을 구축하는 방법을 연구하는 데 관심을 기울이고있다 .5-7 의대생이 직업적 정체성을 형성함에 따라 의사들은 의사의 공동체에 '주변부'에서 '완전한'참여로 이동하기 시작한다 .9 따라서 직업적 정체성 형성은 의학 교육과 프로페셔널리즘의 중요한 요소로 간주된다 .9-12

The transition of medical students into doctors has traditionally been studied through an ethnographic and sociological lens.1–4 Recently, interest has focused on students’ perspectives in order to examine the ways in which they construct their professional identities during their training.5–7 As medical students form their professional identities, they begin to move from ‘peripheral’ to ‘full’ participation in the community of doctors.8,9 Therefore, professional identity formation is seen as a crucial component medical education and professionalism.9–12


정체성, 아이덴티티 (Identity)는 자신과 다른 사람들의 의미 형성의 상호 작용으로부터 발생한다. 직업적 정체성 형성은 개인이 그 직업의 구성원으로서 스스로 정의하는 과정으로 개념화 될 수있다. 필요한 지식, 기술, 태도, 가치 및 행동 습득에 관한 것입니다 .6,13,14

Identity, the understanding of who one is, develops from an interplay of meaning-making from self and others.6,7,9 Professional identity formation can be conceptualised as the process by which an individual self-defines as a member of that profession based on the acquisition of the requisite knowledge, skills, attitudes, values and behaviours.6,13,14


예전 이론은 전문직 정체성을 정적인 특성이나 사회적 역할로 본다 .15)  무대 이론은 정체성 형성을 일련의 단계를 거친 점진적 발달로 본다. 예를 들어 힐튼과 슬롯 닉 17은 의대생이 경험에 대한 경험과 반성의 결과로서의 'phronesis'(지혜)를 통한 '성숙한 프로페셔널리즘'을 습득하기 전에 'protoprofessionalism'의 단계를 거친다고 이론화했다 . 그들은 프로페셔널리즘과 전문직 정체성 개발을 '성숙함'에 이르는 안정된 상태로의 선형적 진보로 개념화하였다.

Older theories view professional identity as static traits or societal roles.15 Stage theories view identity formation as a progressive development through a series of stages.16,17 For example, Hilton and Slotnick17 theorised that medical students undergo the stage of ‘protoprofessionalism’ before acquiring ‘mature professionalism’ through ‘phronesis’ (wisdom) as a result of experience and reflection on experience. They conceptualised professionalism and professional identity development to be a linear progression to a stable state at ‘maturity’.17,18


반대로 정체성 형성에 대한 현대의 구성주의 이론은 정체성이 사회적 및 관계 적 환경 내에서 지속적으로 협상되고 공동 구성되는 역동적 인 현상이라고 생각한다. 성별, 성별, 민족성 및 사회적 계층 (덜 가단적임malleable)은 새로운 경험 및 상황과 다른 방식으로 상호 작용합니다 .9 Scanlon19는 이 프로세스를 전문가가 되는being 것이 아니라 되어가는becoming 것의 프로세스로 설명했습니다. 즉, 마지막 종점에 도달하기보다, 전문직 정체성이란 경력을 통해 다차원적이고 진화하는 평생 과정으로 본다. 9,19,20

On the contrary, contemporary constructivist theories of identity formation conceive identity to be a dynamic phenomenon that is continually negotiated and co-constructed within a social and relational environment.7,9,13,14,19,20 Primary identifications, such as gender, ethnicity and social class (which are less malleable), interact in different ways with new experiences and circumstances.9 Scanlon19 described the process as that of ‘becoming’ rather than ‘being’ a professional. Rather than reaching a final endpoint, Scanlon and others conceive professional identity as a multidimensional, evolving and lifelong process throughout one’s career.9,19,20


성찰을 촉진하기위한 내러티브의 사용은 의학에서 상당한 주목을 받았다 .25-31 많은 의대에서는 학생들이 임상 경험을 기록하고 성찰 할 수 있도록 학습 포트폴리오를 통합했다. 포트폴리오는 성찰의 실천과 윤리적 의사 결정 기술 개발에 유용한 도구가 될 수있다. 32 포트폴리오 내의 서사는 전문직 정체성 형성에 대한 의대생의 경험을 보여주는 창을 제공 할 수있다 .26,28,30-34

The use of narrative to promote reflection has gained considerable attention in medicine.25–31 Many medical schools have incorporated learning portfolios for students to record and reflect on their clinical experiences.26–31 Portfolios can be valuable tools for developing skills in reflective practice and ethical decision making.32 The narratives within the portfolios can provide a window into a medical student’s experiences in professional identity formation.26,28,30–34



연구 맥락

CONTEXT OF THE STUDY


Students produce two narrative reflections (one of each category) after their fourth, sixth, eighth, 10th and 15th month of preclerkship training, for a total of 10 reflections. These reflections are not graded, but are read and given written formative feedback by their tutors.


방법

METHODS


Narrative analysis is defined as the ‘family of methods for interpreting texts that have in common a storied form’.35 In this research methodology, narratives are analysed in their entirety rather than in decontextualised pieces. In this study, we used the thematic approach to narrative analysis, which consists of the collection and analysis of narratives in order to discover themes that typify the experiences of a group.35 

  • A typology of narratives is thus inductively created, conceptually organised by thematic categories and illustrated by exemplar narratives or vignettes.35,36 

  • The finding of common thematic elements across a number of participants or cases is used to develop a descriptive framework of professional identity formation.36 

  • Narratives are then analysed longitudinally over the 15 months to examine how these themes evolve over time.



참여자, 모집, 샘플링

Participants, recruitment and sampling


Information about the study was disseminated through e-mail and an oral presentation. Participants sent their signed consent forms to the research assistant. Of the total class population of 194, 65 students (46 women: 19 men) consented for their portfolios to be analysed, yielding a total of 604 narrative reflections (Table 1).


Sampling in qualitative research is not statistically determined, but occurs until information saturation is reached (the point of redundancy where no new information is obtained by further sampling).36,37 This sampling criteria was used to determine the emergent themes related to professional identity formation. These themes were then examined longitudinally within each participant portfolio to determine how they are negotiated and evolve over time.



자료 수집과 분석

Data collection and analysis


    • Initially, 10 portfolios were subjected to a preliminary analysis in order to develop a consistent coding system for thematic analysis. 

    • Each co-investigator analysed and coded the same reflective narratives in each of the 10 portfolios. 

    • Common or recurrent codes across participants’ narratives were identified. 

    • The codes were merged under larger subthemes and themes in order to develop a typology of thematic categories. 

    • This initial inductive analysis yielded a wide range of themes related to medical students’ experiences within and across each narrative. 

However, the majority of the themes clustered under several thematic categories that related to some aspect of what it means to be a doctor. These categories were classified under the overarching concept of professional identity formation.


    • After the thematic coding scheme for professional identity formation was developed, the remainder of the portfolios were analysed. 

    • The investigators held regular meetings to discuss findings and resolve differences in the coding. 

    • The final thematic analysis yielded five themes that were used to develop the descriptive framework of professional identity formation.


Rigour was ensured by regular checks for consistency and consensus in data analysis and interpretation, adequate sampling for information saturation, member checking and peer review.36


결과

RESULTS


주요 주제 카테고리

Major thematic categories of professional identity formation


다섯 개의 주제와 하위주제

The five major themes and subthemes (in italics) are summarised and illustrated with exemplar quotes in Table 2.


이전 경험

Prior experiences


이 주제는 의대에 앞서 개인적 및 전문적 경험과 정체성을 나타냅니다. 내러티브는 새로운 환경의 현실과 기존의 정체성을 협상하는 학생들의 과제를 기술합니다

This theme refers to personal and professional experiences and identities prior to medical school. Narratives describe students’ challenges in negotiating these prior identities with the realities of the new environment.


롤모델

Role models


이 주제의 내러티브는 학생들의 전문적 정체성 개발에 긍정적 인 역할 모델과 부정적인 역할 모델의 영향을 나타냅니다. 학생들은 의사가 되는 것이 무엇을 의미하는지 학생들이 이해하는 데있어 교사가 중요하고 때로는 중추적 인 역할을합니다.

Narratives in this theme refer to the influences of both positive and negative role models on students’ developing professional identities. They reveal the important and often pivotal roles that teachers play in students’ understanding of what it means to be a doctor.


교육과정

Curriculum


이 주제에는 공식 및 숨겨진 커리큘럼의 하위 주제가 포함됩니다. 

    • 공식 교육과정에 관련된 서술은 임상 실습을 준비 할 때 그 가치를 논의합니다. 

    • 잠재 교육고정에 관련된 서술은 행동, 권력 불균형 및 윤리적 딜레마에 대한 '비공식적 인 규칙'을 논의합니다.

This theme includes the subthemes of the formal and hidden curriculum. Narratives associated with the former discuss its value in preparing for clinical practice. Narratives associated with the hidden curriculum discuss the ‘unwritten rules’ of conduct, power imbalances and ethical dilemmas.


환자 경험

Patient encounters


이 주제는 전문직 정체성 형성을 만드는데 환자의 영향을 나타냅니다. 환자로부터의 학습, 심오한 삶의 순간 (출생 및 사망의 목격) 및 공감대 대 효율성 (임상 실습의 효율성에 대한 필요성을 가진 환자에 대한 공감대를 균형 잡기)의 하위 분류가 포함됩니다. 가장 통렬한 내러티브 중 일부는 인간의 고통이 의대생의 정서적 및 신체적 반응에 주는 중대한 영향을 보여줍니다.

This theme refers to the influence of patients on shaping professional identity formation. It includes subthemes of learning from patients, profound life moments (e.g. witnessing birth and death) and empathy versus efficiency (balancing empathy for the patient with the need for efficiency of clinical practice). Some of the most poignant narratives show the profound effect of human suffering on medical students’ emotional and physical responses.


사회적 기대

Societal expectations


이 주제는 학생들의 직업적 역할과 정체성에 대한 학생들의 이해에 대한 사회적 기대의 영향을 의미합니다. 여기에는 환자와 사회에 대한 직업의 권위와 책임이 담겨 있습니다. 학생들은 다른 사람들이 자신을 인식하는 방식 또는 자신의 직업과 관련된 책임을 처리 할 수 ​​있는지를 인식할 수 있는지 여부의 극적인 변화에 대해 기술한다.

This theme refers to the influence of societal expectations on students’ understanding of their professional roles and identities. It includes the subthemes of power and responsibilities of the profession to patients and society. Students write about the dramatic changes in the way that others perceive them and whether they would be able to handle the responsibilities associated with their profession.





종단 분석: 시간 변화에 따른 전문직 정체성 형성의 발달

Longitudinal analysis: development of professional identity formation over time


Detailed quotes and associated themes at each narrative interval are provided in Table 3.


1번 사례

Exemplar 1


P12는 제한된 삶의 경험을 가진 과학 배경을 가진 젊은 남성 학생입니다. 그의 서사에는 교과 과정, 환자 조우, 사회적 기대 및 역할 모델이라는 몇 가지 주제가 섞여있다.

P12 is a young male student with a science background, with limited life experience. Several themes are interwoven in his narrative: the curriculum, patient encounters, societal expectations and role models.


첫 번째 성찰에서 P12는 의사가 될 필요가 있다고 느끼는 지식을 습득 할 수 없다는 두려움에 대해 씁니다. 그러나 6 개월 후, 학생은 자신의 인식에 중요한 변화를 만듭니다. 의사의 학습 접근법을 관찰함으로써, 그는 부적절한 지식에 대한 두려움을 해소합니다. '나는 이제 "확실하지 않습니다. 찾아볼게요"라고 자신있게 말할 수 있다'

In his first reflection, P12 writes about his fear of not being able to master the knowledge that he feels is necessary to be a doctor. However, at 6 months, the student makes an important shift in his perceptions. By observing the learning approaches of doctors, he reconciles this fear of inadequate knowledge: ‘I now have the confidence to say “I’m not sure, let me look that up”’.


P12는 의과 대학의 지적 도전 과제를 탐색 할 수있는 능력에 자신감을 가지기는하지만 도전적인 환자 조우에서 8 개월 동안 의사로 일한다는 것이 무엇을 의미하는지 더 알게됩니다. HIV 진단을 환자에게 준 후에, 학생의 임상 프리셉터는 방을 나와 일부 양식을 집어 들게합니다. 환자와 함께 홀로 남겨진이 학생은 나이처럼 보였던 '귀머거리 침묵'에 앉아 있다고 묘사합니다. 나중에, 환자는 학생이 그곳에 있었던 것에 대해, 학생의 어리석음에, 많이 감사합니다.

Although P12 gains confidence in his ability to navigate the intellectual challenges of medical school, he further learns what it means to be a doctor from a challenging patient encounter, 8 months into his training. After giving the diagnosis of HIV to a patient, the student’s clinical preceptor leaves the room to pick up some forms. The student, left alone with the patient, describes sitting in ‘deafening silence for what seemed like ages’. Later, the patient thanks the student for being there, much to the student’s bewilderment.


이 환자의 만남은 중대한 가르침의 순간을 만듭니다. 임상 프리셉터는 학생의 고통에 대한 증거로서의 자신의 역할의 중요성을 학생들이 이해하도록 도와줍니다. 환자 만남 동안의 부적절한 느낌에 대한 학생의 설득력있는 설명 뒤에는, 훈련 초기 단계에서도 그가 할 수있는 중요한 역할에 대한 사려 깊은 성찰이 이어집니다.

This patient encounter creates a pivotal teaching moment. The clinical preceptor helps the student understand the importance of his role as a witness to the man’s suffering. The student’s compelling description of his feelings of inadequacy during the patient encounter is followed by a thoughtful reflection on the important role that he may play even at this early stage of his training.


P12는 10 개월 후 낙태 윤리 세션에 참석합니다. 이 세션은 그가 논쟁의 여지가있는이 주제에 대한 자신의 도덕적 태도와 다른 관점을 탐구하는 데 도움이됩니다. 그는 의사로서의 미래의 역할이 자신의 개인적인 견해에 상관없이 ... 환자가 진정으로 정보에 입각 한 결정을 내릴 수있는 편견없는 정보를 제공하는 것이라고 자신이 어떻게 이해하고 있는지를 반영합니다.

At 10 months, P12 attends a session on the ethics of abortion. This session helps him to explore his own moral stance and other views on this controversial topic. He reflects on how he now understands that his future role as a doctor is to provide ‘unbiased information for … patients to make a truly informed decision’ regardless of his own personal views.


의과 대학 개학 후 15 개월 만에 P12는 구술 시험에 대한 신중한 비판을하면서 각 시험 과정에서 전문적인 행동을 평가해야한다고 제안했습니다. 이 마지막 서사의 어조는 초기 성찰의 어조와 크게 달라졌습니다. 긍정적 인 의사 역할 모델은이 학생이 의대의 학습 요구에 대한 자신의 불안을 극복하는 데 도움이되었습니다. 환자 치료의 정서적 요구에 직면했을 때 다른 의사는 환자 - 의사 관계에 대한 이해를 심화시키는 데 도움을줍니다. 공식 커리큘럼에 제기 된 과제는 자신의 가치를 다듬고 미래의 역할을 명확히 할 수있게합니다. 의대를 시작한 지 10 개월 만에 그는 자신의 전문적 역할에 대한 이해를 심화시키고 있음을 보여 주며, 전문적인 행동을 평가하는 방법에 관해 논의하는 마지막 반영에서 더욱 발전합니다. 그는 이제 첫 번째 인물에 '의사로서 ...'자신있게 글을 쓰고 있습니다.

In his final reflection, 15 months after the start of medical school, P12 writes a thoughtful critique of an oral examination, suggesting that professional behaviours should be assessed during each examination station. The tone of this final narrative has changed dramatically from that of the early reflections. Positive doctor role models have helped this student overcome his anxieties about the learning demands of medical school. When he is faced with the emotional demands of patient care, another doctor helps deepen his understanding of the patient–doctor relationship. Challenges posed in the formal curriculum allow him to refine his values and clarify his future role. Ten months after starting medical school, he demonstrates a growing identification and deepening understanding of his professional role, which is further developed in his final reflection in which he discusses ways of assessing professional behaviour. He is now writing confidently in the first person: ‘As a physician…’.



Exemplar 2


Exemplar 3






고찰

DISCUSSION


의대생의 내러티브에 대한 우리의 연구는 스칸론의 전문적 정체성 형성에 대한 역동적이고 진화하며 공동의 '발전'과정이라는 개념을 지지합니다. 9,13,19,20

Our study of medical students’ narratives support Scanlon’s concept of professional identity formation as a dynamic, evolving and co-constructed process of ‘becoming’.9,13,19,20


우리의 발견과 비슷하게, 역할 모델은 직업적 정체성 형성에 중요한 영향을 미치는 것으로 밝혀졌다. Ibarra13은 역할 모델을 관찰하고 모방하는 것이 주니어 전문직의 정체성 형성에 핵심 구성 요소임을 보여 주었다.

similar to our finding, role models have been identified as major influences on professional identity formation.12,14,41 Ibarra13 showed that observing and imitating role models was a key component in the identity formation of junior professionals.


또한, 심오한 환자 조우는 직업적 정체성의 발달을위한 비옥 한 토양이며, 좋은 역할 모델은 인간의 고통을 느끼는 데 어려움을 겪고있는 학생들에게 매우 중요합니다.

Moreover, profound patient encounters are fertile ground for the development of professional identity and good role models are invaluable for students who are struggling to make sense of human suffering.


문헌과 일치하여 우리는 전문성의 결여, 윤리적 딜레마, denigration에 대한 학생의 경험에서 볼 수 있듯이 권력 불균형을 중심으로 한 잠재 교육과정의 많은 사례를 발견했다 .21-23,33,38,39 공식적인 교과 과정은 문헌에서 de-emphasize되어왔지만, 전문적 역할을 준비하는데 이것이 중요하다는 것을 나타냅니다.

Consistent with the literature, we also found many instances of the hidden curriculum that centre around power imbalances, as seen in lapses of professionalism, student experiences of ethical dilemmas and denigration.21–23,33,38,39 Although the role of the formal curriculum has been de-emphasised in the literature, students in our study often refer to its importance in preparing them for their professional roles.


사회적 기대의 영향은 학생이 자신이 어떻게 다르게 바라 보게되는지에 대한 인식이 증가하고 있을 뿐 아니라, 직업의 권위, 명성, 책임의 함의를 인식하게 됨을 보여주었다.

The influence of societal expectations is reflected in students’ growing awareness of how they are viewed differently as well as the implications of the power, prestige and responsibility of the profession.


학생들은 다양한 이전 경험에 의해 형성되었던 기존 정체성과 함께 의과 대학에 입학합니다. 그들이 훈련을 받으면서, 고통에 둔감 해지는 등의 과정에서 이 정체성의 귀중한 측면을 잃어 버릴 염려가 있습니다.

Students enter medical school with pre-existing identities that have been shaped by a variety of prior experiences. As they progress through their training, they often express anxiety about losing precious aspects of these identities in the process, such as becoming insensitive to suffering.


우리의 세 가지 예시적인 종단적 내러티브는 전문직 정체성의 반복적, 협상적 성격과 개인이 학문, 임상 및 지역 사회 환경에서 다른 사람들과의 사건 및 상호 작용으로부터 의미를 형성하는 여러 가지 방식으로 몇 가지 중요한 발견을 강조합니다. 특히 그들은 중요한 순간pivotal moment이 직업적 정체성 형성의 과정을 어떻게 잠재적으로 변화시키고, 그 결과 변화를 위한 기회에 대한 통찰력을 제공하는지 제시합니다.

Our three exemplar longitudinal narratives highlight several important findings: the iterative and negotiated nature of professional identity and the multiple ways in which individuals construct meaning from events and interactions with others in the academic, clinical and community environments. In particular they reveal how pivotal moments can potentially alter the course of professional identity formation, thus providing insights into opportunities for change.


최근 의학 교육에서 학생들의 공감 쇠퇴에 대한 리뷰는 학습자의 스트레스를 잠재적으로 주요 요인으로 강조하며, 여기에 대한 대안이 있어야 한다고 제안합니다.

A recent review on empathy decline among students during medical training highlights learner distress as a potentially major factor, thus suggesting where action could be directed.42


이번 분석에서 드러난 주제는 개선을 위한 추가적 전략을 제시합니다. 우리는 공식 커리큘럼의 유용성, 특히 전문 역량 분야에서의 유용성을 확인합니다. 이 영역에 대해 배우면 학생들에게 신흥 전문 정체성을 개발하는 데 필요한 메타인지 적 및 성찰적 기술을 얻을 수 있습니다. 그것은 또한 사회적 기대에 대한 학생들의 이해를 발전시킬 수 있습니다. 우리의 데이터는 또한 잠재 커리큘럼의 존재를 밝혀 내고 소스를 조사하고 밝히기위한 지속적인 연구를 지원합니다. 공감 쇠퇴의 공통 관심사는 지속적인 훈련의 중요성과 수련 훈련에 전문 역량 영역을 포함시키는 것의 중요성을 시사합니다.

The themes from our analysis suggest further strategies for improvement. We affirm the utility of the formal curriculum, particularly in professional competency domains. Learning about these domains may give students the metacognitive and reflective skills they need to develop their emerging professional identities. It can also further develop dents’ understanding of societal expectations. Our data also reveal the presence of a hidden curriculum and support ongoing research to investigate and uncover its sources. The common concern of empathy decline suggests the importance of ongoing support and inclusion of professional competencies domains in residency training.


긍정적, 부정적 역할 모델링 모두 내러티브에서 강력한 주제로 부각됩니다. 우리 연구 결과는 교수진이 학생들의 전문적 정체성 형성에 역할 모델링이 미치는 중요한 영향을 더 잘 인식 할 필요가 있음을 시사합니다. [자신의 행동]과 [직업의 가치] 사이의 조화를 유지하기위한 교수진의 professional development는, 프로페셔널리즘에 대한 공식 교육과 임상 환경에서의 경험 간의 격차를 줄이는 데 도움이 될 수 있습니다. 학생들이 교수진과 임상 경험을 상의 할 수있는 기회가 있다면, 숨겨진 커리큘럼 문제가 발생했을 때 이를 해결하는 데 도움이 될 수 있습니다. 우리의 모범이 보여 주듯이, 교수진은 중대한 순간에 학생들을 지원할 수 있고 잠재적으로 전문적인 정체성 형성 과정을 바꿀 수 있습니다.

Role modelling, both positive and negative, emerges as a powerful theme in the narratives. Our findings suggest that faculty members need to be better aware of the important influence that role modelling plays on students’ professional identity formation. Professional development for faculty members to ensure alignment between their behaviour and the values of the profession could help to close the gap between formal teaching on professionalism and experiences in the clinical setting. If students have the opportunity to discuss their clinical experiences with faculty members, this could also help to address hidden curriculum issues as they arise. As our exemplars show, faculty members can support students during pivotal moments and potentially alter the course of their professional identity formation.


마지막으로,이 연구는 직업적 정체성 형성을위한 중요한 도구로서 성찰적 내러티브를 강조한다. 이러한 내러티브는 학생 역량을 조정하고 지원하기 위해 전문 역량 프로그램의 교수가 리뷰한다. 주간 소그룹 세션을 통해 학생들은 동료 및 교사와 함께 새로운 통찰력을 성찰하고 탐구 할 수있는 공간을 만들어 이러한 새로운 경험을 전문적인 정체성 형성 과정에 통합 할 수 있습니다 25.

Finally, this study highlights reflective narratives as an important tool for professional identity formation. These narratives are reviewed by faculty members in the professional competencies programme in order to calibrate and support student progress. Weekly small group sessions create a space where students can reflect and explore their new insights with peers and tutors, enabling them to integrate these new experiences into a rich process of professional identity formation.25


성찰 연습의 기술 개발은 의학 교육에 중요한 영향을 미칩니다. 성찰적 글쓰기를 통해 개발 된 향상된 자기 인식은 정규 교과 과정에서 배운 개념을 임상 환경에 통합 할 수있는 능력을 향상시킬 수 있습니다 .27,29,30,33

The development of skills in reflective practice has significant implications for medical education. The enhanced self-awareness developed through reflective writing can improve the ability of students to integrate concepts learned in the formal curriculum into clinical environments.27,29,30,33



결론

CONCLUSION


우리는 전문적인 정체성 구축을 위해 교사와 학생들에게 반사적 인 글쓰기의 힘을 웅변 적으로 설명하는 학생 서사에서 발췌한 글귀로 결론을 맺습니다.

We conclude with an excerpt from a student narrative, which eloquently illustrates the power of reflective writing for tutors and students in the construction of professional identity:


"Paper"에 대한 내 생각을 말함으로써, 내 의도를 올바른 관점에 넣고 의사 결정 과정을 객관적으로 평가하는 데 정말로 도움이되었습니다. 나는 이 성찰을 읽으면 내 마음의 내적 동작working에 대해 약간의 빛을 비추어 줄 수 있기를 바랍니다. 이것을 읽는 것은 의학을 통한 이 여정에서 제가 인도하는 나침반이 될 수있는 자신의 확신에 대한 경이로움을 가져 왔습니다.

Scribing my thoughts on “paper” has really helped me put my intentions into proper perspective and more objectively evaluate my decision-making process. I hope that reading this reflection will shed some light on the inner workings of my mind, as reading this over has done wonders for my own conviction in what I hold to be my guiding compass in this journey through medicine.


42 Neumann M, Edelh€auser F, Tauschel D, Fischer MR, Wirtz M, Woopen C, Haramati A, Scheffer C. Empathy decline and its reasons: a systematic review of studies with medical students and residents. Acad Med 2011;86:996.


29 Driessan EW, van Tartwijk J, Overeem K, Vermunt JD, van der Vleuten CPM. Conditions for successful reflective use of portfolios in undergraduate medical education. Med Educ 2005;39:1230–5.




 2014 May;48(5):489-501. doi: 10.1111/medu.12382.

Reflections: an inquiry into medical students' professional identityformation.

Author information

1
Department of Anesthesia, McMaster University, Hamilton, Ontario, Canada.

Abstract

CONTEXT:

Professional identity formation plays a crucial role in the transition from medical student to doctor. At McMaster University, medical students maintain a portfolio of narrative reflections of their experiences, which provides for a rich source of data into their professional development. The purpose of this study was to understand the major influences on medical students' professional identity formation.

METHODS:

Sixty-five medical students (46 women; 19 men) from a class of 194 consented to the study of their portfolios. In total, 604 reflections were analysed and coded using thematic narrative analysis. The codes were merged under subthemes and themes. Common or recurrent themes were identified in order to develop a descriptive framework of professional identity formationReflections were then analysed longitudinally within and across individual portfolios to examine the professional identity formation over time with respect to these themes.

RESULTS:

Five major themes were associated with professional identity formation in medical students: prior experiences, role models, patient encounters, curriculum (formal and hidden) and societal expectations. Our longitudinal analysis shows how these themes interact and shape pivotal moments, as well as the iterative nature of professional identity from the multiple ways in which individuals construct meaning from interactions with their environments.

CONCLUSIONS:

Our study provides a window on the dynamic, discursive and constructed nature of professional identity formation. The five key themes associated with professional identity formationprovide strategic opportunities to enable positive development. This study also illustrates the power of reflective writing for students and tutors in the professional identity formation process.

PMID:
 
24712934
 
DOI:
 
10.1111/medu.12382


피드백, 의사의 다양한 직무, 피드포워드 대안(Med Educ, 2010)

Feedback, the various tasks of the doctor, and the feedforward alternative

Avraham N Kluger1 & Dina Van Dijk2





도입

INTRODUCTION


사람들에게 업무 성과에 관한 정보를 제공하는 피드백 개입 (FIs)은 가장 널리 적용되는 심리적 개입 중 하나입니다. 이러한 관행은 FI가 과연 성과를 향상시키는 지 여부를 묻습니다.

Feedback interventions (FIs), which provide people with information regarding their task performance, are one of the most widely applied psychological interventions. These practices beg the question of whether or not FIs improve performance.


20 세기 동안이 질문에 대한 전형적인 대답은 긍정적이었다. 이것은 1951 년이래로 1990 년 중반까지 이 질문에 대한 연구가 시작된 이래로 얻은 지혜입니다. 예를 들어, 산업 및 조직 심리학 분야에서 'FI가 성과에 긍정적 인 영향을 미치는 것은 심리학에서 가장 받아 들여지는 원리 중 하나가되었다'고 믿어졌다 .2 그러나 대부분의 실험실 실험에 대한 포괄적 인 메타 분석은 이 결론에 의문의 여지가 있습니다 .1이 메타 분석에 따르면 FI는 평균 0.4의 표준 편차로 성능을 개선하지만 1/3에서 FI는 성능을 감소시킵니다.

The typical answer to this question during the 20th century was affirmative. This was the received wisdom from the inception of research into this question in 19051 until the mid-1990s. For example, in the field of industrial and organisational psychology, it was believed that ‘the positive effect of FI on performance has become one of the most accepted principles in psychology’.2 However, a comprehensive meta-analysis of largely laboratory experiments cast serious doubt on this conclusion.1 This meta-analysis suggested that, although FIs improve performance by 0.4 of a standard deviation on average, FIs reduce performance in over a third of the experiments.


Moderator(피드백을 다소 효과있게 만드는 조건)를 검색 할 때, 저자는 self를 위협하는 피드백일수록 퍼포먼스를 더 악화시키는 것을 발견했습니다. 그러나 놀랍게도, self 에 대한 위협은 단순히 실패에서 비롯된 것이 아닙니다. 특히 Kluger와 DeNisi1은 FI 효과가 FI sign에 의해 조절된다는 증거를 발견하지 못했습니다. 즉, 부정적인 FI (실패에 대한 정보)와 긍정적인 FI (성공에 대한 정보)는 평균적으로 실적에 미치는 영향이 다릅니다 .1

In searching for the moderators (the conditions that make feedback more or less effective), the authors found, among other things, that the more threatening the feedback to the self (e.g. ‘the task on which you will receive feedback predicts how well you will do in the rest of your career’), the more likely it is to debilitate performance. Surprisingly, however, the threat to self does not stem merely from failure. Specifically, Kluger and DeNisi1 found no evidence that FI effects are moderated by FI sign. That is, negative FIs (information about failure) and positive FIs (information about success) do not differ, on average, in their effects on performance.1



피드백 부호

THE FEEDBACK SIGN


피드백 부호의 퍼즐을 풀기위한 노력의 일환으로 Van Dijk과 Kluger4,5는 피드백 부호가 동기에 미치는 영향이 만성적인 상황과 상황적 조절초점regulatory focus에 달려 있다고 제안했습니다 .6 Higgins의 자기 조절 이론에 따르면 사람들은 두 가지 조절초점을 가지고 있습니다 : 

  • 방Prevention (경계와 형벌에 대한 우려로 특징 지워지는 정신 상태)과 

  • 성취Promotion (열망과 보상에 대한 관심이 특징 인 정신 상태). 

  • 예방조절초점이 활성화 될 때 (예를 들어 사람들이해야 할 일을하고 있다고 상상해 보도록 요구할 때), 부정적인 피드백이 긍정적인 피드백보다 참가자에게 더 많은 동기를 부여한다는 것을 알았습니다. 

  • 성취조절초점이 활성화되면 (예 : 사람들이 원하기 때문에 직장에서 일하는 것을 상상해 봄으로써) 긍정적 피드백은 부정적인 것보다 더 많은 동기를 부여합니다.


In an effort to solve the puzzle of the feedback sign, Van Dijk and Kluger4,5 suggested that the effects of feedback sign on motivation depend on both the chronic and the situational regulatory focus.6 According to Higgins’ self-regulation theory,6,7 people have two regulatory foci: prevention (a state of mind characterised by vigilance and concern with punishment), and promotion (a state of mind characterised by eagerness and concern with rewards). We predicted and found that when prevention regulatory focus is activated (e.g. by asking people to imagine working in a job because they have to), negative feedback motivates participants more than positive feedback (e.g. they report that they will invest more effort in their job), whereas when promotion regulatory focus is activated (e.g. by asking people to imagine working in a job because they want to), positive feedback motivates participants more than negative.




자기조절이론

Self-regulation theory


히긴스 (Higgins)는 사람들이 두 가지 기본적인 자기조절 시스템을 가지고 있다고 제안했다. 

    • 예방 시스템은 통증이나 처벌을 피하려는 것을 조절하며 

    • 성취 시스템은 쾌락이나 보상의 성취를 조절합니다. 


Higgins6,7 proposed that people have two basic self-regulation systems. The prevention system regulates the avoidance of pain or punishment, whereas the promotion system regulates the achievement of pleasure or reward. 


    • 예방 시스템은 사람들이해야 할 필요성, 의무 및 일로 경험되는 목표를 포함합니다. 그 (것)들을하는 실패는 고통 스러울지도 모르기 때문

    • 성취 시스템은 사람들이 원하고 싶어하는 바램, 욕망 및 물건으로 경험되는 목표를 포함합니다. 그것들을 성공시키는 것이 즐거울 수도 있기 때문입니다.

    • The prevention system involves goals that are experienced as necessities, obligations and things people feel they have to do because failing to do them might be painful.

    • By contrast, the promotion system involves goals that are experienced as wishes, desires and things people feel they want to do because succeeding in doing them might be pleasurable.


예방과 성취 초점의 차이점은 현상 유지를 위한 추진과 변화를 주도하기 위한 추진, 또는 안전에 대한 욕구와 자기성취를 위한 욕구 충족의 필요성 사이의 기본적인 갈등을 반영합니다 .6,8 일상적인 단어로 표현하자면, 우리가 하고 싶어서 하는 일 ( '성취')과 우리가 해야 하기 때문에 하는 일 ( '예방')로 구별 할 수 있습니다.

The difference between the prevention and promotion foci reflects the basic conflict between the drive to preserve the status quo and the drive to initiate change, or between the need for security and the need for selfactualisation.6,8 To put it in everyday words, we can distinguish between things we do because we ‘want to’ (promotion) and things we do because we ‘have to’ (prevention).


조절 초점과 피드백 부호에 대한 반응

Regulatory focus and the reaction to feedback sign


서로 다른 조절 시스템이 성공 대 실패 또는 피드백 부호에 어떻게 반응합니까?

How do the different regulatory systems react to success versus failure, or the feedback sign?


히긴스 (Higgins)는 

    • 성취 초에서의 성공은 긍정적 인 것뿐만 아니라 높은 각성 (예를 들어 행복감)이 특징 인 반면, 

    • 예방 초점에서의 성공은 긍정적이지만 낮은 각성 (예 : 편안한 느낌)이 특징 인 감정을 만들어 낸다는 것을 보여 주었다. 

역으로, 

    • 성취 초점에 의한 실패는 낙담 (낮은 각성)을 유발하는 반면, 

    • 예방 초점에 의한 실패는 사람들이 긴장감을 느끼게 만듭니다 (높은 각성) .9 


예를 들어, 

    • 의학 연구 (성취 초첨)에서 성공적인 결과는 행복으로 이어진다. 

    • 일상적인 외과 수술 (예방 초점)에서 성공적인 결과는 안심relief으로 이어질 것입니다.

Higgins6 demonstrated that success under the promotion focus produces feelings that are not only positive but are characterised by high arousal (e.g. feeling happy), whereas success under the prevention focus produces feelings that are positive but are characterised by low arousal (e.g. feeling relaxed). Conversely, failure under the promotion focus produces discouragement (low arousal), whereas failure under the prevention focus makes people feel tense (high arousal).9 For example, a successful outcome in medical research (promotion focus) will lead to happiness, whereas a successful outcome in a routine surgical procedure (prevention focus) will lead to relief.


이로 인해 우리는 성취 초점이 욕망의 대상이 도달했다는 신호와 추가적인 노력으로 더 많은 보상을받을 수 있다는 긍정적인 피드백에 의해 더 mobilize될 것이라는 가설을 세웠습니다. 이와 병행하여 예방 초점은 통증이나 추가적인 잠재적 처벌을 유발하는 것 또는 해결되어야 할 필요가 있는 것을 보여주는 부정적인 피드백에 의해 mobilize 될 것이라고 가설했다.

This led us to hypothesise that the promotion focus, will be further mobilised by positive feedback that signals that the object of desire is within reach and that more rewards may be available with additional effort. In parallel, we hypothesised that the prevention focus, will be further mobilised by negative feedback that signals that the cause of pain or additional potential punishment is present and needs to be dealt with.


    • 예를 들어, 관리자가 모든 사고 보고서 (예방 초점 활성화)가 지저분하고messy (부정적 피드백) 법적 조치를 취할 위험이 있음을 알려주는 경우, 당신은 이 상황을 개선하기 위해 hypervigilant해질 것이다. 대조적으로 동일한 관리자가 보고서의 구성이 잘되어 있다고 말하면 긴장을 풀고 이 정보를 기반으로 더 이상 아무 것도하지 않을 것입니다. 

    • 예를 들어, 관리자가 이니셔티브 (성취 초점 활성화)가 병원 디렉터에게 매우 잘 받아 들여지는 경우 (긍정적 피드백) 당신은 디렉터를 만날 수 있는 다른 방법을 고려하고 싶어 할 것입니다. 당신의 이니셔티브가 시연 될 수 있으며, 아마도 더 적극적으로 새롭고 개선 된 아이디어를 창출하려고 노력할 것입니다. 대조적으로, 관리자가 동일한 계획이 승인되지 않았다는 것을 알려주면 낙담하긴 할테지만, 아마도 그냥 완전히 삭제하게 될 것입니다.

For example, if your administrator tells you that all your accident reports (activating your prevention focus) are messy (negative feedback) and create the risk that you will be subject to legal action, you will be likely to become hypervigilant and act to remedy the situation. By contrast, if the same administrator tells you that your reports are very well organised, you will relax and are unlikely to do anything further with this information. Yet, if, for example, your administrator tells you that your initiative (activating your promotion focus) was very well received by the hospital director (positive feedback), you will very probably become eager to meet the director, to consider additional ways in which your initiative can be demonstrated and perhaps more actively will seek to generate new and improved ideas. By contrast, if the administrator tells you that the very same initiative was disapproved, you will be likely to be dismayed and perhaps drop it altogether.


이 간단한 예는 명확성을 위해 제공되었지만 근본적인 요점은 규제 초점과 피드백 기호가 동기 부여에 미치는 영향이 서로 연관되어 있음을 기대한다는 것입니다.

These straightforward examples are offered for the sake of clarity, but the fundamental point is that we expect to find an interaction between the regulatory focus and the feedback sign in their effect on motivation.



조절 초점-피드백 부호 상호작용에 대한 근거 리뷰

Review of evidence for the regulatory focus–feedback sign interaction


상황에 따른 규제 초점은 응답자의 절반에게 그들이 소득이없는 채 두려워했기 때문에 그들이 지켜야 만하는 직업에서 일하고 있다고 상상해 보았다(예방 초점). 나머지 절반은 그들이 항상 갖고 싶어하는 직업에서 일하고 있고 그 직업에서 발전하고 발전하기를 원한다고 상상하도록 했다(성취 초점). 피드백 사인은 상사가 방금 자신의 업무 수행에 실패했다고 말한 응답자의 절반과 상사가 자신의 업무 수행 능력에서 뛰어 났다고 말한 나머지 절반을 말함으로써 조작되었습니다. 동기 부여 (피드백 후)는 11 점 척도로 평가되는 항목 1 점으로 평가되었습니다. '지금까지의 노력에 비해 얼마나 많은 노력을 추가적으로 하려고합니까?' 노력을 투자하려는 의도는 성취 조건에서의 긍정적 피드백 또는 예방 조건에서의 부정적     피드백에서 (그 반대 경우보다) 높게 나왔다. 

Situational regulatory focus was manipulated by telling half of the respondents to imagine they were working in a job they had to keep because they were afraid of being left without income (prevention focus). The second half were asked to imagine they were working in a job they had always desired to have and that they wished to develop and advance in that job (promotion focus). Feedback sign was manipulated by telling half of the respondents that their boss had just told them they had failed in their task performance and the other half that their boss had told them they had excelled in their task performance. Motivation (after the feedback) was assessed with one item to be rated on an 11-point scale: ‘Relative to your effort thus far, how much effort do you intend to exert next?’ This intention to invest effort was significantly higher after either positive feedback in the promotion condition or negative feedback in the prevention condition relative to negative feedback in the promotion condition or positive feedback in the prevention condition.


두 번째 실험에서 우리는 실험실 밖으로 나가서 피드백 기호가 실험적으로 조작되었지만 조절 초점의 만성적 차이로 측정 된 유사한 가설 시나리오를 작업하는 사람들에게 제시했습니다. 만성 조절 초점을 측정은 세 가지로 조작화했다. 첫 번째 값은 슈워츠 인물 설문지로 알려진 슈워츠의 가치 도구의 단축 버전으로 측정 된 값을 기준으로했습니다.

In the second experiment5 we moved out of the laboratory and presented working people with a similar hypothetical scenario in which feedback sign was experimentally manipulated but regulatory focus was measured as a chronic individual difference. To measure chronic regulatory focus, we used three different operationalisations. The first was based on values, which were measured with a shortened version of Schwartz’s value instrument known as the Schwartz Portrait Questionnaire.10


만성 조절 초점의 두 번째는 직업에 기반을 두었습니다. 홀란드 직업 관련 모델에 따라 직업을 분류 할 수 있는데, 그 중 4 개는 이론적으로나 경험적으로 조절 초점에 명확하게 묶여있다 .12,13 

    • 구체적으로, 성취 초점은 Artistic and Investigative한 직업으로 분류 된 직종에서 분명해 보인다. (이 샘플에는 음악 교사, 카피라이터, 조직 컨설턴트, 연구원 및 연구 개발 직원이 포함되어 있습니다). 

    • 예방 초점은 홀랜드가 Realistic and Conventional로 분류 한 직종에서 분명히 드러난다. (표본에는 비서, 책 보관자, 회계사, 기술자 및 제조 노동자가 포함된다.)

The second operationalisation of chronic regulatory focus was based on occupation. Occupations can be classified, according to Holland’s model of vocational interest,11 into six categories, four of which are clearly tied to regulatory focus both theoretically and empirically.12,13 Specifically, promotion focus seems evident in occupations classified by Holland as Artistic and Investigative (in our sample these included music teachers, copywriters, organisational consultants, researchers, and research and development workers). Prevention focus seems evident in occupations classified by Holland as Realistic and Conventional (in our sample these included secretaries, book-keepers, accountants, technicians and manufacturing workers). 


마지막으로, 우리는 현재 일자리를 유지하려는 응답자의 동기로 만성적 조절초점을 조작화했습니다.

Finally, we operationalised chronic regulatory focus with respondents’ motives for holding their current jobs.


다음의 경우에 긍정적인 피드백은 부정적인 피드백보다 더 높은 동기를 유발했습니다.

(i) 자기 방향 값이 높고 보안성 및 적합성 값이 낮다.

(ii) 예술적 또는 조사 적 직종에 있었고,

(iii) 그들의 일을 욕망에서 벗어났다.

Specifically, positive feedback caused higher motivation than negative feedback when participants: 

(i) held high self-direction values and low security and conformity values; 

(ii) were in Artistic or Investigative occupations, and 

(iii) held their jobs out of desire. 


다음의 경우에 부정적인 피드백은 긍정적인 피드백보다 높은 동기를 유발했다.

(i) 높은 보안 및 적합성 값과 낮은 자기 방향 값을 유지했습니다.

(ii) 현실적이거나 재래식 일자리에 있었고,

(iii) 일자리를 필요성에서 벗어났다.

By contrast, negative feedback caused higher motivation than positive feedback when participants: 

(i) held high security and conformity values and low self-direction values; 

(ii) were in Realistic or Conventional jobs, and 

(iii) held their jobs out of necessity.


흥미롭게도, 성취 또는 예방 초점에서 만성적 가치가 명확하게 식별 될 수 없는 그룹은 평균적으로 피드백 조작에 의해 영향을받지 않았습니다.

Interestingly, the group whose values could not be clearly identified as chronically in either promotion or prevention focus was not affected, on average, by the feedback manipulation, which further supports our operationalisation of regulatory focus with values.


조절 초점이 피드백 부호와 어떻게 상호작용할지를 결정하는 요인으로서 Task

Tasks as determinants of regulatory foci and their interaction with feedback sign


자기 조절 이론의 이론적 확장을 발전시키기 위해 우리는 특정 과제가 예방 초점을 활성화하는 반면 다른 과제는 성취 초점을 활성화한다고 주장한

    • 어떤 과제는 Vigilance를 필요로 한다. 레이더 화면에서 물체를 식별하고, 회사 보고서의 오류를 감지하고, 청소하는 것과 같은 조심할 것을 요구하는 작업 등으로 개인이 무엇이 잘못되었거나 피해야 할 대상 (의심스러운 물건, 오류, 먼지)을 찾도록 집중하십시오. 따라서 본질적으로 이러한 작업은 예방에 중점을 둡니다. 

    • 대조적으로 어떤 과제는 열정eagerness를 필요로 한다. 새로운 아이디어를 모색하고 조직 변화를 주도하며 혁신적인 제품을 개발하는 등의 열의가 필요한 작업은 옳은 것과 득이 될 수있는 것 (아이디어, 변화, 혁신)을 찾는 데 집중합니다. 따라서 이러한 작업은 성취에 중점을 둡니다. 

따라서 Schematic하게 보자면, 성취 초점의 작업은 열망, 창의력 및 개방성이 요구되는 반면 예방 중심의 작업은 조심성, 세부 사항에 대한 주의 및 규칙 준수가 필요합니다.

To advance our theoretical expansion of self-regulation theory, we argued that certain tasks activate prevention focus, whereas others activate promotion focus. Tasks requiring vigilance – such as identifying objects on a radar screen, detecting errors in company reports, cleaning – keep individuals focused on finding what is wrong and what they should avoid (suspicious objects, errors, dirt, respectively). Therefore, as a result of their nature, these tasks produce prevention focus. By contrast, tasks requiring eagerness – such as seeking out new ideas, initiating organisational changes, developing innovative products – focus on finding what is right and what might be gained (ideas, changes, innovations, respectively). Therefore, these tasks produce promotion focus. Thus, schematically, promotion-focused tasks require eagerness, creativity and openness, whereas prevention-focused tasks require vigilance, attention to detail and adherence to rules.


    • 가설에 따르면, 생성적 작업 (성취 초점)에서 긍정적 인 피드백은 성과의 증가로 이어지고 부정적인 피드백은 성과의 감소로 이어졌다. 

    • 대조적으로, 산술적 계산 업무 (예방 초점)에서는 긍정적 인 피드백과 성능 저하가 뒤 따르고 부정적인 피드백은 성능의 증가로 이어졌습니다. 동기 부여 측정에서 유사한 패턴의 결과가 발견되었습니다.

As hypothesised, in the uses generation task (promotion focus), positive feedback was followed by an increase in performance and negative feedback was followed by a decrease in performance. By contrast, in the arithmetical calculation task (prevention focus), positive feedback was followed by a decrease in performance and negative feedback was followed by an increase in performance. A similar pattern of results was found for the motivation measure.


피드백 (부호) : 고찰

FEEDBACK (SIGN): DISCUSSION


부정적인 피드백은 예방 업무, 예방 상황 및 만성 예방이 특징 인 사람들의 동기 부여 및 성과를 향상시켜야합니다. 그러나 동시에 부정적인 피드백은 이익을 상쇄시키는 해로운 영향을 미칠 수도 있습니다.

Negative feedback, on the basis of our work, should improve motivation and performance for prevention tasks, under prevention situations and for people characterised by chronic prevention focus. At the same time, however, negative feedback may have detrimental effects that offset benefit such as those hypothesised and summarised in this article.


자신의 능력에 대한 믿음은 심리학에서 자기 효능감 (self-efficacy)으로 분류됩니다. 이 구조는 모든 유형의 업무에서 실제 성과를 예측하는 것으로 밝혀졌습니다 .15 자기효능에 대한 반추와 위협에도 불구하고 자신의 노력과 노력을 열심히 노력하지만 다음 시험에도 실패합니다. 이 경우 학습된 무력감으로 이어질 수 있습니다 .16 따라서 우리의 이론과 발견은 [부정적인 피드백에 대한 초기 반응이나 실패]가 [능력에 대한 믿음]을 훼손하지 않는 작업에만 국한 될 수 있습니다.

Belief in one’s ability is labelled in psychology as self-efficacy, a construct that was found to predict actual performance on all types of task.15 Suppose further that, despite the rumination and the threat to your self-efficacy, you increase your effort and work hard, but then also fail the next examination. This time, you may plunge into learned helplessness.16 Thus, our theory and findings may be limited to initial reactions to negative feedback or to tasks for which failure is not likely to undermine belief in ability.


이러한 추가적 복잡 요인 (예방 및 성취 분야에서의 능력에 대한 믿음)은 앞으로 개념적 및 경험적 발전을 기다려야합니다.

This additional complicating factor (belief in one’s ability under prevention and promotion foci) must wait for further conceptual and empirical development.



헬스케어 시스템에 대한 시사점

Implications for the health care system


직장에서 우리의 연구 결과를 구현하는 데 있어서 한 가지 어려움은 성취 또는 예방에만 초점을 두는 상황을 파악하는 것이 항상 쉬운 것은 아니라는 점입니다. 성취와 예방이 뒤섞인 좋은 예는 건강 관리 시스템입니다.

One difficulty in implementing our findings in the workplace is that it is not always easy to identify a situation as relating solely to a promotion or prevention focus. A good example of a prevention and promotion mix is the health care system.


의료진은 예방과 성취 초점이 혼합되어 있지만, 의료 커뮤니티는 오류 회피, 위험 관리를 강조하고, 반대로 창의력 및 기타 성취 중심 목표에 대해서는 손실의 최소화를 강조하는 것처럼 보입니다 (적응력에 대한 많은 문헌이 있음을 알고 있지만 프로모션 중심의 이상에 적합한 것으로 보이는 혁신). 이 직감을 테스트하기 위해 PubMed에서 '진단 오류'및 '오류 감소'라는 용어의 빈도에 대한 간단한 테스트를 실시했을 때 90,000 개 이상의 레퍼런스를 확인했습니다. 비슷한 검색이 '창의성'과 '기회'를 사용하여 수행되면 60,000 개 미만의 레퍼런스가 나오는 것과 비교된다.

Although medical staff are faced with a mix of prevention and promotion foci, the community seems to emphasise error avoidance, risk management and the minimising of losses over creativity and other promotion-focused goals (although we realise there is a large literature on adaptive expertise and innovation that would appear to fit with promotion-focused ideals). To test this hunch, we ran a simple test of the frequency of the terms ‘diagnostic error’ and ‘error reduction’ in PubMed and identified over 90 000 references, which may be compared with the less than 60 000 references obtained when a similar search was conducted using ‘creativity’ and ‘opportunity’.


긍정적 피드백과 부정적 피드백의 양을 조정하는 것은 매우 섬세한 노력이지만, 피드백의 다른 요소 (예 : 피드백 소스에 대한 신뢰도)가 Kluger와 DeNisi가 유도 한 복잡성을 결정할 수 있다는 것을 의미합니다. 이들은 이것을 '양날의 검'이라고 말했다.

It implies not only that tweaking the amount of positive versus negative feedback is a very delicate endeavour, but that many other features of the feedback (e.g. trust in the source of feedback) may determine its effectiveness, a complexity that led Kluger and DeNisi to refer to feedback as ‘a double-edged sword’.18


피드백의 핵심 요소는 선호 표준preferred standard과 실제 상태actual state사이의 불일치를 만드는 것으로 보인다 (이론적 검토를 위해 1 참조, 의학에서의 긴장을 설명하는 질적 연구는 19 참조). 피드 포워드 인터뷰 '로 알려진 비-피드백 불일치 유도 기술은 이익이 될 것입니다.

As it seems that the key ingredient of feedback is the creation of a discrepancy between a preferred standard and the actual state of affairs (for a theoretical review, see 1; for a qualitative study describing this tension in medicine, see 19), perhaps a non-feedback discrepancy-inducing technique known as the ‘feedforward interview’3,20,21 will prove to be beneficial.



피드포워드 인터뷰

THE FEEDFORWARD INTERVIEW


피드 포워드 인터뷰 (FFI)는 피드백의 한계를 극복하기 위해 고안된 다목적 인터뷰 프로토콜입니다. FFI는 appreciative inquiry theory과 방법에 대한 appreciative interview component에 대한 이론 기반의 수정이다 .22) 그 뒤에있는 이론을 설명하기 전에, 우리는 FFI 프로토콜의 5 단계 (상세한 프로토콜에 대해서는 3 참조)를 기술한다.

The feedforward interview (FFI) is a multi-purpose interview protocol designed to overcome some of the limitations of feedback. The FFI is a theory-based modification of the appreciative interview component of appreciative inquiry theory and methods.22 Before explaining the theory behind it, we describe the five steps of the FFI protocol (for a detailed protocol, see 3).



FFI 프로토콜

The FFI protocol


도입

Introduction


"나는 네가하는 일 (또는 질병이나 다른 조사 영역과의 투쟁)에서 네가 부정적인 경험과 긍정적 인 경험을 모두 가지고 있다고 확신한다. 오늘은 긍정적 인 경험에만 집중하고 싶습니다. '

‘I am sure that during your work [or your struggle with your disease or any other domain of inquiry] you have had both negative experiences and positive experiences. Today, I would like to focus only on your positive experiences.’


이야기

Story


'당신의 일생 동안 [행복하고 격려하는] 삶의 충만 함을 느끼는 동안, 심지어 당신의 행동 결과가 알려지기 전에 일어난 이야기를 제발 들려 주시겠습니까?' 우리가 '당신의 결과가 나오기 전에' 조직의 보상이나 사회적 승인에 관계없이 단순한 활동이 그들에게 유익한 경우를 고려하기 위해 면담자가 지시하는 행동이 알려졌다.

‘Could you please tell me a story that happened during your work [life] during which you felt full of life [happy, energised], even before the results of your actions became known?’ Note that we emphasise ‘before the results of your actions became known’ to direct interviewees to consider cases in which the mere activity was good for them, regardless of organisational rewards or societal approval.


피크

Peak


'이 이야기 최고 순간은 무엇 이었습니까? 절정에 당신은 무엇을 생각 했습니까? 그 순간에 어떻게 느끼셨습니까? (생리 반응 포함)?

‘What was the peak moment of this story? What did you think at the peak moment? How did you feel at that moment [including your physiological reaction]?’


조건 (학습; 탐구)

The conditions (learning; inquiry)


'이 이야기가 일어날있는 조건, 자신과 다른 사람들, 그리고 조직 (물리적, 시간적)은 무엇 이었습니까?'

‘What were the conditions, in yourself, others and the organisation [physical, temporal] that allowed this story to happen?’


피드 포워드 질문

The feedforward question


'[직장에서] 살아 있다는 느낌을주는 조건을 상기하십시오. 이러한 조건을 [직장에서] 번성하는 방법을 보여주는 도로 표지판 또는 표지로 간주하십시오. 미래의 [직장에서] 현재의 행동이나 가까운 미래를위한 계획은 당신을 직장에서 행복하게 할 수있는 조건에 가깝게, 또는 멀리 떨어져있게합니까?

‘Recall the conditions that allowed you to feel alive [at work]. Consider these conditions as road signs or beacons that show you how to flourish [at work]. To what degree does your current behaviour [at work] or your plans for the immediate future take you closer to, or further away from, the conditions that allowed you to be happy [at work]?’ 



FI와 FFI 비교

Comparisons of FIs with FFIs


피드백과 FFI 모두 [표준 (목표)]과 [표준에 대한 자신의 입장과 관련된 일부 정보] 사이의 긴장을 유도하는 것처럼 보입니다.

Both feedback and the FFI appear to induce a tension between a standard (a goal) and some information pertaining to one’s standing relative to the standard,1,19


전형적 피드백은 외부 평가 기준 (예 : 과정에서 A 등급을 구성하는 것이 강사에 의해 설정 됨)과 표준으로부터의 거리에 관한 외부 정보 (예 : 실제 등급)를 모두 포함하지만, FFI는 과거 성과에 기반한 탁월한 내부 표준을 개발하고 즉각적인 미래에 현재 존재하거나 현재 존재할 것으로 예상되는 표준으로부터의 거리에 대한 내부 정보를 생성합니다.

whereas typical feedback involves both an external standard of evaluation (e.g. what constitutes an A grade in a course is set by the instructor) and external information regarding the distance from the standard (e.g. the actual grade received), the FFI seeks to establish both an internal standard of excellence based on past performance and to generate internal information on the distance from the standard that currently exists or is expected to exist in the immediate future.


즉, FFI는 먼저 인터뷰 대상자와 자신의 필요에 봉사serve하는 성찰 과정을 만들고자 노력합니다 .23 FFI는 지속 가능한 전략을 지원하는 내부 표준을 밝히기 위해 인터뷰 대상자의 상세한 이야기를 수집합니다(에피소드 메모리 사용). 직장 경험이나 건강 상태에서 드문 사례를 생각해 보면 의미론적 지식에 저장되지 않은 새로운 데이터 (즉, 만성 행동에 관한 성문화 된 추상적 이론으로 번역되지 않은 데이터)를 드러내준다 . 이것은 가능한possible 우수한 성능 (수행 능력에 대한 자신의 믿음 증가)과 사람들이 최상의 성과 (동시에 성취 초점과 자기 효능감을 높임)를 복제, 확장 할 수있는 불일치에 관한 새로운 통찰력을 창출 할 수 있습니다.

That is, the FFI seeks to create a reflection process that firstly serves the interviewee and his or her needs.23 To uncover an inner standard that supports a sustainable strategy of superior performance, the FFI emphasises the gleaning of a detailed story from the interviewee (use of episodic memory). Recalling a story that may be rare in one’s work experience or in one’s health history may reveal new data that are not stored in semantic knowledge (i.e. data that were not translated into a codified abstract theory of the person regarding his or her more chronic behaviour). This may create a novel insight regarding possible superior performance (increasing one’s belief in the ability to perform) and a discrepancy that is likely to drive people to replicate and expand their best performance (simultaneously activating promotion focus and high self efficacy).


FFI 효과성의 근거

Evidence for FFI effectiveness


적어도 FFI는 피드백-유사 프로세스를 만듦으로써, 퍼포먼스에 긍정적 영향을 주고, 동시에 인터뷰어에게도 도움이된다.

it seems that, at the very least, the FFI can generate feedback-like processes that may positively affect performance (by enhancing the intention to pursue goals) and at the same time benefit the interviewer.


의학교육에서 FFI활용 제안

A proposal for using the FFI in medical education


의학 교육에서 FFI를 활용할 수있는 가능성은 다양합니다.

There is a multitude of possibilities for utilising the FFI in medical education. 


첫째, 노련한 강사는 동료들과 인터뷰를 통해 자신의 커리어에서 최고의 이야기를 만들어 낼 수있었습니다. 이러한 이야기에서 나오는 조건은 개인 (예 : 지식, 호기심) 및 시스템 (예 : 환자와의 좋은 관계, 시간 압력 없음) 모두에서 의료 행위의 탁월성에 대한 중요한 전제 조건을 지적 할 수 있습니다. 발견되어야 할 조건들 중 일부는 많은 의사들의 일의 공통된 현실 (예 : 시간 압박의 부재)과는 거리가 멀지 만 이러한 조건을 드러내는 것은 학생들과 의료 기관 모두에게 우수한 의료 서비스 제공하기 위한 이상적 조건을 강조해준다.

Firstly, seasoned instructors could be interviewed by colleagues to generate peak stories from their careers. The conditions that emerge from those stories may point to critical prerequisites for excellence in medical practice, at both the individual (e.g. knowledge, curiosity) and system (e.g. good relationships with the patients, no time pressure) levels. Although some of the conditions to be discovered are very far from the common reality of the work of many doctors (e.g. absence of time pressure), exposing these conditions may highlight, for both students and the medical establishment, some of the ideal conditions that facilitate the delivery of excellent medical care. 


실제로 일반 의사들과 함께 수행 한 소수의 FFI는 의사를 행복하고 자랑스럽게 만드는 핵심 요소 (직장에서 '삶의 충만 함'을 느끼게하는 요소)가 환자와 관계를 맺고 충분한 시간을 갖고 있다는 점을 지적했습니다. 이러한 조건은 수용되는 경우 의사의 복지를 지원하고 뛰어난 결과물을 전달하고 연소와 불만족을 예방할 수있는 표준입니다.

Indeed, a few FFIs we carried out with general practice doctors indicated that among the key factors that make doctors happy and proud (generating feelings of being ‘full of life’ at work) were building relationships with patients and having ample time. These conditions are standards that, if they are accommodated, may both support the doctor’s well-being and facilitate the delivery of outstanding results, and prevent burnout and dissatisfaction.24


CONCLUSIONS





 2010 Dec;44(12):1166-74. doi: 10.1111/j.1365-2923.2010.03849.x.

Feedback, the various tasks of the doctor, and the feedforwardalternative.

Author information

1
Department of Management, School of Business Administration, Hebrew University of Jerusalem, Mount Scopus, Jerusalem, Israel. avik@savion.huji.ac.il

Abstract

OBJECTIVES:

This study aims to alert users of feedback to its dangers, explain some of its complexities and offer the feedforward alternative.

METHODS:

We review the damage that feedback may cause to both motivation and performance. We provide an initial solution to the puzzle of the feedback sign (positive versus negative) using the concepts of promotion focus and prevention focus. We discuss additional open questions pertaining to feedbacksign and consider implications for health care systems.

RESULTS:

Feedback that threatens the self is likely to debilitate recipients and, on average, positive and negative feedback are similar in their effects on performance. Positive feedback contributes to motivation and performance under promotion focus, but the same is true for negative feedback under prevention focus. We offer an alternative to feedback--the feedforward interview--and describe a brief protocol and suggestions on how it might be used in medical education.

CONCLUSIONS:

Feedback is a double-edged sword; its effective application includes careful consideration of regulatory focus and of threats to the self. Feedforward may be a good substitute for feedback in many settings.

PMID:
 
21091758
 
DOI:
 
10.1111/j.1365-2923.2010.03849.x


성찰 능력 촉진과 평가: REFLECT 루브릭 개발(Acad Med, 2012)

Fostering and Evaluating Reflective Capacity in Medical Education: Developing the REFLECT Rubric for Assessing Reflective Writing

Hedy S. Wald, PhD, Jeffrey M. Borkan, MD, PhD, Julie Scott Taylor, MD, MSc,

David Anthony, MD, MSc, and Shmuel P. Reis, MD, MHPE




의학 교육 내에서 성찰 능력을 키우는 것은 다음에 도움이 된다.

  • 비판적 사고 능력 개발,

  • 임상 추론,

  • 전문직업성 향상

성찰은 핵심 프로페셔널 실무 역량에 필수적입니다.

성찰은 개인의 경험을 실천에 inform하는 전문성-강화적, 메타인지적, 암묵적 프로세스이다.

Fostering reflective capacity within medical education helps develop critical thinking skills,1,2 inform clinical reasoning,3 and enhance professionalism4 among trainees. Reflection—the expertise-enhancing, metacognitive, tacit process5,6 whereby personal experience informs practice7—is integral to core professional practice competencies.8,9


성찰 능력의 개발은 의학 교육에서 피드백을 효과적으로 사용하기 위해 필요에 따라 강조되어 왔으며, 자기 조절과 평생 학습의 필수적인 측면이다 .5,10 성찰은 임상 실습에 내재 된 복잡성에 직면 할 때 지침을 제공 할 수있다. 성찰은 "어렵거나 도덕적으로 모호한 상황"에서 행동하는 방법의 선택에 잠재적으로 영향을 미친다 .12 이러한 맥락에서 성찰적 실천을 발전시키는 것은 개인의 성격이나 "미덕"을 고양시켜 "마음의 습관habit of mind", "성향적 경향dispositional tendency", "의학적 도덕성medical morality"을 키우는 것과 관련되어있다. 이것들은 임상 추론, 윤리, 가치관과 관련하여 발생할 수 있는 딜레마에 접근하는데 영향을 준다. 성찰은 또한 "phronesis"를 개발하는데 도움이 된다. 실천적 지혜란 적응적 전문성adaptive wisdom 또는 실천적 지혜practical wisdom로서 전문적이고 역량있는 의료행위를 guide하는 것이다 .13,17 자신의 사고 프로세스를 성찰하지 못하는 것(가정, 신념, 결론에 대한 비판적인 검토를 포함)은 최근 의학에서의 진단 오류의 원인이되는 "의사의 과신physician overconfidence"의 인지 구성 요소이다.18


Development of reflective capacity has been highlighted as necessary for effective use of feedback in medical education10,11 and is an essential aspect of self-regulated and lifelong learning.5,10 Reflection can guide practitioners as they encounter the complexity that is inherent to clinical practice, potentially influencing the choice of how to act in “difficult or morally ambiguous circumstances.”12 In this vein, the development of reflective practice has been associated with enhancing an individual’s character or “virtue,” fostering a “habit of mind,”13 “dispositional tendency,”14 or “medical morality”15 with which to approach clinical reasoning and ethical or values- related16 dilemmas that may arise. It also helps in developing “phronesis”— adaptive expertise or practical wisdom to guide professionally competent clinical practice.13,17 Failure to reflect on one’s own thinking processes, including critical examination of one’s assumptions, beliefs, and conclusions, was recently described as a cognitive component of “physician overconfidence,” a contributing cause of diagnostic error in medicine.18


성찰 능력에 대한 정의는 무척 많은데, 일반적으로 미래의 행동을 이끌기 위한 검토, 해석, 이해 경험을 포함한다.

Definitions of reflective capacity abound, though they generally include review, interpretation, and understanding experiences to guide future behavior.



  • 만 (Mann)과 동료 연구원은 성찰 능력을 "더 깊은 의미와 이해를 이루기위한 지식과 경험의 비판적 분석"이라고 정의한다.

  • 성찰 능력의 이론적 기둥에는 다음이 포함된다.

    • Schon's의 진보: 

      • Knowing in action

      • 놀람 

      • 행동 중 성찰(thinking on our feet), 

      • 실험, 

      • 행동 후 성찰 (postexperience reflection)

    • Boud 등: 성찰에서 감정을 다루는 것에 중점을 둡니다.

  • Moon 23은 학습에서의 성찰을 위한 meaning making의 구성요소를 소개한다.

  • Mezirow24는 premise reflection을 transformative or confirmative learning과 연결하여 성찰의 개념화에 깊이와 폭을 더합니다.

  • Mann과 동료는 성찰 모델에서 반복적이고 수직적 인 두 가지 차원을 기술한다. 

    • 반복적 차원은 경험에 의해 유발 된 것으로서, 새로운 이해를 일으킨다. 

    • 수직적 차원은 표면적 (기술적) 수준과 더 깊은 (분석적) 수준의 성찰을 결합합니다.

  • Mann and colleagues19 define reflective capacity as “critical analysis of knowledge and experience to achieve deeper meaning and understanding.” 

  • Theoretical pillars of reflective capacity include 

    • Schon’s20 progression from knowing-in-action, to surprise, reflection-in-action (“thinking on our feet”21), experimentation, and, finally, reflection-on-action (postexperience reflection), and 

    • Boud and colleagues’22 emphasis on addressing feelings in the reflective process. 

  • Moon23 introduces the component of meaning making to reflection in learning, and 

  • Mezirow24 links premise reflection with transformative or confirmatory learning, bringing additional depth and breadth to reflection conceptualization. 

  • Mann and colleagues19 describe two overarching dimensions in models of reflection: iterative and vertical. 

    • The iterative dimension of reflection is one triggered by experience, producing a new understanding; 

    • the vertical dimension combines surface (descriptive) and deeper (analytic) levels of reflection.


성찰이 반드시 직관적인 것은 아니며, 특히 학생들의 의료 진로 초기에 그러하다. 따라서 의학 교육자들은 훈련 과정 초기에 성찰 능력 개발을 촉진하기 위해 혁신적인 교육 방법을 구현하려고 노력합니다. 성찰 연습을 용이하게하기 위해 반사 쓰기 (RW)를 사용하는 것이 잘 문서화되어 있습니다.

Reflection is not necessarily intuitive, especially in students at initial stages of their medical careers. Thus, medical educators strive to implement innovative educational methods to promote development of reflective capacity early in the training process. The use of reflective writing (RW) to facilitate reflective practice is well documented.25–29


"상호작용적" RW- 학습자가보다 정교한 성찰 기술을 개발할 수 있도록 교사로부터 서면 피드백을 통합하는 것 .29

“interactive” RW— integration of written feedback from faculty to foster learners’ development of more sophisticated reflection skills.29


내러티브 의학의 하위 집합 인 RW는 자기 인식을 배양하고 RW와 임상 실습간에 공유되는 참석, 대표, 제휴 과정을 통해 clinical encounter를 위한 서사 역량을 구축한다. RW는 실용적 의학적 추론의 "해석적이고 내러티브적인"31 자질을 구현한다. RW를 통해 배양될 수있는 서사적 역량과 정서적 자기 성찰 능력은 정서적으로 어려운 상황에 대한 회복탄력성을 강화하고 나쁜 소식을 전파하는 등 의사 소통에 어려움을 겪을 수있는 능력을 증진시킬 수 있습니다.

RW, a subset of narrative medicine, cultivates self- awareness and builds narrative competence for clinical encounters through the processes of attending, representing, and affiliating that are shared between RW and clinical practice.25 RW embodies the “interpretative and narrative”31 qualities of practical medical reasoning. Narrative competence and emotional self-reflective ability, which may be cultivated through RW, can bolster resilience to emotionally challenging situations32 and promote capability in challenging communication encounters, such as breaking bad news.33



학습자를 능숙하게 지원하고 challenge하여 성찰 능력을 개발시켜주기 위해서 멘토는 다음을 필수적으로 갖추어야 한다.

  • 성찰적 순간을 알아 차리고,

  • 경험에 대한 이해 (정서적 반응 포함),

  • 불확실성을 용인 ("전문적 지식의 핵심"이 되는 임상 실습의 "지저분함")

  • 새로운 통찰력을 사용

Mentors who skillfully support and challenge learners through 

  • noticing the reflective moment, 

  • making sense of the experience (including emotional responses), 

  • tolerating uncertainty (or “messiness” of clinical practice at the “heart of professional expertise”20), and 

  • using new insights5,34 are an essential component to developing reflective capacity. 


성찰적 내러티브에 대한 guided written 피드백은 보다 심층적인 성찰 과정을 촉진 할 수있다 .35,36

Their guided written feedback about reflective narratives can promote a more in-depth reflective process.35,36


성찰의 정도와 수준을 결정하기 위해 written reflective 저널을 분석하기 위해 사용 가능한 코딩 시스템을 적용 할 때 중요한 한계와 문제점이 있습니다.

There are significant limitations and challenges in applying available coding systems for analyzing written reflective journals to determine the extent and level of reflection.


의대생의 전문성 개발 및 최상의 교육 관행의 지표로서 반영 수준에 대한 공식적인 평가에 대한 관심 증가에 비추어,우리는 기존의 정성적 및 양적 척도와 성찰 능력을 위한 프레임 워크에 대한 검토를 통해 경험적으로 테스트되고 간결한 "사용자 친화적 인"평가 패러다임을 설계하려고했습니다.

In light of the increased interest in formal assessment of level of reflection as an indicator of professional development of medical students and best teaching practices,35 we set out to design an empirically tested, concise, “user- friendly” evaluative paradigm stemming from our review of existing qualitative and quantitative measures and frameworks for reflective capacity.



방법과 결과

Method and Results


예비 단계

Preliminary stage: Literature and model review


스노우볼 기법 활용

We then used snowball technique to extend the literature search from retrieved articles to other relevant sources. The snowball technique for sampling is a method whereby existing study participants suggest, recruit, or assist in recruiting future subjects from among their acquaintances or contacts.55


문헌 검토에서 네 가지 modality를 도출

From our review of the literature, we identified four existing modalities of reflection assessment: 

  • (1) scales (“paper and pencil” forms with responses scored by respondents), 

  • (2) thematic coding (qualitative analysis that codes themes in the narratives), 

  • (3) qualitative analysis (more elaborate qualitative analysis moving beyond themes into models), and 

  • (4) analytical instructional rubrics (theory-based delineation of dimensions or levels of an assessed construct).


위의 네 가지 접근법을 검토함.

We next examined these four approaches for their utility in the assessment of medical students’ RW. Our deliberations were based on both theoretical and functional premises.


  • Scale: Although our literature search uncovered an existing scale for measuring “personal reflection,”54 we did not use it for our analysis given its intended purpose for students’ self- reported reflective capacity rather than for assessment of the construct within RW. 

  • Thematic coding: Thematic coding26,27 with sole emphasis on extraction of themes was also inadequate for our evaluative aims because students’ reflective levels within RW could not be determined with such a method. 

  • Qualitative analysis: Similarly, qualitative analysis was deemed insufficient because of its inability to provide focused differentiation of reflective levels. 

  • Analytical instructional rubric:
    네 번째 접근법인 분석적 지도 루브릭은 특별히 평가에 사용됩니다. 
    Analytical instructional rubrics 은 이론적 틀을 기반으로하고 특정 목적을 위해 맞춤식으로 작성 될 수 있기 때문에 반영 수준 평가에 가장 적합한 선택 인 것으로 보입니다. Analytical instructional rubrics 은 평가 된 구조의 다양한 차원 또는 수준을 정의하고 각각에 대한 벤치 마크를 정의하며 양적 점수를 산출 할 수 있습니다. (형성평가와 총괄평가에 사용되는) 루브릭 형식은 다를 수 있지만 공통된 기능으로는 strong to weak work product에 대한 연속성에 대한 품질 수준 그라데이션뿐 아니라 프로젝트를 완료하거나 기술 습득시 비교적 복잡한 목록 또는 "무엇이 중요"한지도 포함됩니다.

    The fourth approach, the analytical instructional rubric,56 is specifically used for assessment. Analytical instructional rubrics seemed to be the best choice for the assessment of reflective levels because they are based on a theoretical framework and can be tailor-made for specific purposes. An instructional rubric delineates the various dimensions or levels of an assessed construct, defining benchmarks for each, and can yield quantitative scores.57,58 The rubric format—used for both formative and summative purposes—may vary, though common features include quality level gradations on a continuum of strong to weak work product, as well as a relatively complex list of criteria or “what counts” in completing a project or mastering a skill.59


Iterative development of the initial rubric


Once we had determined which approach to use, we began the process of developing an actual analytical instructional rubric to assess students’ reflective narratives.


The first iterative cycle: Initial reflection rubric.


The second iterative cycle: The REFLECT rubric.


Third iteration.


Present iteration.


'레벨'을 보여주는 숫자를 생략하여 총괄평가보다는 형성평가 목적으로 사용을 유도하고자 하였음.

Given our primary emphasis on analyzing quality of reflection within RW in a developmental context, we decided to omit assigned numbers for reflection “levels” to encourage use of the rubric for formative rather than summative purposes (Appendix 1).


REFLECT rubric application


REFELCT 루브릭을 적용하는 네 단계

The process of applying the REFLECT rubric to a reflective narrative consists of four steps:


1. 전체 서사를 읽으십시오.

2. 단편화 (Fragmentation) : 서사의 세부 사항(구 / 문장)으로 Zoom in하여 모든 기준의 존재와 퀄리티를 평가합니다 (부록 1 참조). 각 기준이 나타내는 수준을 결정하십시오.

3. 게슈탈트 (Gestalt) : 서술의 전반적인 게슈탈트로 zoom out한다(단계 2의 세부 분석을 고려함). 내러티브 전체가 달성하는 수준을 결정합니다. Critical reflection 수준이 달성되면 학습 결과 중 하나 또는 두 가지 모두 (변형 또는 확증 학습)도 달성되었는지 여부를 결정합니다.

4. 본문의 사례를 통해 수준 및 학습 성과 할당을 defend하십시오. "행간을 읽지 마십시오."

1. Read the entire narrative.

2. Fragmentation: Zoom in to details (phrases/sentences) of the narrative to assess the presence and quality of all criteria (see Appendix 1). Determine which level each criterion represents.

3. Gestalt: Zoom out to consider overall gestalt of the narrative (while taking into consideration the detailed analysis of Step 2). Determine which level the narrative as a whole achieves. If the Critical Reflection level is achieved, determine whether either or both learning outcomes (transformative or confirmatory learning) were also achieved.

4. Defend the assignment of level and learning outcomes with examples fromthe text. Do not “read between the lines.”


A sample reflective narrative and REFLECT rubric analysis is presented in Appendix 2. 

Another example can be seen in Supplemental Digital Appendix 1, http://links.lww.com/ACADMED/A68.


통계 분석

Statistical analyses


We applied single-measure ICCs 61 to all datasets and computed ICCs for each iteration of the REFLECT in the pilot developmental phases (Table 1).


ICC를 사용

An ICC is used to measure ordinal/continuous data for interrater reliability for two or more raters when data may be considered interval. It may also be used to assess test–retest reliability. An ICC may be conceptualized as the ratio of between-groups variance to total variance. In single-measure reliability, individual ratings constitute the unit of analysis (i.e., single-measure reliability provides the reliability for a single judge’s rating). Single-measure ICC is the more conservative estimate and can represent how much agreement one rater will have with other raters. We chose to use ICCs because the levels in rubric iterations are ordinal data where gradations are interpretable, with no “natural zero.” Each application of the developing rubric involved at least three raters.




고찰

Discussion


RW 교육은 의료 교육자가 학생들이 성찰적 임상가가 되도록 요청할 때 번성했다 .3,62

RW initiatives within medical education have prospered as medical educators are called on to prepare students to become reflective clinicians.3,62


서면 에세이 방법론은 공감, 개인 성찰, 전문성과 같은 중요한 역량을 활용할 수 있지만 RW의 효과적인 평가는 어려울 수 있습니다.

Although written essay methodology may tap into important competencies such as empathy, personal reflection, and professionalism, effective assessment of RW can be challenging.32


REFLECT 루브릭은 현재 AMS 내에서 닥터 과정과 가정의학 실습 내의 구조화 된 RW 패러다임에 사용됩니다.

The REFLECT rubric is currently used within AMS for structured RW paradigms within the Doctoring course and family medicine clerkship,


교수진은 연구 목적으로 전반적인 "수준"을 평가하지만, 학생들은 이 정보를 피드백으로받지 못합니다. 최근의 근거는 글쓰기의 질과 성찰적 내용간에 유의한 관계가 없음을 보여주므로, 교수진은 글쓰기의 질을 평가하지 않습니다.

Faculty assess overall “level” of reflection for research purposes, but students do not receive this information as feedback. Faculty do not assess quality of writing, in keeping with recent evidence of a lack of significant relationship between quality of writing and reflective content.63



루브릭 개발 프로세스는 다음을 포함한다

  • 문헌에 더 깊이 관여하면서 파일럿 루 브릭을 정제하고,

  • 루브릭을 다양한 데이터 세트에 적용

  • 특정 기준에 합의가 이루어질 때까지 토론.

현재의 반복에서의 ICC 점수는 허용 가능한 interrater 신뢰도를 보여줍니다. 교수개발 워크샵 및 학생지도에서의 피드백을 기반으로 할 때, 평가자와 학생에게 scoring의 feasibility와 acceptability는 유망합니다.


The process of rubric development involved 

  • refining a pilot rubric through further immersion in the literature, 

  • application of the rubric to various datasets, and 

  • discussion until consensus was reached on specific criteria. 

The ICC scores at the present iteration demonstrate acceptable interrater reliability. Feasibility of scoring and acceptability to both raters and students are promising based on feedback from faculty development workshops and use in student instruction.




표준화에 대한 우리의 노력이 유망한 정신측정학적 특성을 가져 왔지만, 총괄평가보다는 형성평가로 브릭을 사용하는 것이 좋습니다. 성찰에 대한 공식적인 접근 방식을 장려함으로써 성찰의 authenticity가 결여 될 위험이있는 "정량화"또는 "채점"과는 대조적으로, 우리는 REFLECT 루 브릭을 교육자가 성찰 능력의 개발을 평가하고 학생들의 성찰적 내러티브에 건설적이고 개별화 된 피드백을 산출하는 데 도움을 줄 수 있는 정성적 앵커를 제공한다고 생각합니다.

Although our efforts at standardization have yielded promising psychometric properties, we recommend using the REFLECT rubric for formative rather than summative assessment. In contrast to “quantifying” or “grading,” which may risk a lack of reflective authenticity by encouraging more formulaic approaches to reflection,67 we envision the REFLECT rubric as providing qualitative anchors to help educators both assess development of reflective capacity dimensions and formulate constructive, individualized feedback to students’ reflective narratives. 


현재 우리는 학습자의 양적 및 총괄 평가에 사용되는 루브릭에 대한 요구에 반대합니다 .68 이러한 사용은 잠재적으로 상호작용적 RW 내에서 성찰 능력 개발을 저해하고 역효과를 유발할 수 있으므로주의해야합니다.

At this time, we counter calls for rubrics to be used for quantitative and summative assessment of learners.68 We urge caution in this regard because such use may prove counterproductive, potentially inhibiting the development of reflective capacity within interactive RW.


Conclusions


RW 및 그 평가는 의사의 전문성 개발에 대한 이해를 높이고 이 과정을 지원하기위한 교육학 이니셔티브를 지원할 수 있습니다. 효과적인 환자 치료 (자기 인식, 공감, 통찰력) 및 의사의 복지에 대한 전문성의 차원뿐만 아니라 반사를 포함한 메타인지 능력은 잠재적으로 RW 운동을 통해 촉진 될 수 있습니다 .30

RW and its assessment may enhance our understanding of the professional development of physicians and help guide pedagogic initiatives aimed at supporting this process. Metacognitive skills including reflection as well as dimensions of professionalism in effective patient care (such as self- awareness, empathy, and insight), and physician well-being can potentially be fostered through RW exercises.30


50 O’Sullivan PS, Aronson L, Chittenden E, Niehaus B. Reflective ability rubric and user guide. MedEdPortal. August 26, 2010.


53 Devlin MJ, Mutnick A, Balmer D, Richards BF. Clerkship-based reflective writing: A rubric for feedback. Med Educ. 2010;44:1143–1144.


43 Reis SP, Wald HS, Monroe AD, Borkan JM. Begin the BEGAN(The Brown Educational Guide to the Analysis of Narrative)—A framework for enhancing educational impact of faculty feedback to students’ reflective writing. Patient Educ Couns. 2010;80:253– 259.




 2012 Jan;87(1):41-50. doi: 10.1097/ACM.0b013e31823b55fa.

Fostering and evaluating reflective capacity in medical educationdeveloping the REFLECT rubric for assessing reflective writing.

Author information

1
Warren Alpert Medical School of Brown University, Providence, Rhode Island 02860, USA. hedy_wald@brown.edu

Erratum in

  • Acad Med. 2012 Mar;87(3):355.

Abstract

PURPOSE:

Reflective writing (RW) curriculum initiatives to promote reflective capacity are proliferating within medical education. The authors developed a new evaluative tool that can be effectively applied to assess students' reflective levels and assist with the process of providing individualized written feedback to guide reflective capacity promotion.

METHOD:

Following a comprehensive search and analysis of the literature, the authors developed an analytic rubric through repeated iterative cycles of development, including empiric testing and determination of interrater reliability, reevaluation and refinement, and redesign. Rubric iterations were applied in successive development phases to Warren Alpert Medical School of Brown University students' 2009 and 2010 RW narratives with determination of intraclass correlations (ICCs).

RESULTS:

The final rubric, the Reflection Evaluation for Learners' Enhanced Competencies Tool (REFLECT), consisted of four reflective capacity levels ranging from habitual action to critical reflection, with focused criteria for each level. The rubric also evaluated RW for transformative reflection and learning and confirmatory learning. ICC ranged from 0.376 to 0.748 for datasets and rater combinations and was 0.632 for the final REFLECT iteration analysis.

CONCLUSIONS:

The REFLECT is a rigorously developed, theory-informed analytic rubric, demonstrating adequate interrater reliability, face validity, feasibility, and acceptability. The REFLECT rubric is a reflectiveanalysis innovation supporting development of a reflective clinician via formative assessment and enhanced crafting of faculty feedback to reflective narratives.

PMID:
 
22104060
 
DOI:
 
10.1097/ACM.0b013e31823b55fa


경계를 넘어: 성찰적 글쓰기와 성찰적 역량(J Gen Intern Med, 2010)

Beyond the Margins: Reflective Writing and Development of Reflective Capacity in Medical Education

Hedy S. Wald, PhD1 and Shmuel P. Reis, MD, MHPE1,2

1Department of Family Medicine, Warren Alpert Medical School of Brown University, Pawtucket, RI, USA; 2Division of Family Medicine, Ruth & Bruce Rappaport Faculty of Medicine, Technion-Israel Institute of Technology, Haifa, Israel.




성찰의 변형적 행위 - 암묵적인 것이 명시적이 되고, 새로운 마음의 습관이 발달한다.

The transformative act of reflection—the implicit becomes explicit and new habits of mind develop.


성찰적 글쓰기 (RW)

reflective writing (RW)


이야기 의학 (narrative medicine) - 질병 서사를 인식하고, 흡수하고, 해석하고, 감동 할 수있는 능력을 갖춘 의학.

narrative medicine – medicine practiced with the competence to recognize, absorb, interpret, and be moved by stories of illness-


결국 임상의는 근본적으로 이야기가 있는 사례를 통해 가르치고 의사소통하며 추론합니다 3. 그러한 교육은 더 이상 새로운 것이 아니며, 이러한 이론적 토대는 의학교육에서 내러티브 의학 커리큘럼 이니셔티브 확산의 토대가 되었습니다.

Clinicians, after all, fundamentally teach, communicate, and reason through cases with stories3. Such pedagogy is no longer the renegade new kid on the block—these theoretical underpinnings have served as a foundation for proliferation of narrative medicine curricula initiatives within medical education.



상호 작용하는 RW (학생들의 성찰적 서사를 읽고 응답하기)를 통해, 우리는 학생들이 환자에게 이야기를 이끌어내고, 거기서 진단적 추론을 할 때, "속도를 늦추고" 인식의 수준을 높이도록 가르칩니다. 이 경험을 나타내는 학생의 실제 텍스트를 참조하여 의학교육자는 

  • 가정에 대한 지지적인 도전, 

  • (환자 및 학생의) 감정적 반응 탐구, 

  • 관련된 새로운 관점의 고려를 장려

...함으로써 RC 개발을 촉진할 수 있다.

Through interactive RW—reading and responding to students’ reflective narratives—we teach our students to “slow down”5 and become more aware in the clinical encounter as they elicit a patient’s story and embark on diagnostic reasoning. Referencing the student’s actual text that represents this experience, medical educators facilitate development of RC with 

  • supportive challenging of assumptions, 

  • exploring emotional responses (of patient and student), and 

  • encouraging consideration of new perspectives as relevant.


역량 기반의 의학 교육은 학부 및 대학원 의학 교육의 황금 표준이며, RC를 활용한 교육은 핵심 핵심 구성 요소로 강조되고 있습니다. 그러나 말은 쉽지만 행동은 어렵다.

Competency-based medical education is the golden standard for both undergraduate and graduate medical education with RC now highlighted as integral core component. Easier said than done.


성찰적 역량(RC).

reflective capacity (RC).


RC는 효율적인 교육학 및 평가를 시행하는 교육자에게 어려운 과제를 제기 할 수 있습니다. 성찰이란 무엇입니까? 왜 이것을 습득하는 것이 핵심 역량으로 간주되는가? 배울 수 있습니까? 평가할 수 있는가?

RC can present a challenge for educators charged with implementing effective pedagogy and assessment. What is reflection? Why is it deemed essential for acquiring core competencies? Can it be learned? Assessed?


RC에 빛 드리우기

SHINING LIGHT ON REFLECTIVE CAPACITY



  • 메티인지적 과정. 자신과 상황에 대한 더 큰 인식
    “Reflection is a metacognitive process”, Sandars recently defined, “that occurs before, during, and after situations with the purpose of developing greater understanding of both the self and the situation so that future encounters with the situation are informed from previous encounters”.8 


Both “reflection” and “reflective capacity” terminology has been used11; we have selected “reflective capacity” as our modus operandi(작업방식) to refer to the ability to reflect; the putting of the reflection construct into effect.


  • RIA와 ROA
    Mann
    et. al.’s highlighted some theoretical pillars as central for educating the “reflective practitioner”.9 These included Schon’s core processes of “reflection-in-action” (reflection in the moment) and reflection-on-action (post-experience reflection)10,

  • 감정
    Boud
    et.al.’s inclusion of attending to feelings in reflective process11, and 

  • 경험을 해석하는 방식의 확인 또는 변형
    Mezirow’s
    description of reflective learning as “either confirmation or transformation of ways of interpreting experience”(12, p. 6). 

  • 사고와 행동 사이의 대화
    Schon
    described reflective practice as a “dialogue of thinking and doing through which I become...more skillful (13,p.31) and used the term “professional artistry” to “refer to the kinds of competence practitioners sometimes display in unique, uncertain, and conflicted situations of practice” (14, p. 8).


RC에 들어가는 것들

RC is at the core of mindful practice which includes 

  • self-awareness, 

  • regulation, and 

  • monitoring, 

  • clarifying values, and 

  • recognizing the affective domain of medical care 15.



Schon의 재즈 즉흥 연주에 대한 은유는 적절하다 .10 Practice에는 "기술적인 합리성"을 뛰어 넘는 사려 깊은 행동이 필요하며, 음악가는 즉각적으로 사용가능한 "musical figures의 레퍼토리" 뿐만 아니라 "익숙하고 예측 가능한 음악적 스키마"를 활용하여 펼쳐지는 음악의 새로운 감각을 얻음과 동시에 자신의 퍼포먼스를 조정합니다. (10, p.55).

Schon’s metaphor of jazz improvisation for capturing the essence of practice is apt.10 In line with his purporting practice to be thoughtful action with reflection, going beyond “technical rationality”, he described musicians’ use of both “familiar, predictable musical schema” as well as a readily available “repertoire of musical figures” to adjust their performance as they gain a new sense of the unfolding music. (10, p.55).



Epstein에 따르면, "성찰의 목표"는 지식과 기술의 습득뿐만 아니라 informed flexibility, 지속적인 학습, 겸손과 같은 마음의 습관도 개발해야 하며, 이는 "균형 잡힌 프로페셔널리즘" 또는 [과학과 자기 반성의 통합]이라는 개념에 부합한다19. .21

“The goal of reflection”, according to Epstein, “should be to develop not only one's knowledge and skills, but also habits of mind that allow for informed flexibility, ongoing learning and humility"19, consonant with a concept of “balanced professionalism” or integration of scientific and self-reflection.21 


RC는 그와 같이 의학에서 바람직하다고 여겨지는 blend의 tangible expression을 제시해주며, 이는 축적되는 과학적 지식 기반과 그것을 적용할 수 있는 실천적 지혜(practical wisdom)를 의미한다. 본질적으로, 이는 medical expertise의 구현embodiment이다

RC, we suggest, offers tangible expression of such a desired blend in medicine, i.e. the cumulative scientific knowledge base and the practical wisdom (phronesis) to apply it... in essence, the embodiment of medical expertise.


성찰적 글쓰기 교육 및 성찰 능력 : 기회 및 도전 과제

REFLECTIVE WRITING CURRICULA IMPLEMENTATION AND REFLECTIVE CAPACITY: OPPORTUNITIES AND CHALLENGES


RW는 의학 교육 내에서 자기 반성과 자기 주도 학습을 촉진하는 효과적인 메커니즘으로 설명되어왔다 .4,22

RW has been described as an effective mechanism for promotion of self-reflection and self-directed learning within medical education.4,22


그러나 최근 연구에서, 레지던트 교육에서 RW는 낮은 수준의 성찰을 보여주었으며, 의대생의 RW에 대해서도 그 수준이 다양하였다. 이는 성찰이 반드시 직관적인 것이 아니며, 교육적 개입이 필요하다는 전제를 뒷받침합니다.

Recent studies have, however, shown low levels of reflection in RWwithin residency training26,27 as well as variable level of reflection in medical students’ RW28, supporting the premise that reflection is not necessarily intuitive and educational interventions are warranted.


전망은 유망하다. 예를 들어 강사의 서면 피드백은 학생이 class 블로그에 올린 성찰적 글에 대한 추가적인 성찰을 자극했습니다 .29

Prospects are promising. Instructors’ written feedback, for example, stimulated additional reflection in clerkship students’ reflective postings to a class blog.29


학생의 acceptability, 즉 학생 "바이-인"은 어떠한가? RW 이니셔티브에 대한 학생들의 피드백은 혼합되어 있습니다. 예를 들어, "Net Generation"의 학습 스타일 상 RW engagement가 적은 것은 추가적인 교육적 도전이 될 수 있습니다 .3 "Net Generation"는 멀티미디어 이미지가 풍부하고 사회적 상호 작용을 위한 집단 활동 환경을 선호하기 때문에 Web 2.0 기술의 혁신적인 사용이 제안되었습니다 .33. 또한 RW 그룹 활동에서 동료 간 피드백을 통한 학습 향상은 소셜 미디어 도구, 특히 위키, 블로그 및 팟 캐스트를 사용하면 성찰학습을 개선하고 새로운 협력적 차원을 추가 할 수있는 가능성을 강조합니다.

And what of acceptability, i.e. student “buy-in”? Students' feedback to RW initiatives has been mixed. Less RW engagement within learning styles of the "Net Generation", for example, presents additional pedagogic challenges.33 Innovative use of Web 2.0 technologies has been proposed since learning preferences of the “Net Generation” include environments rich in multi-media images and working in groups for social interaction33. In addition, enhanced learning through peer-to-peer feedback within reflective writing group exercises23,34 highlights the potential for social media tools, particularly wikis, blogs, and podcasts, to improve and add new collaborative dimensions to reflective learning.35


RW에서 RC측정하기

GRAPPLING WITH THE GRAY—MEASUREMENT OF RC IN RW


RC36의 본질적 메타인지적, 암묵적 과정은 애매하게 보일 수 있으며, 명백한 공식화 및 측정은 애매합니다. 스토리 텔링을 통한 성찰 학습을 평가하기위한 "템플릿"이 개발되었습니다 .37 이론적으로 기초한 RC 측정이 가능합니다. 많은 경우 자체 보고서 형식이긴 하지만, 다양한 수준의 RC를 식별 할 수 있습니다.

Inherent metacognitive, tacit processes of RC36 can appear obscure, rendering its explicit formulation and measurement elusive. “Templates” for assessing reflective learning through storytelling have been developed.37 Theoretically based measures of RC are available, albeit many in self-report form,21 and different levels of RC can be discerned.



적용하기 어려운 텍스트 요소를 포함하여 사용 가능한 루 브릭 코딩 시스템의 제한 사항이 설명되었습니다 .40

Limitations of some available rubric coding systems, including difficult-to-apply textual elements have been described.40



RW에 대한 formulaic 접근법을 채택한 경우, authenticity가 떨어지는 문제가 생길 수 있으며, RW 내에서 RC의 공식적 평가가 이루어질 때 나타날 수 있습니다. 본질적으로, 어떻게 교육 환경에서 "사회적 바람직함 "을 위한 potential에도 학습자의 authenticity가 보존 될 수 있을 것인가?

The issue of compromised authenticity with students adopting a more formulaic approach to RW may emerge as formal assessment of RC within RW is implemented. In essence, how can learners’ authenticity be preserved43 despite potential for “social desirability” within an educational context?


RW 및 기타 이니셔티브를 통한 RC 진흥의 유망한 분야에 대한 초기 열정은 전문직 생활주기의 단계 내에서 구조물을 평가하고 전문적 실무에서 그 효과를 입증해야 할 필요성에 의해 단련됩니다.

Initial enthusiasm for the promising field of RC promotion through RW and other initiatives is sobered by the need to assess the construct within stages of the professional life cycle and demonstrate its effectiveness in professional practice.


마지막 성찰

CONCLUDING REFLECTIONS


재즈 음악가들이 역동적인 상호 작용에 참여하면서, 듣기 좋은 음악을 즉흥적으로 연주하듯, RC는 환자 중심의 의학을 적용함에있어 정보에 입각 한 유연성을 촉진 할 수 있기를 기대합니다.

As jazz musicians engage in dynamic interplay, improvising on musical structure for a melodious outcome, so too it is hoped can RC promote informed flexibility in applying patientcentered medicine.




 2010 Jul;25(7):746-9. doi: 10.1007/s11606-010-1347-4. Epub 2010 Apr 21.

Beyond the marginsreflective writing and development of reflective capacity in medicaleducation.

Author information

1
Memorial Hospital, Department of Family Medicine, Warren Alpert Medical School of Brown University, Pawtucket, RI 02860, USA. hedy_wald@brown.edu

Abstract

Reflective capacity has been described as an essential characteristic of professionally competent clinical practice, core to ACGME competencies. Reflection has been recently linked to promoting effective use of feedback in medical education and associated with improved diagnostic accuracy, suggesting promising outcomes. There has been a proliferation of reflective writing pedagogy within medical educationto foster development of reflective capacity, extend empathy with deepened understanding of patients' experience of illness, and promote practitioner well-being. At Alpert Med, "interactive" reflective writing with guided individualized feedback from interdisciplinary faculty to students' reflective writing has been implemented in a Doctoring course and Family Medicine clerkship as an educational method to achieve these aims. Such initiatives, however, raise fundamental questions of reflection definition, program design, efficacy of methods, and outcomes assessment. Within this article, we consider opportunities and challenges associated with implementation of reflective writingcurricula for promotion of reflective capacity within medical education. We reflect upon reflection.

PMID:
 
20407840
 
PMCID:
 
PMC2881974
 
DOI:
 
10.1007/s11606-010-1347-4


전문직간학습의 공통역량 정의(Med Teach, 2017)

Defining a set of common interprofessional learning competencies for health profession students

Maree O’Keefea, Amanda Hendersonb and Rebecca Chicka

aFaculty of Health and Medical Sciences, The University of Adelaide, Adelaide, Australia; bGriffith University, School of Nursing and Midwifery, Brisbane, Australia




배경

Background


교수학습법에 대한 학제 간 및 / 또는 전문직 간interprofessional 접근에 대한 장벽으로는 다음이 있다.

  • 여러 과목별 교육과정의 시간표를 조정하는 로지스틱한 과제

  • 자원 제약, 

  • 학제 간 평가 및 전문 인정위원회의 기대치 차이

  • 학생 다양성, 

  • 변화에 대한 전반적인 저항(Pecukonis 외 2008, Forte & Fowler 2009, Hoffman & Redman-Bentley 2012, Kezar & Elrod 2012). 

Frequently cited barriers to a more interdisciplinary and/or interprofessional approach to learning and teaching include 

  • the significant logistic task of timetabling activities across different discipline curricula, 

  • resource constraints, 

  • disciplinary differences in assessment and professional accreditation council expectations, 

  • student diversity, and 

  • more general resistance to change (Pecukonis et al. 2008; Forte & Fowler 2009; Hoffman & Redman-Bentley 2012; Kezar & Elrod 2012). 


또한 한 대학의 다양한 보건 전문가의 대표성과 유용성으로 인해 복잡성이 있습니다. 이미 붐비는 커리큘럼에서 공간을 찾는 것 역시 큰 문제이다.

There are also complexities arising from the representation and availability of different health professions in any one university. Finding space in the already crowded curriculum adds further challenge.


학생들의 직업적 정체성의 발달과 사회화 과정은 미래의 interprofessional work을 위한 중요한 준비로 제안된다 (Arndt et al., 2009).

The development of students’ professional identity and socialization is proposed as an important preparation for future interprofessional work (Arndt et al. 2009).


학생에게 interprofessional context에서 [core disciplinary skills과 professional identity의 발달]과 [구체적인 interprofessional 지식과 기술의 발달]은 서로 구별 할 필요가 있다 (Nisbet et al. 2011). 많은 IPL 활동이 특정 Interprofessional 학습 역량 그 자체를 다루기보다는, interprofessional한 맥락에서 개별 분야의 core competency를 가르치는 방식으로 구성된다고 주장된 바 있다.

there is a need to distinguish between the intent to support development of core disciplinary skills and professional identity in an interprofessional context for students, and the development of specific interprofessional knowledge and skills (Nisbet et al. 2011). It can be argued that many interprofessional learning activities comprise core disciplinary competencies that are being taught in an than interprofessional context rather addressing specific interprofessional learning competencies per se.


Interprofessional practice와 환자 중심의 치료는 많은 요소와 의도를 공유합니다 (MacDonald 외 2010, Englander 외 2013, Fox & Reeves 2015).

Interprofessional practice and patient-centered care share many elements and intent (MacDonald et al. 2010;Englander et al. 2013; Fox & Reeves 2015). 


이러한 의료 발전과 함께, 대학들은 졸업생들에게 점점 더 명시적으로 협력과 팀워크 스킬을 강조하고 있습니다. 학습 성과와 "graduate attributes"에 대한 강조는, [고용에 필요한 능력에 대한 인식]을 높이고 [고용주와 지역 사회의 니즈와 기대에 대한 반응]을 반영한다 (Nisbet et al. 2011; Oliver 2013).

In parallel to these developments in health care, universities are more overtly committing to graduating students with skills in collaboration and teamwork. This emphasis on learning outcomes and “graduate attributes”  reflects a greater awareness of the abilities needed for employment and a responsiveness to employer and community needs and expectations (Nisbet et al. 2011; Oliver 2013). 


호주 내에서는 다른 많은 국가들과 마찬가지로 interprofessional 교육 및 실무 측면이 보건 전문가 교육 인증 표준에 나타나고 있습니다. 그러나 이러한 표준은 IPL 역량에 대한 구체적인 설명보다는 일반적인 원칙을 진술하는 방식으로 나타난다. 예를 들면 다음과 같습니다 : 

  • "전문 간 연수의 원칙과 실습이 커리큘럼에 포함되어 있습니다"(Australian Dental Council 2014, 3 페이지); 

  • "의료 프로그램은 학생들이 상호 전문 팀에서 일하고 학습하는 경험을 포함하여 다른 보건 전문가들과 함께 일하고 다른 의료 전문가들과 함께 학습 할 수 있도록 보장합니다."(Medical School Accreditation Committee 2012, 9 페이지);

Within Australia, as in many other countries, aspects of interprofessional learning and practice are appearing in health profession education accreditation standards. However, these standards tend to more general statements of principles than specific descriptions of interprofessional learning competencies. Examples include: 

  • “principles of inter-professional learning and practice are embedded in the curriculum” (Australian Dental Council 2014, p. 3); 

  • “the medical program ensures students work with, and learn from and about other health professionals, including experience working and learning in interprofessional teams” (Medical School Accreditation Committee 2012, p. 9);


이 연구의 목적은 모든 직업 군과 관련성이있는 IPL 역량 statement의 구체적 세트를 확인하는 것이 었습니다.

The aim of this study was to identify a specific set of interprofessional learning competency statements that have relevance for all health professions. 




방법

Methods


The authors reviewed six national and international interprofessional competency frameworks previously identified in a comprehensive report as “important and influential” (Interprofessional Curriculum Renewal Consortium 2013, p. 32). Together these frameworks provided a total of 165 competency statements (Table 1).


each framework was mapped to the Australian outcome Learning and Teaching Council (ALTC)learning statements for Health, Medicine and Veterinary Science (Table 2)(O’Keefe et al. 2011). 


  • professionalism, 

  • clinical practice, 

  • health promotion, 

  • evidence based practice, 

  • collaboration and 

  • life-long learning


A thematic analysis was conducted whereby the three authors 165 independently allocated each of the interprofessional statements to one of the six ALTC learning outcome categories (Braun & Clarke 2006).


Following this initial allocation, a word cloud analysis was undertaken for each ALTC learning outcome category (Worditout). All the statements allocated to a particular category were loaded into the online tool and a word cloud was generated.


Based on the relative font size used for each word in the word cloud, the 10 most frequently appearing words in each learning outcome category were identified and ranked in order of frequency. Where various forms of a word were included these were aggregated and the ranking order adjusted accordingly.


As a result of the activity described above, the 165 interprofessional learning statements were clustered into groups within each of the six ALTC learning outcome categories according to their content. Duplicate statements were identified within each group and removed. Common content was combined into single statements. Competencies that were deemed as core for health professional practice irrespective of whether this was uniprofessional or multiprofessional were also set aside as not being specifically required for interprofessional learning. Examples of statements deemed to reflect a core professional competency as distinct from a specific interprofessional competency included: 

  • Develop trusting relationships with patients/clients/families and other team members (Canadian Interprofessional Health Collaborative 2010, p. 16); 

  • Apply leadership practices that support collaborative practice and team effectiveness (Interprofessional Education Collaborative Expert Panel 2011, p. 25); 

  • Uses knowledge of non-judgmental and anti-discriminatory practice when contributing to decision making processes in the interprofessional team (Combined Universities Interprofessional Learning Unit 2004, p. 69).



결과

Results


The distribution of the 165 statements across the ALTC learning outcome categories is shown in Table 3 along with the most frequently appearing words within each category.



A set of 12 draft competency statements was presented to the roundtable participants for review.



Table 4. The Interprofessional learning competency statements.


IPL competency statements


IPL의 원칙은 건강 관리에서의 개별 훈련의 역할을 이해하고 가치를 인정하며 존중하는 것을 포함합니다. IPP는 환자 및 인구의 이익을 보건 의료 전달의 중심에 둔다. IPP(interprofessional practice)의 핵심 요소는 헬스케어 전달에서 다른 보건 전문가의 기술을 인정하고 사용하는 것입니다. 그것은 관점을 명확히하고, 다른 보건 전문가로부터 통찰력과 학습을 가능하게하는 상호 작용에 의해 뒷받침됩니다.

The principles of interprofessional learning encompass understanding, valuing and respecting individual discipline roles in health care. Interprofessional practice places the interests of patients and populations at the center of health care delivery. A key element of interprofessional practice is the recognition and use of the skills of other health professionals in health care delivery. It is supported by interactions that clarify perspectives, and enable insights and learning from other health professions.


연구 프로그램이 끝나면 healthcare degree의 entry-level 졸업생은 다음을 수행 할 수 있습니다.

On completion of their program of study, graduates of any professional entry-level healthcare degree will be able to:


? 환자, 고객, 가족 및 기타 전문가들에게 전문 직업인으로서의 경험을 설명하십시오.

? 다른 보건 전문가의 업무 분야를 설명하십시오.

? 전문가의 의견을 유능하고 자신감있게 표현하고 discipline specific한 언어를 정중하게 피하십시오.

? 다른 건강 전문가와 함께 환자 / 고객 관리care 목표 및 우선 순위 계획

? 다른 건강 전문가와 함께 환자 / 고객의 보살핌care을 강화할 수있는 기회를 확인하십시오.

? 서로 다른 discipline의 관점에서 발생하는 환자 치료와 관련하여 불일치를 인식하고 해결합니다.

? 전문가 수준의 실무와 관련하여 프로토콜 및 관행을 비판적으로 평가합니다.

? 다른 직업의 동료에게시기 적절하고, 민감하며, 유익한 피드백을주고, 동료들로부터 피드백에 정중하게 응합니다.

 Explain interprofessional practice to patients, clients, families and other professionals

 Describe the areas of practice of other health professions

 Express professional opinions competently, confidently, and respectfully avoiding discipline specific language

 Plan patient/client care goals and priorities with involvement of other health professionals

 Identify opportunities to enhance the care of patients/clients through the involvement of other health professionals

 Recognise and resolve disagreements in relation to patient care that arise from different disciplinary perspectives

 Critically evaluate protocols and practices in relation to interprofessional practice

 Give timely, sensitive, instructive feedback to colleagues from other professions, and respond respectfully to feedback from these colleagues


이러한 심의의 결과는 원래의 12 개 역량 세트를 8 가지 IPL 역량의 집합으로 재구성하는 것이 었으며, 이를 통해 IPP에서 환자의 중심적인 위치를 분명히 하였다 (표 4) (건강직업 인증위원회 회의 2015).

the outcome of these deliberations was a redrafting of the original set of twelve competencies into a set of eight interprofessional learning competencies together with a new statement of principles that made clear the central place of the patient in relation to interprofessional practice (Table 4) (Health Professions Accreditation Councils' Forum 2015).



고찰

Discussion


앞에서 언급했듯이 여러 jurisdictions에서 개발 된 여러 프레임워크 및 IPL 역량 보고서가 존재하며, 종종 유사한 내용과 의도로 작성됩니다. 그러나 IPL 활동에 참여한 결과로 모든 학생이 획득 할 수있는 구체적이고 평가 가능한 역량은 분명하지 않습니다. 이러한 역량 집합은 각 개별 분야 내에서 기대되는 역량과 구별되어야 하며, 진정한 IPL 성과를 반영해야합니다.

As noted earlier, multiple frameworks and interprofessional learning competency statements exist that have been developed by different jurisdictions, often with very similar content and intent. However, the specific, assessable competencies to be acquired by all students as a result of participating in interprofessional learning activities have been unclear. Such a set of competencies should be distinct from competencies that are expected within each individual discipline and should reflect true interprofessional learning outcomes.


협력적 전문직 네트워크를 개발하기 위해서는 전문직 종사자들 사이에 IPL의 공통 모델이 수용되어야 한다(Bainbridge 2014). 과거의 분야별 학습 성과와는 달리 구체적이고 평가 가능한 IPL 성과에 대한 일반적인 합의가 이루어지지 않았기 때문에, 지금까지 각 대학은 학생들의 학습 활동 및 평가에서 촉진과 지원이 필요할 것으로 예상되는 것이 무엇인지에 대한 지침을 거의 제공하지 못했다. 또한 구체적 역량에서 파생된 구체적이고 평가 가능한 학습 성과가 없을 경우 IPL 평가는 성과보다는 프로세스에 초점을 맞출 위험이 있습니다.

The development of collaborative professional networks also requires the acceptance of common models of interprofessional learning across professions (Bainbridge 2014). A lack of general agreement on a set of specific and assessable interprofessional learning outcomes (as distinct from disciplinary learning outcomes) has in the past provided universities with very little guidance on what it is they were expected to be facilitating and supporting in learning activities and assessments with their students. It is also the case that in the absence of specific and assessable learning outcomes that are derived from specific competencies, there is a risk that the assessment of interprofessional learning will focus on process rather than outcome measures.


IPL 성과의 구체적이고 집중된 성격은 (건강 분야의 커리큘럼에 점차 효과적으로 적용되어온) 존경, 신뢰, 의사 소통 및 팀워크와 같은 분야별 핵심 스킬에 useful addition이 된다. 동시에 각 기관은 예상되는 IPL 성과 달성을 지원하기 위해 특정 학습 활동을 지속적으로 선택할 수 있습니다. 보건 전문 분야에 걸쳐 단일 역량 세트를 공유하는 것은 IPL 커리큘럼 개발을 촉진할 것이다.

The specific and focused nature of the interprofessional learning outcomes are a useful addition to core disciplinary skills such as respect, trust, communication and teamwork that are increasingly being effectively accommodated into the curricula of health disciplines. At the same time institutions can continue to exercise choice in selecting specific learning activities to support achievement of expected interprofessional learning outcomes. Sharing of a single set of competencies across health professions should also facilitate interprofessional learning curriculum development.


마지막으로, 이 연구는 기존의 statement들이 보건 전문가들 간의 상호 작용에만 중점을 두었으며, 환자 / 고객에 대한 언급은 놀랍게도 거의 없었음을 드러냈다. IPP의 기본 정신이 환자 중심의 진료를 촉진하고 환자의 건강 결과를 최적화하는 것이라면 환자에게 더 큰 초점을 맞출 필요가 있다. 이번 연구에서 도출한 역량 선언문statement에는 "IPP는 환자 및 인구의 이익을 의료 전달의 중심에 둔다"라는 초기 진술이 있습니다 (표 4).

As a final observation, undertaking this activity highlighted an emphasis on interactions between health professionals in existing statements. References to patients/client were surprisingly few. If the underlying ethos of interprofessional practice is to promote patient centered care and optimize patient health outcomes, there may still be a need for a greater focus on the patient. In the current set of competency statements, there is an initial statement of principle that “interprofessional practice places the interests of patients and populations at the center of healthcare delivery” (Table 4).




 2017 May;39(5):463-468. doi: 10.1080/0142159X.2017.1300246. Epub 2017 Mar 23.

Defining a set of common interprofessional learning competencies for health professionstudents.

Author information

1
a Faculty of Health and Medical Sciences , The University of Adelaide , Adelaide , Australia.
2
b Griffith University, School of Nursing and Midwifery , Brisbane , Australia.

Abstract

INTRODUCTION:

Increasingly recognized as a core component of contemporary health profession education, interprofessional learningoutcomes remain difficult to define and assess across disciplines. The aim of this study was to identify a single set of interprofessionallearning competency statements with relevance to all health professions.

METHODS AND RESULTS:

Six national and international interprofessional competency frameworks were reviewed and combined to give a total of 165 competency statements. Following a process of mapping and grouping these statements into common content areas, duplicate content was removed. In addition, content deemed as a core competency for one or more individual health professions was removed. A round table of experts reviewed the remaining statements and agreed a final set of eight. Each statement was expressed as a specific learning outcome that could be assessed and which described behaviors and practices that students could routinely expect to engage with, and participate in, during the course of their study.

CONCLUSION:

Identifying specific interprofessional competencies that students of all health professions require will enable more effective implementation of interprofessional learning activities and assessment within the core curriculum.

PMID:
 
28332419
 
DOI:
 
10.1080/0142159X.2017.1300246


근무지기반평가 이해: 옳은 질문을, 옳은 방식으로, 옳은 것에 대해, 옳은 사람에게(Med Educ, 2012)

Making sense of work-based assessment: ask the right questions, in the right way, about the right things, of the right people

Jim Crossley1 & Brian Jolly2






도입

INTRODUCTION


역사적으로 평가는 종종 중요한 것보다는 측정 가능한 것을 측정했습니다. 그러나 지난 30 년 동안 우리는 점점 더 중요한 것을 가르치고 평가하려고 시도합니다.

Historically, assessments have often measured the measurable rather than the important. Over the last 30 years, however, we increasingly attempt to teach and assess what matters most.


이 개혁에는 세 가지 주요 주제가있었습니다.

This reformation has had three main themes:


첫째, (예를 들면 Biggs and Collis의 SOLO (관찰 된 학습 결과의 구조) 분류법에 반영되어있는 것처럼) 피상적인 지식 테스트에서 이해, 분석, 해석 대한 테스트로의 변화가 지식테스트 설계에 도움을 주었다.

First, the move from the testing of superficial knowledge towards the testing of understanding, construction and interpretation, reflected, for example, in Biggs and Collis’ SOLO (structure of observed learning outcomes) taxonomy,1 has informed developments in knowledge test design.


(http://dohwan.tistory.com/1430 , http://dohwan.tistory.com/887)


둘째, Bloom의 원래 분류 체계에 반영된 기술과 태도가 지식만큼 중요 할 수 있다는 인식은 새로운 형식의 임상 시험에 기여했습니다.

Second, the recognition that skills and attitudes can be as important as knowledge, reflected in Bloom’s original taxonomy,2 has contributed to new formats of clinical examination.


마지막으로 심리 측정의 관점에서 보자면, 평가자의 주관성과 성과의 사례 특이성을 강조하면서, OSCE와 mini-CEX와 같이 다양한 평가 형식에 걸쳐 여러 개의 '미니'테스트 샘플을 사용하는 것으로 변화해갔다.

Finally, psychometric perspectives, in highlighting assessor subjectivity and the case-specificity of performance,3 have prompted a move towards multiple ‘mini’ test samples across many different assessment formats, such as the objective structured clinical examination (OSCE) and the eponymous miniclinical evaluation exercise (mini-CEX).4


이러한 발전의 대부분은 평가를 해체하였으며deconstructed, 어떤 사람은 그 결과로 학습learning을 해체deconstruct하였다고 주장한다. 즉, 평가를 위해서 행동을 하위 구성 요소로 분해하거나, 단순히 그러한 방식으로 샘플링하게 되었고, 이는 학습자가 전체 그림에 더 집중하지 않고 개별적 요소나 "역량"에 더 신경쓰도록 만들었다. 그러나 흥미롭게도 역량 운동은 완전히 대조되는 방향을 제공했습니다. 실제로 실무에서는 실제 업무상의 문제를 다루기 위해 역량의 모든 구성 요소가 함께 정리되고 통합되어야한다고 주장했다. 밀러의 피라미드는 이해를 위해서 지식은 필요하지만 충분하지는 않다는 것을 암시함으로써 이러한 아이디어를 잘 모델링한다. 이해는 필요하지만 능력(또는 역량)을 위해서는 충분하지 않으며, 능력은 필요하지만 실제 매일매일의 퍼포먼스에 충분하지는 않습니다 .6 피라미드의 각 새로운 레이어는 분리 된 것을 재구성합니다.

Many of these developments have deconstructed assessments and, some would argue, consequentially deconstructed learning. That is, breaking the assessed behaviour into subcomponents, or even simply sampling it in that way, has mandated learners to focus less on the big picture and more on elements or underpinning ‘competencies’. Interestingly, however, the competency movement also provided an altogether contrasting direction. It argued that, in practice, all the component parts of a competence must be marshalled together and integrated to deal with real workplace problems.5 Miller’s pyramid6 models this idea well by implying that knowledge is necessary, but not sufficient, for understanding. Understanding is necessary but not sufficient for ability (or competence), and ability is necessary but not sufficient for actual day-to-day performance.6 Each new layer of the pyramid reconstructs what had been separated.


이것은 (통제 된 (해체 된) 환경에서 평가할 때 의사의 능력이 실제 일상적인 수행을 신뢰할 수있게 예측하지 못한다는 것을 입증한 연구결과에 기반하자면) 평가에도 매우 높은 관련성을 가진다.7,8 의사가 실제로 매일매일 수행하는 방법을 알고 싶다면, 의사가 일상적인 업무를 수행 할 때 평가를 받아야합니다. 본질적으로 이것은 직장 기반 평가 (WBA)의 중요성에 대한 사례를 나타냅니다.

This proves to be highly relevant in assessment because studies have demonstrated that doctors’ abilities when assessed in a controlled (deconstructed) environment do not dependably predict their actual day-to-day performance.7,8 To know how a doctor is actually performing on a daily basis, he or she must be assessed when engaged in normal work. In essence, this represents the case for the importance of workplace-based assessment (WBA).


WBA 평가 결과는 약한 참여와 실망스러운 안정성을 보여준다

WBA evaluations show poor engagement and disappointing reliability


WBA는 다른 평가가 할 수 없는 것을 측정하기 때문에 전 세계 대학원 평가 프로그램에 빠르게 통합되었습니다. 그럼에도 불구하고 상대적으로 인기가 없었다.

Because WBA measures what no other assessments can, it has been rapidly incorporated into postgraduate assessment programmes around the world. Nevertheless, it has been relatively unpopular.



'이 전문직(의사)에 있어서, 전문적인 행동의 복잡성을 평가하기위해서 환원적인 '체크박스' 방식의 접근법 사용하는 것에 대해 냉소를 던진다. 또한 개별적인 평가 방법의 표준, 방법 및 목표와 관련한 혼란은 광범위하다... 이로 인해 다음과 같은 광범위한 냉소 존재하며, 전문직 내에서 WBA에 대한 cynicism이 증가하고 있습니다 .'9

‘The profession is rightly suspicious of the use of reductive ‘‘tick-box’’ approaches to assess the complexities of professional behaviour, and widespread confusion exists regarding the standards, methods and goals of individual assessment methods… This has resulted in widespread cynicism about WBA within the profession, which is now increasing.’9




또한, WBA 방법을 정신 측정법으로 평가 한 결과, 매우 다양한 결과가 얻어졌습니다. 많은 대학원 교육 프로그램에서 평가자는 평가자 간 차이에 매우 취약한 것으로 밝혀졌으며, 평가자는 일반적으로 대부분의 trainee에 대해서 차등을 두지 않고 매우 긍정적으로 평가하는 경향이 있다.11,12 이것은 심리 측정 관점에서 reproducibley discriminate하려면 매우 많은 수의 평가자와 사례가 필요하다는 것을 의미한다.


Furthermore, where WBA methods have been psychometrically evaluated, highly variable results have been obtained. in many postgraduate training programmes, scores are found to be very vulnerable to assessor differences, and assessors have generally been indiscriminate in rating most trainees very positively.11,12 This means that from a psychometric perspective, very large numbers of assessors and cases are required to discriminate reproducibly among trainees.


여기서 어디로 가는가?

Where do we go from here?


몇 가지 기본적 도구 설계 이슈를 통한 WBA 향상 제안

This paper offers some suggestions for improving WBA by looking at some basic instrument design issues.


방법

METHODS


우리는 프로세스의 종점에서 시작했다. 

We start at the endpoint of the process. What do assessors think they are measuring and where do they put their mark?


결과

RESULTS


어떤 척도가 가장 적합한가?

What scales work best?


평가자는 퍼포먼스에 대한 의견이 같아도, 척도를 다르게 해석한다

Assessors may agree on performance, but interpret response scales differently


흥미롭게도, 평가자는 관찰 한 것에 동의 할 때조차 반응 척도에 대한 해석에 대해 종종 의견이 다릅니다. 흔히 토론의 대상이 되는 것은 환자와 관련된 poor한 능력이 '의사 소통' 영역에 속하는지 아니면 '전문성'영역에 속하는지, '좋지는 않은' 성과가 '불만족'으로 간주되어야하는지에 관한 문제입니다.

Interestingly, they often disagree over their interpretations of the response scale even when they agree about what they have observed. Common points of discussion include the issue of whether a poor ability to relate to patients falls within the ‘communication’ or the ‘professionalism’ domain, and whether a performance that ‘wasn’t very good’ should be deemed as ‘unsatisfactory’.



PBA에 대한 평가에서도, PBA 글로벌 요약 척도를 사용할 때 평가자들은 서로서로 훨씬 더 면밀히 동의하고, 더 변별도가 생긴다고 제안했습니다.

A parallel evaluation of PBA suggested that, when using the PBA global summary scale, assessors agreed with one another much more closely and were much more discriminating than they were when using comparable scales on the other instruments.


Crossley 등은 이러한 관찰 결과가 다른 WBA 방법에서도 보편적인가를 평가하기 위해 고안된 연구에서, assessor-relevant alignment가 점수의 신뢰성을 향상 시켰다는 가설을 시험했다.

With reference to this observation, Crossley et al.16 tested the hypothesis that such assessor-relevant alignment improved the reliability of scores in a study designed to evaluate whether this observation generalises to other methods of WBA.


원래의 척도는 normative and developmental했다. 

'고급 훈련 중 예상 수준에서 수행'.

The original scales were normative and developmental. 

‘Performed at level expected during advanced training’.


그러나 새로운 척도는 'clinically anchored'되어있었다. 

'우수하고 시의 적절한 컨설팅 기술을 보여줌으로써 복잡하거나 어려운 상황에서 포괄적 인 역사 및 / 또는 검사 결과를 얻을 수 있습니다. 만남에 뒤 따르는 훌륭한 임상 적 판단을 보여줍니다. '

However, the new scales were ‘clinically anchored’. 

‘Demonstrates excellent and timely consultation skills, resulting in a comprehensive history and⁄ or examination findings in a complex or difficult situation. Shows good clinical judgement following encounter.’


단순히 임상 평가자의 우선 순위에 scale을 align하는 것 만으로도 변별도를 상당히 증가 시켰고, 평가자 의견 차이를 줄였습니다. miniCEX, CBD 및 급성 치료 평가 도구 (ACAT) 18의 'on-take'및 'post-take'버전에서 이러한 변화는 좋은 '훈련 중' 신뢰도를 달성하는 데 필요한 평가 횟수를 줄이기에 충분했습니다 (일반화 가능성 계수 0.7). 각각 6에서 3, 8에서 3, 10에서 9, 30에서 15로 줄이면서, 그 결과로 평가자 작업 부하를 약 50 % 절약 할 수 있습니다.

Simply aligning the scale with the priorities of clinician assessors substantially increased assessor discrimination and reduced assessor disagreement. In the miniCEX, CBD, and the ‘on-take’ and ‘post-take’ versions of the Acute Care Assessment Tool (ACAT),18 these changes were sufficiently large to reduce the number of assessments required to achieve good ‘in-training’ reliability (generalisability coefficient of 0.7) from six to three, eight to three, 10 to nine and 30 to 15, respectively, facilitating a saving of approximately 50% in assessor workload.


신뢰도가 현저하게 향상되었을뿐만 아니라 다양한 상황에서 사용되는 다양한 측정 도구에서 나타났습니다. 왜 이런 일이 일어났을까?

Not only did the reliability improve markedly, but it did so across a wide variety of measurement instruments used in variable contexts. Why did this happen?


응답 척도는 인지적 구조를 반영할 필요가 있다.

Response scales need to reflect cognitive structuring


1980 년 이전에 여러 관찰자들은 평가자의 인지적 특성이 유전적으로 또는 제도적으로 고정된 속성(예 : 성별, 연령, 인종, 직업)보다 rating 과정에 더 큰 영향을 미친다고 지적했다. 많은 연구에 대한 획기적인 검토에 따르면, 경험이 많고 보다 인지적으로 복잡한 평가자들은 후광 효과에 덜 민감했으며, 상세한 anchor를 최소화된 anchor보다 선호했다.

As long ago as 1980, various observers remarked that the cognitive characteristics of raters have greater influence on the rating process than more genetically or institutionally fixed attributes (e.g. sex, age, race, job). a landmark review of many studies,19 suggested, that more experienced and more cognitively complex raters were less susceptible to halo effects and also preferred detailed anchors to minimal descriptors.


그들은 또한 평가자가 목적을 어떻게 인식하느냐가 평가자의 인지 과정에 상당한 영향을 미친다는 것을 발견했다. 그러나 (평가자의 인지적 스키마를 이해하고 적절하게 활용하는 것보다) 평가 양식의 포멧에 대해서 연구할 필요는 없다는 것이 그들의 주된 결론이었고, 심지어 형식과 관련된 연구에 '모라토리엄'을 선언하였다. 

They also found, that the perceived purpose of rating has a substantial effect on the cognitive process of the rater. However, their main conclusion suggested a lesser need to investigate the format of a rating form (and even suggested a moratorium on format-related research) than to understand, and appropriately utilise, the cognitive schema of the raters.


다른 증거들도 평가자의 인식 체계의 중요성을 확인해주지만, (다음의 예는) 좋은 alignment를 통해서 어떻게 response format이 이러한 프레임워크를 잘 활용할 수 있는지 보여준다.

Other evidence affirms the importance of raters’ cognitive frameworks, but shows how the response format might exploit these frameworks by good alignment.20

      • no anchors at all, 
      • one anchored solely with textual descriptors, 

      • one anchored with naturally generated auditory stimuli, and 

      • one in which both text and auditory anchors


평가 대상이 되는 퍼포먼스의 차원에 대해 비교하기가 어렵습니다. 각 학문분야나 전공분야, 전문직에 따라서 연수생 평가에 중요한 요소가 무엇인지에 대한 개념이 다르기 때문이다. 결과적으로 각 평가도구는 궁극적으로 고유합니다unique. 사실, Crossley 등의 연구에 따르면, 다양한 평가 양식에서 척도 앵커scale anchor는 서로 다른 도메인들의 '불편한 혼합'을 나타냈습니다. 왜냐하면 평가를 위한 specific한 임상 앵커를 작성하면서 다양성 맥락에 걸쳐 사용할 수 있는 것을 만들기가 어려웠기 때문입니다. 그러나 이것이 요점 일 수 있다: response scale은 평가자의 리얼리티 맵에 맞춰야합니다.

it is difficult to make comparisons with respect to the dimensions of performance examined. Each discipline, specialty and profession has a different conception of what may be important in assessing its trainees; consequently, each rating instrument is ultimately unique. Indeed, in the study by Crossley et al.,16 scale anchors represented an ‘uncomfortable mixture’ of separate domains on the various assessment forms as it was difficult for the authors to write specific clinical anchors for assessments that could be used across a wide variety of contexts. However, that may be the point: the response scale needs to be aligned to the reality map of the judges.


말 그대로, 가자의 경험에 resonate하는 앵커가 '적절한 수준'또는 '만족'과 같은 추상적인 descriptor보다 더 도움이 되는 탐구 방법이 될 수 있습니다.

clearly, anchors that, literally, resonate with raters’ experiences might be a more profitable avenue of exploration than abstract descriptors such as ‘at expected level’ or ‘satisfactory’.


객관적 관찰보다는 판단을 요구하라

Ask for judgements rather than objective observations


다양한 WBA 도구는 서로 다른 개념적 출발점에서 퍼포먼스에 대해 묻습니다. 표 2는 세 가지 도구 각각에서 두 가지 예 (항목 줄기 및 응답 옵션)를 제공합니다.

Different WBA instruments ask about performance from different conceptual starting points. Table 2 provides two examples (item stem and response options) from each of three instruments:



    • Mini-CEX는 구조 수준 (의사의 상대적으로 안정된 특성 또는 특성), 

    • 'PBA PL4'및 'SAIL 1'접근법은 프로세스 수준

    • 'PBA 글로벌 요약'및 'SAIL 글로벌 등급'은 결과 수준에서 성과를 묻습니다. 

    • the mini-CEX seems to address performance at the structural level (the relatively stable characteristics, or traits, of the doctor), 

    • ‘PBA PL4’ and ‘SAIL 1’ approach performance at the process level, and 

    • the ‘PBA global summary’ and ‘SAIL global rating’ ask about performance at the outcome level. 


이 평가 활동에서 성과 또는 구조 수준 질문에는 어느 정도의 판단력이 개입된다. 그것은 단순히 무언가 일어 났는지 여부를 확인하는 문제가 아닙니다.

In this rating activity, outcome or structure-level questions require a degree of judgement; it is not simply a matter of establishing whether or not something took place.


그러나 주관성에 대한 우려로 인해, 지난 수십 년 동안 examiner agreement을 늘리기위한 시도에서 프로세스 단계에 초점을 둔 도구의 역사를 가져왔다. 예를 들어, '시각적 인 접촉', '환자에게 어디에서 옷을 입히 겠느냐', '악수'를 했느냐 등은 1970 년대와 1980 년대에 개발 된 컨설팅 평가의 일반적인 성과 항목입니다. 성과 점수는 대개 항목의 점수의 합계를 기준으로합니다.

However, concerns about subjectivity have, over the past few decades, led to a history of instruments focused at the process level in an attempt to increase examiner agreement. For example, ‘made visual contact’, ‘told patient where to put clothes’, and ‘shook hands’ are common performance items from consulting assessments developed during the 1970s and 1980s. The performance score is usually based on the sum of scores on the items.



그러나 도입부에서 설명한 것처럼 퍼포먼스는 부분의 합 이상입니다. 즉, 아마 :

However, as described in the Introduction, perhaps performance is more than the sum of its parts. In other words, perhaps:


‘shook hands’ (process) + ‘made visual contact’ (process) =/= ‘establish rapport’ (outcome) or ‘inter-personal skill’ (structural attribute). 


아마도 좋은 대인 관계 기술을 갖춘 의사는 상호 작용이나 신뢰를 성취하기 위해, 주어진 상황의 고유 한 성격에 따라 자신의 프로세스 수준의 동작을 다르게 구현할 것입니다. 제스처가 우월함을 과시하거나 과도하게 공식적인 것으로 나타날 때 악수를 피할 수 있습니다. 또는 환자가 원치 않는 도전이나 친밀감의 수준을 나타내는 것과 같은 접촉을인지 할 수있을 때 눈을 마주 치지 않도록 할 것이다.

Perhaps a doctor with interpersonal skills will implement his or her process behaviours differently depending upon the unique nature of the interaction in order to achieve rapport or trust: he or she might avoid the handshake when the gesture might come across as implying superiority or as overly formal, and might avoid making eye contact when the patient may perceive such contact as representing an unwelcome challenge or level of intimacy.



평가자는 프로세스 수준 관측에 묶이지 않을 때보다 일관되고 변별력있게 성과를 판단합니다.

Assessors judge performance more consistently and discriminatingly when they are not tied to process level observations


퍼포먼스가 부분의 합보다 더 복잡하고, 적절한 경험을 가진 관찰자들이 우수한 퍼포먼스가 무엇인지에 대해 어느 정도 동의하는 바가 있다면, 우리는 오히려 반직관적인 관찰을 기대할 수 있습니다. 결과 수준의 성과 또는 구조 수준의 속성에 대한 주관적인 판단은 실제로 일어난 일에 대한 객관적인 대응보다 더 나은 평가자 간 agreement와 성과에 대한 discrimination을 가져올 수 있습니다.

If performance is more complex than the sum of its parts and if a good performance is something upon which appropriately experienced observers agree, we might just expect a counter-intuitive observation. Subjective judgements about outcome-level performance or structure-level attributes might result in more assessor agreement and more performance discrimination than objective responses about what actually took place.


이것은 정확히 연구에서 보여주는 것입니다. 이 현상은 Regehr 등 27)이 OSCE 항목 (표준 설정 목적으로 만 사용)을 동반 한 global scale이 actual items보다 더 신뢰할 수있는 점수를 제공한다는 것을 발견했다.

This is exactly what the literature demonstrates. The phenomenon was described by Regehr et al.,27 who discovered that the global scale that accompanied OSCE items (for standard-setting purposes only) provided more reliable scores than the actual items.


또한 많은 다른 평가에서도, 주관적인 판단의 신뢰성은 일반적으로 객관적인 체크리스트의 신뢰성만큼이나 우수하다는 것이 확인된다

It also holds true in many other evaluations that the reliability of subjective judgements is commonly at least as good as that of objective checklists.


본질적으로, 작업의 하위 구성 요소에 대한 무수히 많은 증거물을 모아서 내리는 결론은, 뒤로 한 걸음 물러서서 전체를 고려하는 것보다 더 좋은 그림을 제공하지 않습니다.

In essence, scraping up the myriad evidential minutiae of the subcomponents of the task does not give as good a picture as standing back and considering the whole.


WBA방법들은 얼마나 제네릭한가?

How generic are WBA methods?


대부분의 WBA도구들은 모든 퍼포먼스 영역에 대한 판단을 요구한다.

Most WBA instruments ask for judgements about all performance domains



이것은 WBA 도구 설계에서 흥미로운 특징입니다. WBA 도구들은 매우 광범위한 맥락 (임상 적 만남, 기술 절차, 서신 서신, 사례 토론, 응급 진료 등)에서 성과를 평가하기 위해 개발되었지만, (대부분은 공통적으로) 다음과 같은 거의 동일한 성과 영역에 대해 질문합니다.

      • 임상 방법 (병력 복용 및 검사);

      • 임상 적 판단 (진단 및 계획);

      • 의사소통;

      • 전문직업성

      • 임상의 조직 및 관리

WBA를 설계한 사람이 왜 모든 컨텍스트가 모든 도메인을 평가하는 데 필요한 우수한 데이터를 제공한다고 생각하는지는 불분명하다.


This is an interesting feature of WBA instrument design. Although the instruments were developed to assess performance in a very wide range of contexts (clinical encounters, technical procedures, written correspondence, case discussions, emergency care, etc.), they almost all ask about the same domains of performance, such as: 

      • clinical method (history taking and examination); 

      • clinical judgement (diagnosing and planning); 

      • communication; 

      • professionalism, and 

      • organising or managing the clinical encounter. 

It is unclear why designers consider that every context provides good data for assessing every domain.



명백히, 모든 컨텍스트가 모든 도메인에 대해 동일하고 유효하고 신뢰할 수있는 데이터를 제공하는지 여부를 물을 피요가 있다. 사실, 데이터는 이것을 지지하지 않는다. G연구에서 영역 수준 점수를 시험 할 때, 어떤 영역 점수는 다른 사람보다는 더 나은 감정인 계약 및 차별을 표시합니다. 비판적으로 보자면, 도메인 점수의 상대적인 신뢰성은 컨텍스트에 따라 다릅니다.

The obvious question then concerns whether every context provides equally valid and reliable data for every domain. In fact, that is not what the data show. When G studies examine domain-level scores, some domain scores display better assessor agreement and discrimination than others. Critically, the relative reliability of domain scores varies across contexts.


Table 3 illustrates this by presenting the domains from three diverse instruments,4,13,28



여기에 제시된 데이터는 매우 제한적이지만, 관찰되는 맥락이나 활동에서 분명하게 성과 영역이 입증될수록 더 나은 reliable한 판단으로 이어진다. 요약하면, 평가자는 특정 상황이나 활동에서 명확하게 증명할 수있는 성과 영역일수록 더 신뢰도가 높고, 정확한 판단을 내릴 수 있습니다.


The data presented here are quite limited, but arguably those domains of performance that are clearly demonstrated in the context or activity being observed are associated with more reliable judgements. In summary, assessors may make more reliable, and hence more valid, judgements about domains of performance that they can see clearly demonstrated in a particular context or activity.



어떤 평가자가 가장 적합한가?

Which assessors are best-placed to judge?


서로 다른 응답자 그룹은 (평가자 간 차이에 더하여) 서로 다른 관점을 제공해준다.

Different respondent groups provide discrete perspectives over and above the expected person-to-person variation


다중 소스 평가 및 피드백 (MSF)은 여러 가지 관점에서 판단을 수집하는 것이 중요하다는 신념 때문에 동료 평가를 대체로 대체합니다. 첫 번째 합리적인 질문은 다음과 같습니다: 서로 다른 응답자 그룹이 서로 다른 시각을 제공합니까? 그렇다면 MSF는 단순히 숫자만 늘리는 것이 아니라, 단일 그룹에서의 평가에 추가적인 가치를 얹어준다. 서로 다른 관점은 두 가지로 반영됩니다. 

    • 일부 집단은 다른 집단보다 더 엄격하다

    • 집단은 다른 집단과 구분되는 '입맛taste'을 가지고 있다(즉, 순위를 다른 방식으로 매긴다)

Multi-source assessment and feedback (MSF) has largely superseded peer ratings because of the conviction that it is important to gather judgements from several different perspectives. The first rational question then is: do the different respondent groups provide different perspectives? If they do, then MSF adds value (and not just numbers) to single-group peer ratings. Different gazes will be reflected in two psychometric outcomes: 

    • some groups are genuinely more stringent than others or 

    • have different ‘tastes’ (i.e. rank subjects differently)


이것은 데이터에서 관찰됩니다. 여러 연구에 따르면 서로 다른 직위의 평가자가 각기 다른 수준의 엄격 성으로 평가하고 있습니다

This is observed in the data. A number of studies report that raters of different designations rate with different levels of stringency


직위에 따라 평가자들은 각기 다른 표준과 개별 의사에 대한 서로 다른 견해를 가지고 있습니다. 일반적으로 간호사가 선호하는 의사도 있고 동료가 선호하는 의사도 있습니다.

different respondent designations have different standards and different views of an individual doctor; typically some doctors are preferred by nursing staff and some by their peers.



특정 직위에서의 관점이 다른 관점보다 더 타당한 경우가 있다.

The views of some designations are more valid than those of others


다른 명칭이 다른 시각을 제공한다는 점을 감안할 때 누구의 시각이 가장 타당한지 물어 보는 것이 합리적입니다. 어떤 경우에는 해답이 자명합니다. 예를 들어, 임상의의 판단에 대해 서기관이나 환자가 의견을 말할 수있는 사람은 거의 없습니다.

Given that different designations provide different perspectives, it seems rational to ask whose perspective is the most valid. In some cases the answers are self-evident. For example, few clerical staff or patients are likely to be able to comment on a clinician’s judgement.



'저는 비서이기에 그 의사의 임상 업무에 관한 질문에는 대답 할 수 없었지만, 다른 사람들의 의견을 통해서 이것이 좋다고 믿습니다. 나는 내가 아는 것에 만 대답 할 수있다. '

‘As I am a secretary I was unable to answer any questions regarding the Dr’s clinical work although from comments from others I believe this to be good. I can only answer what I know.’



즉, 임상의가 아닌 사람이 임상 항목을 판단하도록 요청할 때 대개 응답률이 낮을 것임을 의미합니다. 다른 영역에서는 가장 타당한 응답자 또는 가장 적합한 응답자 인 사람이 덜 분명하거나 놀랄 수 있습니다. 그러나 평가 데이터에서 명확한 것이 하나 있다: 정기적으로 퍼포먼스의 어떤 측면을 관찰하는 응답자 그룹은 서로 가장 closely agree합니다.

This means that response rates are usually low when non-clinicians are asked to judge clinical items. In other domains it may be less clear or surprising who is the most ‘valid’ or best-placed respondent. However, there is a clear trend in the evaluation data: respondent groups of people who regularly observe an aspect of performance agree with one another most closely.



예를 들어, 법정에서 허용되지 않는 '소문'에 해당 할 수 있습니다. 그러나 단일 평가 방법이 모든 임상적 능력을 포괄 할 수는 없는 것과 마찬가지로, 단일 전문 집단도 모든 임상적 능력을 평가할 수는 없다는 것은 명백합니다. 임상적 역량이 너무 넓어 아무도 모든 것을 볼 수 없습니다. 각 방법은 성능에 대한 렌즈를 나타내며 다른 의료 전문가는 해당 렌즈를 통해 보는 사람들의 역할을합니다.

It could, for example, amount to ‘hearsay’, which is inadmissible in a court of law. However, for the same reason that no single assessment method can encompass all of clinical competence, it is clear that no single professional group can assess it either. Clinical competence is so broad that no-one sees it all. Each method represents a lens on performance and different health professionals act as the viewers who look through those lenses.


궁극적으로 성과 측면을 판단 할 능력이 있고, 그것을 관찰 할 기회가있는 평가자라면, 신뢰할 수있는 평가를 제공할 수 있을 것으로 보입니다.

Ultimately, assessors who have the competence to judge an aspect of performance, and have had the opportunity to observe it, appear to provide more reliable ratings.


CONCLUSIONS


전체적인 그림은 확실하다: 높은 수준의 평가는 판단의 문제이기 때문에 적절한 방법으로 적절한 방법으로 올바른 사람들에게 올바른 질문을 하면 효과적입니다.

the overall picture seems compelling: because high-level assessment is a matter of judgement, it works better if the right questions are asked, in the right way, about the right things, of the right people.


여러 측면에서, 우리가 WBA 도구와 프로세스를 설계하는 데있어서 얼마나 비합리적이었는지가 명확히 관찰된다. 

  • 우리는 종종 모든 응답자에게 전문성이나 관찰 기회와 상관없이 모든 성과 영역에 대해 의견을 말하도록 요청했습니다. 

  • 우리는 평가자를 특정 유형의 관측에만 한정시키면서, 그들이 가진 통합/맥락화/가중 능력을 낭비하는 경우가 많았다. 

  • 우리는 종종 심사 위원에게 관찰하지 못하는, 기껏해야 추론 할 수 있는 성과 영역에 대해 의견을 말하도록 요청했다.

  • 우리는 평가자에게 (종종 경멸적 또는 결정적 진술을 포함하는) 명백히 느슨한 'merit-oriented'또는 '훈련 지향적 인' 응답 척도를 제공하면서, 그들에게 이것을 일관되게 해석하고 사용하도록 기대했습니다.

In many respects, the most remarkable observation might be how irrational we have been to date in designing WBA instruments and processes. 

  • We have often asked all respondents to comment on all areas of performance, regardless of their expertise or their opportunity to observe. 

  • We have often wasted the integrating, contextualising, weighting capacity of appropriate (and expensive) judges by limiting them to certain types of observation. 

  • We have often asked judges to comment on domains of performance that they do not observe and can, at best, only infer. 

  • We have frequently confronted assessors with self-evidently loose ‘merit-oriented’ or ‘training-oriented’ response scales that include pejorative or determinative statements, and expected them to interpret and use those items meaningfully and consistently.










 2012 Jan;46(1):28-37. doi: 10.1111/j.1365-2923.2011.04166.x.

Making sense of work-based assessmentask the right questions, in the right way, about the right things, of the right people.

Author information

1
Academic Unit of Medical Education, University of Sheffield, Sheffield, UK. j.crossley@sheffield.ac.uk

Abstract

CONTEXT:

Historically, assessments have often measured the measurable rather than the important. Over the last 30 years, however, we have witnessed a gradual shift of focus in medical education. We now attempt to teach and assess what matters most. In addition, the component parts of a competence must be marshalled together and integrated to deal with real workplace problems. Workplace-based assessment (WBA) is complex, and has relied on a number of recently developed methods and instruments, of which some involve checklists and others use judgements made on rating scales. Given that judgements are subjective, how can we optimise their validity and reliability?

METHODS:

This paper gleans psychometric data from a range of evaluations in order to highlight features of judgement-based assessments that are associated with better validity and reliability. It offers some issues for discussion and research around WBA. It refers to literature in a selective way. It does not purport to represent a systematic review, but it does attempt to offer some serious analyses of why some observations occur in studies of WBA and what we need to do about them.

RESULTS AND DISCUSSION:

Four general principles emerge: the response scale should be aligned to the reality map of the judges; judgements rather than objective observations should be sought; the assessment should focus on competencies that are central to the activity observed, and the assessors who are best-placed to judge performance should be asked to participate.

Comment in

PMID:
 
22150194
 
DOI:
 
10.1111/j.1365-2923.2011.04166.x


+ Recent posts