평가에 대해 다시 생각해보기: 환자안전, 학생석차, 피드백의 균형(Acad Med, 2017)

평가에 대해 다시 생각해보기: 환자안전, 학생석차, 피드백의 균형(Acad Med, 2017)

Assessment Reconsidered: Finding the Balance Between Patient Safety, Student Ranking, and Feedback for Improved Learning

내 컴퓨터에서 올려다 보니 나는 인턴 중 한 명인 Tina (본명이 아닌)가 내 출입구 옆에 서 있었다. 티나의 눈은 피를 흘렸고 마치 울음을 터뜨린 것처럼 보였다. "들어와."내가 말했다. "뭔가 잘못 됐니?"

As I looked up from my computer, I noticed that Tina (not her real name), one of our interns, was standing by my doorway. Tina’s eyes were bloodshot, and it looked as though she had been crying. “Come on in,” I said. “Is there something wrong?”

"나에 대한 당신의 평가를 읽었습니다. 나는 그런 나쁜 평가를 한번도 받아 본 적이 없다. "

“I just read my evaluation from you, from our shift last week. I’ve never had such a bad evaluation before.”

"하지만 나쁜 평가는 아니 었습니다." "좋은 평가였습니다. 나는 이해하지 못한다. 당신은 모든 사건을 잘 관리했습니다. 모든 역량에 대해 '기대를 충족 시키거나 기대치를 초과합니다'라고 체크했다. 왜 그것이 나쁜 평가라고 생각하니? "

“But it wasn’t a bad evaluation,” I said. “It was a good evaluation. I don’t understand. You managed all of your cases well. I checked the boxes that said ‘meets expectations or exceeds expectations’ for every competency. Why do you think it was a bad evaluation?”

"코멘트에 의사 소통 능력을 향상시켜야한다고 되어있었다. 아무도 그 전에 저를 비난하지 않았습니다. "

“In the comments it says that I need to improve my communication skills. No one has ever accused me of that before.”

"티나, 모든 사람들이 개선 될 수있는 분야와 영역을 파악하려고 노력합니다." "우리 모두 의사 소통 기술을 향상시킬 수 있습니다. 나는 발진이 났던 당신이 돌보던 여자가 의학적 조언에 반하여 떠났다고 언급했다. 그녀는 매우 어려운 환자였습니다. 제 생각에 당신은 아마도 체중 감량과 위생 불량에 대한 당신의 제안이 당신이 의도하지 않은 방식으로 그 환자에게 전해졌음을 깨닫지 못했을 것입니다. 나는 그녀가 판단되고 낙인 찍힌 기분을 받았을 것이라고 느꼈고, 그것이 아마 화를 낸 이유였을 것이다. 나는 당신이 그 여자환자 같은 사람들과 민감한 문제에 대해 대화하는 법을 배우는 것이 좋을 것이라 생각했다. 그러나 당신은 아무 잘못도 없습니다. 우리는 이미 지난번에 이것에 관해 이야기했다. 나는 당신에게 상기시키기 위해 내 의견에 이것을 썼다. "

“Tina, I try to identify areas of strength and areas where there could be improvement for everyone,” I said. “We can all improve our communication skills. I mentioned it because of the woman you were managing who had the rash and left against medical advice. She was a very difficult patient; I think you probably didn’t realize that some of your suggestions about her need to lose weight and to address her poor hygiene came across in a way that you didn’t intend. I sense that she felt judged and stigmatized, and that was why she stormed out. I wanted to encourage you to work on how to communicate about sensitive issues with patients like that lady. But you did nothing wrong. We talked about this at the end of the shift. I wrote this in my comments to remind you.”

"하지만 그 여자는 차에서 살고 있었고 옴을 가지고있었습니다. 옴은 나쁜 위생의 결과 였으므로 매일 목욕을해야합니다. 그녀는 피난처에 가서 체중을 줄여야합니다. 그녀의 체중 문제로 인해 당뇨와 고혈압이 초래되었을 것입니다. 나는이 모든 것을 그녀에게 내가 할 수있는 한 분명하게 설명했는데 당신은 내게 의사 소통 능력을 향상시켜야한다고 썼습니다. 그 성명서는 프로그램 디렉터가 평가할 때와 펠로우십이 지원할 때 내 기록에 남게 될 것입니다. "

“But the woman was living in her car and had scabies. The scabies were the result of poor hygiene, so she should bathe every day. She has to go to a shelter and lose weight. Her weight problem probably has led to her diabetes and high blood pressure. I explained all this to her as clearly as I could. Yet you wrote that I need to improve my communication skills; that statement will be in my record when I get evaluated by the program director and when I apply for a fellowship.”

"티나, 나는 내 의견이 내가 의도했던 방식대로 보일 것이라고 확신합니다. 의사는 의사 소통 방법을 알고 있어야합니다. 우리는 환자의 삶과 도전 과제를 이해하고 신뢰감과 신뢰를 구축하는 방법을 이해해야합니다. 커뮤니케이션은 단순히 정보를 전달하는 것이 아닙니다. 내가 의견을 적어 두지 않았다면, 내가 당신을 감독하고, 이정표와 역량으로 당신의 진보에 대한 직장 기반 평가를하는 기록이 없을 것입니다. 우리는 모든 사람을 위해이를 문서화해야합니다. 이건 좋은 평가입니다. 나는 프로그램 디렉터와 이야기하고 내 의견을 분명히 할 거에요"라고 말했다.

“Tina, I’m sure my comments will be viewed in the way they were intended: as feedback for you. We physicians have to be aware of how we communicate. We must understand the lives and challenges of our patients and how to establish rapport and trust. Communication is not just about transfer of information. If I didn’t write up comments, there would be no record that I was supervising you and doing a workplace-based assessment of your progress with the milestones and competencies. We need to document that for everyone. Look, this is a fine evaluation. I’ll speak with the program director and clarify my comments.”

티나는 그녀의 눈을 문지르고, 나를 신뢰할 수 없다는 눈초리로 보았다. 그리고 나서 떠났다. 나는 그녀와 다른 레지던트들을 평가하기 위해 작성한 양식을 되돌아보고 티나의 두려움이 정당화 될 수 있는지, 그리고 내 의견에 따라 부정적으로 표시 될지 궁금해했다. Tina의 대화 기술을 돕는 의도로 의견이 제시되었지만 의도하지 않은 결과가 발생할 수 있다고 생각했습니다.

Tina rubbed her eyes, took one more distrustful look at me, and then left. I looked back at the forms I had filled out assessing her and other residents and wondered whether Tina’s fears could be justified and whether she would be labeled in a negative way based on my comments. Even though my feedback had been given with the intent of helping Tina with her communication skills, I worried that there could be unintended consequences.

Goals and Challenges of Assessment

평가는 학생의 개선을 돕기 위해서도 필요하지만, 심각한 결함을 가진 학생을 파악하기 위해서, 또는 레지던트, 펠로우, 또는 독립적으로 고용된 의사를 선발하기 위해서도 필요합니다. 교수와 학생 사이의 힘의 차이로 인해 교수와 학생 사이의 신뢰가 위험에 빠질 수 있는데, 이런 상황에서 평가는 이러한 모순되는 목표를 어떻게 충족시킬 수 있을 것인가?

Assessment is needed to help students improve, but it is also necessary to identify students with significant deficiencies and to assist in the sorting of students for selection to residencies, fellowships, or independent employment as physicians. How can assessment meet these conflicting goals when it seems to depend on a trust between faculty member and student that could be endangered by the power differential between them?

Van der Vleuten 1은 평가에서 고려해야 할 5 가지 기준, 즉 신뢰성, 타당성, 교육적 효과, 허용성 및 비용을 설명하고있다. 내가 티나와 하던 WBA는 잠재적으로 교육적 영향이 있지만, 높은 비용 (교원 시간)이 소모되며, 단일 평가로의 효율성과 신뢰성이 상대적으로 낮다. 그리고 적어도 티나의 관점에서 내 평가의 일부는 받아 들일 수 없는 것이었다. 내러티브 코멘트는 내가 표시한 등급을 이해하는 데 도움이지만, 미래에 어떤 문제가 생길지 예측하는 데 독립적 인 가치는 별로 없을지도 모른다.

Van der Vleuten 1 has described five criteria to be considered in assessment: reliability, validity, educational impact, acceptability, and cost. The workplace-based assessment that I had been doing with Tina, while potentially having educational impact, incurred high cost (of faculty time) and had relatively low validity and reliability as a single assessment. And, at least from Tina’s point of view, part of my assessment was not acceptable. The narrative comments, while useful to expand upon the ratings I marked, might not have much independent value as a predictor of future problems.

이번 호에서 하라라 등 2)은 훈련 평가 보고서 (ITER)의 질적 코멘트를 체계적으로 검토하여 내러티브 코멘트가 다른 유형의 정량적 점수를 기반으로 수행능력 평가를 지지함을 보여주었지만, 의사 결정이나 함의를 끄집어내는 것에 대한 근거는 부족했다. ITER 점수로 최종 평가까지 extrapolate 할 수 있을지도 모르지만, 내러티브 코멘트의 제한적인 타당성에 대한 우려는 고려할 필요가있다.

In this issue of Academic Medicine, Hatala et al,2 in their systematic review of qualitative comments from in-training evaluation reports (ITERs), found that narrative comments supported assessment of performance based on other types of quantitative scoring, but that evidence was lacking for making decisions or drawing implications. Whether one could extrapolate from the ITER to the end-of-shift evaluation form that I filled out is not clear, but the concerns about the limited validity of narrative comments are important to consider.

Kennedy 등 3는 임상 환경의 관리자가 지식과 ​​기술의 차원 한계 식별, 진실성, 그리고 양심 성 차원을 포함한 독립적 인 임상 연구를위한 학생의 신뢰성(trustworthiness)을 평가할 필요가 있다고 시사하고있다. 평가를 할 때 이러한 신뢰성 차원에 대한 설명을 포함하는 것이 유용한 수 있는데, 왜냐하면 이러한 코멘트도 관계의 일부이며, '위임 할 수있는 전문적인 활동 (EPA)'의 평가에 통합 할 수 있기 때문이다.

Kennedy et al 3 have suggested that supervisors in the clinical environment should make an assessment about the trustworthiness of their students for independent clinical work that involves the dimensions of knowledge and skills, discernment of limitations, truthfulness, and conscientiousness. In making assessments, it may be useful to include comments about these trustworthiness dimensions in narrative comments, since they appear to be a part of the supervisory relationship and can be incorporated into the assessment of entrustable professional activities (EPAs).

엡스타인 4는 학생들이 초보자에서 전문가로 이행함에 따라 의학적 능력의 발달 모델의 일부로 사용을 설명하는 평가의 개요를 열거했다 5. 임상 감독의 일환으로 평가; 특정 임상 실전 직접 관찰 및 비디오 리뷰; 임상 시뮬레이션. 동료, 간호사, 기타 따른 다양한 평가. 포트폴리오. 그는 다음과 같이 권고했다.

Epstein 4 provided an overview of assessment that described its use as part of the developmental model of competence in medical education as the student moves from novice to expert.5 He discussed common assessment methods such as 

written examinations; 

assessment as part of supervision by clinicians; 

direct observation and video review of specific clinical encounters; 

clinical simulations; 

multisource assessments by peers, nurses, and others; and 

portfolios. He recommended that the

여러가지 방법을 사용하여 자주 건설적인 피드백을 제공함으로써 능력의 다양한 영역을 통합적이고 일관성있고, 종단적으로 평가해야합니다.

various domains of competence should be assessed in an integrated, coherent, and longitudinal fashion with the use of multiple methods and provision of frequent and constructive feedback.

초보자에서 전문가에 여행을 위해, 엡스타인은 전문 지식expertise의 개발에 특히 초점을 맞춘이 필요하며, 교사는 학습자에게 평가와 피드백을 제공해야 한다고 말했다.

For the journey from novice to expert, Epstein said that a specific focus on the development of expertise is needed, and this requires assessment and feedback from teachers to learners.

에릭슨 6은 전문 지식을 개발하기위한 의도적인 연습deliberate practice으로 이어지는 성과에 대한 피드백을 제공하여 교사가 학생을 자기주도적 학습자가 되도록 도와주는 방법을 설명했습니다. 따라서 학생의 학습 향상에있어서 평가의 역할은 중요하다. 그러나 다음에 설명 된대로 여러가지 평가 목적이 있으며, 이들 사이에 불일치가 있음을 인식하는 것이 중요합니다.

Ericsson 6 has described how teachers help students become self-directed learners by providing the feedback about performance that leads to deliberate practice to develop expertise. Thus, the role of assessment in the improvement of students’ learning is critical. However, it is important to recognize that there are several purposes for assessment, mentioned below, and that these can come into conflict.

Van der Vleuten들은 최근 평가 학습 평가 학습 평가 학습으로 평가 세 가지 범주로 분류하는 평가 모델을 요약했다.

Van der Vleuten et al 7 recently summarized a model of assessment that divides assessment into three categories: assessment for learning, assessment of learning, and assessment as learning.

학습을 위한 평가는 종종 형성 평가로 불린다.

In assessment for learning, often referred to as formative assessment, students

(학습을 위한 평가에서) 학생들은 메타인지 전략에 초점을 맞춘 과정을 밟습니다 ... 그들은 자신의 생각을 생각하려는 노력이 지지를 받게 됩니다 ... 퍼포먼스와 현재의 이해와 명확하게 정의 된 성공 기준과의 관계를 이해해야 하며, 자신의 학습을 발전시키고 시작하는 주체가 되는 것입니다.

are engaged in a process that focuses on metacognitive strategies … are supported in their efforts to think about their own thinking … understand the relationship between their performance, their current understanding, and clearly defined success criteria, and are positioned as the agent improving and initiating their own learning.

Konopasek 등 8)은 최근 의학 교육의 형성 평가의 중요성과 과제에 대해 말했다.

Konopasek et al 8 recently described the importance and challenges of the formative assessment process in medical education.

학생들은 개인 성과와 경쟁 우위에 초점을 맞춘 문화를 거쳐 의대에 오게 된다. 학생들이 건설적인 피드백을 받아 들이거나 믿을 준비가되어 있지 않을지도 모른다. 그리고 학생들은 긍정적인 의견만으로는 경쟁에서 불이익을 받는다고 믿고 있을 수도 있다.

Students often come to medical school from a culture that focuses on individual achievement and competitive advantage, and they may not be prepared to accept constructive feedback or to trust that anything but positive feedback will somehow put them at a competitive disadvantage.

"형성을 중시하는 평가 시스템은 개선을 포함하고 지원하는 문화에서만 번창 수있다"고 지적하고있다. 그들은 교수개발, 학습자 개발, 종단 학문적인 조언과 지도, 역량 개발의 문서화의 필요성을 시사한다.

They go on to note that “an assessment system that emphasizes the formative can only thrive in a culture that embraces and supports improvement.” They suggest the need for faculty development, learner development, longitudinal academic advising and coaching, and documentation of developing competence.

학습의 평가는 총괄 평가라고도 불리며, 학생의 역량에 대한 현재의 진보에 대한 판단을 강조한다. 형성평가와 촐괄평가는 별개의 목표로 간주되는 경우가 많은데, 중복되는 영역도 많다. 예를 들어, 형성 평가에서 중대한 결함을 발견하면 remediation이 필요할 수도 있고, 심지어는 교육 프로그램에서 dismiss해야 할 수도 있다. 뿐만 아니라 종합적인 평가는 학생의 학습을 촉진할 수 있는 기억에 남는 경험을 제공 할지도 모릅니다. Turner 등은 9 소아과의 이정표와 능력을 이용한 총괄 평가를 설명하고있다. 그들은 이정표의 사용을 통해 훈련 된 교사가 인턴의 진보를 본과 4학년의 그것과 구별 할 수있는 것을 보여줍니다. 흥미롭게도, 인턴 및 학생 사이에는 프로페셔널리즘 이정표를 달성하는데있어서의 차이는 거의 없었으며, 이것은 현재 소아과의 이정표가 전문성을 구분하는discriminating 능력에 대해 의문을 제기하고 있습니다.

Assessment of learning, often referred to as summative assessment, emphasizes a judgment about a student’s current progress toward competency. While formative and summative assessments are often considered as separate goals of assessment systems, there is often overlap. For example, if an assessment meant to be formative detects serious deficiencies, it may lead to a judgment about the need for remediation or even dismissal from the training program. Similarly, a summative assessment may provide memorable experiences that motivate learning for the student. Turner et al 9 in this issue describe summative assessment using pediatrics milestones and competencies. They demonstrate that through the use of milestones, trained faculty were able to distinguish the progress of interns from that of fourth-year students. Interestingly, there was little difference between interns and students in their attainment of the professionalism milestone, raising questions about the discriminating ability of the current pediatrics milestones for professionalism.

Van der Vleuten 모델의 세 번째 요소 인 학습으로서의 평가는 평가 시스템에서 교육 과정의 경험과 교육 프로그램의 목표를 되돌아 보는 것으로서, 평가 과정이 프로그램 및 커리큘럼으로 갖는 의미programmatic and curricular implication가 포함 있습니다. 학습으로서의 평가는 심사 위원과 학생 사이의 관계의 영향 (위탁 과정에서 생기는 것 등)을 통합하여 고려할 수 있습니다.

The third part of Van der Vleuten’s model, assessment as learning, incorporates the programmatic and curricular implications of the assessment process that might involve looking back from the assessment system to the curricular experiences and the goals of the educational program. Assessment as learning might also consider incorporating the effects of relationships between assessors and students, such as what occurs in the entrustment process.

Lomis 등 10)과 Brown (브라운) 11)는 의대생 평가의 틀을 Van der Vleuten 모델의 렌즈를 통해 볼 수 있다고 설명하고있다. 

In this issue, Lomis et al 10 and Brown et al 11 describe a framework for assessment of medical students that may be viewed through the lens of the Van der Vleuten model. Beginning with a description of the development of EPAs for graduating medical students, 

• Lomis et al go on to describe the concept of entrustment, the assessment system, the curriculum, and faculty development. 

• Brown et al further describe how summative entrustment decisions about core EPAs can be made by a trained group incorporating longitudinal workplace-based assessments that require evidence that students are truthful, conscientious, and know their limits, which are categories derived from the work of Kennedy et al.3 

• Brown et al note that the success of the assessment of these Core EPAs for Entering Residency will be dependent on the alignment of the curriculum, the assessment system, the goals of the program, and the development of faculty, and will involve formative and summative assessments and program evaluation.

이러한 평가의 제안은 의미가 있지만, 의대생, 전공의, 전임의 등의 순위와 선발을 위한 총괄적인 사용 및 필요한 피드백을 제공하기위한 형성적인 사용과 사이에서의 갈등을 해소하지는 못했다. '학습의 평가'의 결과는 학습 동기, 학습시간 활용의 우선순위, 교수와의 관계와 신뢰에 영향을 미칩니다. 또한, 평가 시스템은 학습에 크게 영향을주기 때문에 학습 내용과 과정을 의학 교육 시스템의 목표와 완전히 일치시킬 필요가 있습니다. 그렇지 않다면 시스템이 생성하는 의사는 적절한 교육을 받은 것이 아닐 수 있습니다.

While these suggestions for assessment make sense, they do not adequately address the conflict in the assessment system between its summative use for the ranking and selection of students for medical school, residency, fellowship, and employment, and its formative use to provide feedback needed for learning. The consequences of the assessment of learning influence the motivation of students about what to learn and how to prioritize their time on learning as well as their relationships with and trust of faculty supervisors. In addition, because the assessment system heavily influences learning, the content and processes of assessment of learning must be well aligned with the goals of the medical education system, or the physicians whom that system produces may not be properly trained to provide high-quality care.

다섯 가지 권고

Five Suggestions

다음의 다섯 가지를 권고한다.

These concerns lead me to make the following five suggestions.

의학 교육의 목적은 충분히 명확하게 표현되어 학습의 평가assessment of learning와 일치해야한다. 학습은 연속적이며, 그 최종 목표에 대한 전반적인 비전이 필요하기 때문에, 의학 교육의 목적은 교육의 다음 단계를 위해 학생을 준비하는 것이라고 주장하는 것만으로는 불 충분하다. 또한 교육의 후속 단계의 준비는 중요하지만, 그 자체가 목표가 될 수는 없는데, 교육의 각 단계 이후에 학생들이 취할 수 있는 방향성이 다양하기 때문이다. 이러한 접근 방식은 보건 시스템의 요구와 인구의 건강 개선의 요구를 충족 교육 시스템의 설계에 대한 책임을 포기하는 것과 같다.

The purpose of medical education must be well articulated and aligned with the assessment of learning. It is not sufficient to assert that the purpose of medical education is to prepare the student for the next stage of education, because learning is a continuum and there must be an overall vision for its ultimate goals. Also, preparation for subsequent stages in education is important but insufficient as a goal because of the many directions that students can take after each stage in their education. Such an approach abdicates responsibility for the design of the education system to meet the needs of the health delivery system and the population needs of improving health.

의학 교육의 목적이 명확하게 합의되지 않으면 점점 늘어나는 보건 의료 콘텐츠 분야의 우선 순위를 정하는 것이 어렵습니다. 케이트 (12)는 위탁 결정의 평가를 환자 안전이라는 의료의 목적과 결부시킨다. 이렇게 하여 평가는 안전하고 높은 품질 관리를 위한 환자에 대한 교원의 책임과 연결된다. Sklar와 Lee 13 이전에 의학 교육의 목적은 품질 관리이며 IOM에 의해 정의된 의료 퀄리티의 6 가지 특성이 커리큘럼 개발과 우선 순위를 정한다 -  안전하고 적절하고 효과적이며 효율적이고 공정하고 환자 중심인 것.

Without a clear consensus of the purpose of medical education, it becomes difficult to prioritize the ever-increasing content areas of health and health care. In his Invited Commentary in this issue, ten Cate 12 connects the assessment of entrustment decisions to the purpose of medical care, which he identifies as patient safety. In this way, assessment becomes intertwined with faculty responsibilities to the patient for safe and high-quality care. Sklar and Lee 13 have previously suggested that the purpose of medical education is high-quality care and used the six attributes of quality identified by the Institute of Medicine 14— safe, timely, effective, efficient, equitable, and patient-centered—to help guide curriculum development and prioritization.

의학 교육의 목적이 무엇이든간에, 평가 목표와 일반적인 합의와 조정이 필요합니다. 의학 교육의 중요한 목적이 있어야 평가 내용을 정의하는 전문가위원회는 편견과 경험을 반영하는 주제와 개념을 특정하는 경향이 있으며, 이것은 타인의 편견과 경험과 충돌할 수 있다. 그 결과 명확한 비전보다는 오히려 영향력이나 파워에 따라 평가 내용이 정해질 수 있고, 건강 전문가에게 반드시 필요하지 않은 지식과 기술이 시험에 포함될 수 있습니다. 건강 관리직의 목표가 변화함에 따라 타당성과 신뢰성에 대해 평가 도구의 지속적인 조사가 필요하다. 프로그램의 인정, 역량 평가, 교육자, 연구자, 의료 제공자 및 일반인 대표자 등이 모여서 목표, 핵심 콘텐츠 및 기술을 정기적으로 검토에 참여해야합니다.

Whatever purpose for medical education one chooses, there must be a general agreement and alignment with the assessment goals. Without an overarching purpose for medical education, committees of experts brought together to define assessment content will tend to identify those topics and concepts that reflect their biases and experience, and may come into conflict with others who have different biases and experiences, leading to decisions based on influence and power rather than a clear vision. This may result in the inclusion of testing materials that could be peripheral to the core of knowledge and skills needed for health professionals. Assessment tools should be continuously examined for validity and reliability as the goals for the health professions change. A process that brings together accreditors of programs, assessors of competence, educators, researchers, practicing providers, and representatives of the public should be involved in reviewing goals, core content, and skills on a regular basis.

학습자의 선발과 고용 및 인증 및 권한 부여 선택에 미치는 학습의 평가 (총괄 평가)의 효과가 인정되어 관리되어야한다. 이 때 총괄 평가가 교육 과정에 매우 중요한 학습의 평가 (형성 평가)에 악영향을 미치지 않도록해야합니다.

The effects of the assessment of learning (summative assessment) on the learners’ selection for education and employment, and for certification and licensure, should be acknowledged and managed. This should be done so that summative assessment does not adversely affect the assessment for learning (formative assessment) that is so critical for the education process.

이것은 말하기는 쉽지만 실제로 실행하기는 어렵다. 왜냐하면 수용가능한 교육 정원을 초과하는 학생을 평가하고 필터링하여 교육 프로그램을 지원해야 한다는 평가 시스템에 대한 압력이 있기 때문이다. 평가 시스템은 평가 과정에서 취약점과 학생과 교직원 사이의 권력의 불균형 때문에 실수로 학생 및 레지던트를 학대할 가능성이있다. 학습의 평가 지침은 양질의 환자 치료를 위해 공정성, 타당성, 신뢰성, 교수와 학생의 실제 수직 관계, 위탁 능력의 실증 역량의 통합을 강조해야합니다. 평가 과정에 투명성과 책임이 필요합니다.

This is more easily said than done, because there are pressures on the assessment system to help training programs to rank and filter students, who outnumber the available training positions. The assessment system can inadvertently facilitate mistreatment of students and residents because of their vulnerability in the assessment process and the imbalance of power between them and faculty. The guiding principles of assessment of learning should emphasize 

• fairness, 

• validity, 

• reliability, 

• authentic longitudinal relationships between faculty and students, 

• entrustment, 

• demonstration of competence, and 

• integration of competencies

... —all in the service of quality patient care. There should be transparency and accountability for the assessment processes.

학습을 위한 평가 (형성 평가)는 평가 프로그램의 기초가되어야한다. 그런 평가는 

• 여러 소스로부터의 피드백, 

• 자기주도학습의 강조, 

• 교수와 학생 간의 신뢰와 장기적인 관계의 발전, 

• 승진 및 기타 구조적 결정에 영향을 주기 위하여 형성 평가가 사용되는 시기

...에 대한 명확한 지침이 포함되어야한다. 평가 프로세스의 신뢰를 쌓는다면, 학생이 건설적인 피드백을 잘못 해석할 가능성이 낮아집니다. 앞에서 Tina의 사례와 같이, 비판적인 코멘트가 자신의 미래에 악영향을 미칠 수 있다고 생각 학생이 그것을 포트폴리오에 표시하지 않으려는 것은 완전히 이해할 수 있다. 이런 코멘트가 형성적인 목적이 있다면 , 즉시 주의를 필요로하는 심각한 문제를 제시하지 않는 한 그들은 총괄 리뷰에서 보호shielded되어야한다.

Assessment for learning (formative assessment) should be the foundation of the assessment program. Such assessment should include multiple sources of feedback, emphasis on self-directed learning, development of trusting and longitudinal relationships between faculty and students, and clear guidelines about when formative assessment may be used to influence promotion and other structural decisions. By emphasizing trust in the assessment process, it is less likely that students will be at risk for misinterpretation of a constructive comment. It is perfectly understandable that a student who feared that a critical comment on an assessment could adversely affect future training opportunities would not want the comment to appear in a portfolio, as in the case of Tina presented earlier. If such comments are meant to be formative, they should be shielded from summative review unless they suggest an egregious problem requiring immediate attention.

평가는 전반적인 교육 프로그램의 개발에 중요한 역할을하는 것으로 인식되어야한다. 평가는 학습 환경, 커리큘럼 개발, 학습자와 교사와의 관계, 제도 문화에 큰 영향을 미칩니다. 교육 평가의 전문 지식은 중요하지만 평가는 고립되어 실행되어야하지 않습니다. 그것은 프로그램 목표 및 목적과 통합되어 정렬되어야한다.

Assessment should be recognized for the critical role it has in overall educational program development. Assessment has major effects on the learning environment, curriculum development, relationships between learners and teachers, and institutional culture. While expertise in assessment in education is important, assessment should not occur in isolation; it must be integrated and aligned with programmatic goals and objectives.

평가와 관련된 교수개발은 직장에서의 평가를 많이 제공하는 교원 특히 임상가 교육자를 위한 핵심 역량이 되어야 합니다.  Favreau 등 15)은 EPA의 평가의 일환으로 교원 양성을위한 핵심 기술을 소개하고있다. 그들은 교원의 개발이 실천 공동체를 통한... 

(1) Authentic 설정 (직장 기반 평가)에서 관측 기술 교육 

(2) 피드백과 코칭 스킬 

(3) 자체 평가와 성찰 기술 

(4) 피어-지도 기능

...을 포함하는 것을 시사하고 있습니다 

Turner 등 9뿐만 아니라 소아과의 이정표 평가 연구의 일환으로 교수개발의 중요성을 확인했다. 역량에 기초한 교육, 이정표 및 EPA의 보급의 진전에 따라 교원은 변화하는 용어와 평가의 개념과 혼동되어 목적을 상실할 수 있습니다.

Faculty development in assessment should be a core competency for faculty, particularly clinician educators, who will provide much of the workplace-based assessment. Favreau et al 15 in this issue introduce key skills for faculty development as part of the assessment of EPAs. They suggest that faculty development include (1) training in observation skills in authentic settings (workplace-based assessments), (2) feedback and coaching skills, (3) self-assessment and reflection skills, and (4) peer guidance skills developed through a community of practice. Turner et al 9 similarly identified the importance of faculty development as part of their study of milestone assessment in pediatrics. With the evolution of competency-based education, milestones, and the spread of EPAs in many programs, faculty may become confused with the changing terminology and concepts of assessment and lose site of the purpose.

우리의 책임

Our Responsibility

평가의 목적은 환자에게 안전하고 고품질의 서비스를 제공하는 것입니다. 그 점을 염두에 둘 수 있다면, 평가 시스템은 의미가 있습니다. 평가가 이해되고 평가되어 우리의 건강 교육 기관의 원단과 문화에 통합되어 있는지 확인하는 것은 우리의 책임입니다

The purpose of assessment is to foster safe, high-quality care to our patients, and if we can keep that in mind, the assessment system will make sense. It is our responsibility to make sure that assessment is understood, valued, and integrated into the fabric and culture of our health education institutions.

---

Acad Med. 2017 Jun;92(6):721-724. doi: 10.1097/ACM.0000000000001687.

Assessment Reconsidered: Finding the Balance Between Patient Safety, Student Ranking, and Feedback for Improved Learning.

Sklar DP.

PMID:

 

28557907

 

DOI:

 

10.1097/ACM.0000000000001687