Informed 자기평가의 과정과 차원: 개념 모델(Acad Med, 2010)
The Processes and Dimensions of Informed Self-Assessment: A Conceptual Model
Joan Sargeant, PhD, Heather Armson, MD, Ben Chesluk, PhD,
Timothy Dornan, DM, PhD, Kevin Eva, PhD, Eric Holmboe, MD, Jocelyn Lockyer, PhD,
Elaine Loney, MS, Karen Mann, PhD, and Cees van der Vleuten, PhD
자기 주도적 학습과 자기 조절은 정확한 자기 평가의 근간을 이루는 기둥입니다.
그러나 "성과에 대한 개인적인, 가이드되지 않는 성찰"과 같이 협소하게 정의된 자기평가는 근본적으로 결함이 있으며, 우리는 이것을 거의 제대로 수행하지 못한다.
사회 심리학의 이론에 포함 된 보다 광범위한 자기평가의 개념은 [의식적으로 외부 평가 자료를 사용하여 자체 평가 프로세스에 필요한 정보를 제공하는 것]을 포함하며, 자기평가가 교육 및 실천에서 어떻게 사용될 수 있는지 이해할 수 있는 추가 수단을 제공합니다.
Self-directed learning and self-regulation are pillars of the medical profession that depend fundamentally on accurate self-assessment.
Yet, self-assessment conceptualized narrowly as a “personal, unguided reflection on performance” is essentially flawed, a task we rarely perform well.1–5
A broader conceptualization, couched within theories of social psychology,6 incorporates the conscious use of external data to inform self-assessment processes and offers additional means to understand how self-assessment might be used in education and practice.1,4,7–10
정확한 자기평가는 또한 개인의 성과를 측정하기위한 적절한 외부 표준과 성과가 이러한 기준을 충족시키는 정도를 판단하는 능력을 필요로합니다.
Accurate self-assessment also requires appropriate external standards for measuring one’s performance and the ability to judge the extent to which that performance meets these standards.11,12
Epstein 등은 위의 개념을 포괄적인 자기평가 정의에 통합했습니다.
"자기평가는 자신의 성과에 관한 데이터를 해석하고, 그것을 명시적 또는 암묵적 표준과 비교하는 과정이다. 자기평가의 힘은 두 가지 주요 영역에 있다. 하나는 현재의 성과를 평가하고 미래의 학습을 촉진하기 위하여 고품질의 외부 및 내부 데이터를 통합하는 것이며, 다른 하나는 일상적인 임상활동을 하면서 지속적으로 자체 모니터링을 하는 능력이다."
Epstein et al13 have integrated the above concepts into a comprehensive definition of self-assessment:
“Self-assessment is a process of interpreting data about our own performance and comparing it to an explicit or implicit standard,” and “The power of self-assessment lies in two major domains—the integration of high-quality external and internal data to assess current performance and promote future learning, and the capacity for ongoing self-monitoring during everyday clinical practice.”
이 포괄적인 정의는 수많은 개별 활동으로 구성된 다각적인 구조로서 자가평가의 프레이밍을 가능하게합니다. 여기에는 다음의 것들이 포함됩니다.
적절한 외부 데이터 및 표준의 선택,
내부 상태에 대한 인식
자신의 성능과 외부 데이터에 대한 비판적 성찰 .
This more comprehensive definition enables framing self-assessment as a multifaceted construct comprising numerous discrete activities. These include, for example,
selection of appropriate external data and standards,
awareness of one’s internal state, and
critical reflection on one’s own performance and external data.11,14,15
우리의 목표는
(1) 구조화 된 자가 평가 중재에 익숙한 학습자와 의사가 어떻게 임상 학습과 실습에서 자기 평가를인지하고 사용했는지 이해하고,
(2) 자기 평가와 그것들에 영향을 미치는 요소들을 구성하는 구성 요소와 과정을 결정한다.
Our goals were
(1) to understand how learners and physicians familiar with structured self-assessment interventions perceived and used self-assessment in clinical learning and practice, and
(2) to determine the components and processes that comprise self-assessment and the factors that influence them.
방법
Method
We designed an international qualitative study that used focus groups and was guided by the principles of grounded theory.16,17
방법
We selected focus groups to examine the multidimensional concept of self-assessment, because participant interaction facilitates new understanding and richer responses.17
연구팀 구성과 기여
Our research team included PhD and physician educators and researchers with collective experience across the continuumof medical education. Team members brought complementary theoretical perspectives and knowledge to the research including expertise in, for example, assessment; linking assessment, learning, and practice improvement; reflection; cognition; and small-group and workplace learning.
표집: 8개의 프로그램
Using purposive sampling, we selected eight programs available to us (Table 1),18–28
representing low, medium, and high degrees of structure/rigor in self-assessment activities,
spanning the educational continuum of undergraduate/postgraduate learners and physicians, and
situated in Canada, the United States, the United Kingdom, the Netherlands, and Belgium.
프로그램 분류
To classify the degree of structure and rigor, we considered the breadth and depth of the self-assessment activity, particularly the extent to which external information and objective standards were used.
구조화 활동의 유형
Structured activities employed by the programs included
portfolios (compiling learning and assessment experiences and reflections on them),18
formalized assessment of objectives and competencies (formally assessing one’s learning and performance against external standards),20
personal learning plans (designing a plan for one’s learning based on assessed performance gaps),21
multisource feedback (MSF, using formal feedback from multiple reviewers to inform perceptions of performance),25
chart audit (using clinical practice guidelines to audit patient records and determine gaps in performance),23
practice-based small-group learning (participating in facilitated discussions of evidence and practice to identify gaps).27
프로그램 디렉터 포커스그룹
In 2008, program directors of the eight programs invited participants in their programs by letter to volunteer for face-to-face focus groups.
Focus groups were 1.5 hours in length and were recorded and transcribed.
We conducted 17 groups, 2 from each program and an additional MSF group included to increase data saturation for general practitioners.
For consistency, one researcher (J.S.) moderated all groups, assisted by at least one other team member or research designate familiar with the specific program and cultural contexts.
Iterative한 과정
Consistent with grounded theory principles, we revised interview questions on the basis of preliminary data analysis from each group to expand data collection on important concepts and emerging themes.
We conducted the analysis iteratively as a team.
Two team members independently open-coded the first transcript and compared their interpretations of themes, which were then reviewed and verified by another team member and then through group discussion.
After several focus groups, we developed an initial coding structure organized around the topics of the interview guide and emerging themes.
One team member computer-coded the data, using NVivo8 software (QSR International Pty Ltd, Victoria, Australia).
At least three other team members analyzed each transcript individually and then discussed theme development in a series of seven 1.5-hour teleconferences, continually informing revision of the coding structure.
We held a face-to-face meeting to confirm emerging themes and formed subgroups to conduct detailed analyses of related categories of data.
At a subsequent two-day meeting, we discussed these in depth, continued axial coding,16 and constructed a preliminary conceptual diagram of self-assessment integrating major themes.
To facilitate concept mapping, we used MindManager Pro 7 software (MindJet Corporation, San Francisco, California).
We interpreted themes through constant comparison and explored their interrelationships.
Team subgroups refined the conceptual model components and verified their grounding in data.
Throughout the analyses, we resolved differences in interpretation through discussion and reexamining transcripts and coded data.
Researcher triangulation and high levels of team involvement and collaboration throughout all research stages enhanced the interpretive rigor.17
결과
Results
See Table 1 for participation by program.
우리의 분석에서 나타난 것은 자기 평가의 복잡성과 그것을 알려주는 과정과 차원에 대한 이해입니다. 우리는 5 개의 주요 구성 요소를 포함하는 정보 기반 자기평가informed self-assessment (그림 1)의 개념 모델, 프로세스 및 차원에서이를 제시합니다. 처음 세 구성 요소는 자체 평가를 알리는 데이터를 액세스, 해석 및 응답하는 단계별 프로세스를 설명합니다. 이 세 가지 구성 요소는 각각 맥락적, 역동적, 반복적입니다.
Emerging from our analysis of the transcripts is an understanding of the complexity of self-assessment and the processes and dimensions that inform it. We present these in a conceptual model, processes and dimensions of informed self-assessment (Figure 1), comprising five main components. The first three components describe a phased process by which data to inform self-assessment are accessed, interpreted, and responded to. These three components are each contextual, dynamic, and iterative.
첫 번째 "정보 출처"는 내부 (인지, 정서적) 및 외부 (공식, 비공식) 출처의 데이터를 포함하며, 자기평가에 정보를 제공하기 위해 접근할 수 있는 자료이다.
두 번째 구성 요소는 "정보의 해석"으로 내부 및 외부 데이터가 합성되고 동화되어 자기평가에 정보를 제공한다.
세 번째 구성 요소는 "정보에 대한 응답"은 학습자 또는 의사가 데이터를 사용하는 방법에 해당합니다.
세 가지 구성 요소 프로세스는 네 번째 구성 요소, 즉 "여러 외부 및 내부 조건과 영향"에 의해 크게 영향을받는 것으로 보입니다.
최종 구성 요소 인 모델의 중심 차원은 경쟁하는 내부 및 외부 데이터 및 조건에서 발생하는 "긴장감"의 균형을 맞추거나 무게를 다는 것입니다.
The first, “sources of information,” includes data from both internal (cognitive, affective) and external (formal, informal) sources, which can be accessed to inform self-assessment.
The second component is “interpretation of information,” by which internal and external data are synthesized and assimilated to inform self-assessment.
The third component, “responses to information,” corresponds to how the learner or physician uses the data.
The three-component process seems highly influenced by the fourth component, which is multiple “external and internal conditions and influences.”
A central dimension of the model, the final component, is a balancing or weighing of “tensions” arising from competing internal and external data and conditions.
정보 출처
Sources of information
외부 출처. "프로세스"와 "사람"모두 직접 및 간접적으로 자체 평가에 정보를 제공합니다.
사람에는 동료, 컨설턴트, 기타 보건 전문가, 감독자, 학습자 및 환자가 포함되었습니다.
프로세스에는 각 프로그램의 구조화 된 활동 (표 1)과 OSCE, 임상 평가, CME 과정, 임상 진료 지침, 회진, 읽기, 감사 및 자격 갱신을 포함한 기타 공식 및 비공식 활동이 포함되었습니다.
중요하게, 학부 및 대학원 학습자는 수퍼바이저 및 시니어 동료로부터의 공식 및 비공식 피드백을 중시했습니다. 그러나 피드백은 때때로 결핍되어있거나 유용성이 결여이 결여되어있었다. 피드백이 없는 경우 고립감, 불확실함, 염려 등의 감정이 들고, 부적절한 수행을 인지하지 못할 수 있습니다.
External sources. Both “processes” and “people” informed self-assessment directly and indirectly.
People included peers, consultants, other health professionals, supervisors, learners, and patients.
Processes included structured activities of the respective programs (Table 1) and other formal and informal activities including OSCEs, clinical evaluations, CME courses, clinical practice guidelines, rounds, reading, audits, and recertification.
Importantly, undergraduate and postgraduate learners valued formal and informal feedback from supervisors and senior peers. However, they also reported that feedback was sometimes conspicuous both by its absence and lack of usefulness. Lack of feedback left them feeling isolated, uncertain, and concerned that they might be unaware of inadequate performance.
동료 상호 작용은 학습자와 의사 모두에게 중요한 비공식 정보원이었습니다. 동료 상호작용은 벤치마킹을 제공했으며, 이는 자신의 퍼포먼스를 조정하는 기준이었습니다. 학습자는 점심 또는 근무 후 자신의 수행을 비교하기 위해 친구들과 토론을했습니다. 마찬가지로 의사들은 비공식적 상호 작용을 중요하게 생각합니다.
Peer interaction was an important informal source of information for both learners and physicians because it provided a benchmark, a measure against which to calibrate one’s own performance. Learners described discussions with peers over lunch or after work to compare performances; likewise, physicians valued informal interactions.
학생은 감독자로부터 피드백을 요청하거나 액세스하는 반면, 의사는 직접 피드백의 소스가 거의 없다고보고했습니다.
Whereas learners sought or accessed feedback fromsupervisors, physicians reported few sources of direct feedback.
참가자들은 구조화된 학습 및 평가 활동을 통해 스스로를 평가할 수 있다고 보고했다. 또한 환자, 동료, 학생, 동료 및 감독자와의 비공식적 상호 작용도 지식이나 수행의 gap을 깨닫게 해주었는데, 특히 이들이 질문을 하거나 자신의 견해를 공유했을 때 그러했다.
Whereas participants reported that structured learning and assessment activities could informself-assessments, they also noted that informal interactions with patients, peers, students, coworkers, and supervisors raised awareness about gaps in knowledge or performance when these other people simply asked questions or shared their views.
내부 정보출처. "자아", 특히 자신의 정서와 내부 상태는 자기 평가에 도움이되었다. 참가자들은 자신감과 확실성과 같은 긍정적인 상태와 불확실성, 불안, 두려움과 같은 부정적인 상태를 모두 묘사했습니다. 의사들은 종종 무언가 놓친 것에 대한 지표로서 무언가 잘못되었다는 막연한 감각 또는 정의할 수 없는 불편감을 언급했다.
Internal sources of information. “The self,” especially one’s emotions and internal states, seemed instrumental in informing self-assessment. Participants described positive states including confidence and certainty, and negative ones such as uncertainty, anxiety, and fear. Physicians often referred to a vague sense of something wrong or undefined feelings of discomfort as an indicator of something missed,
감정은 특히 강력한 정보원이 될 수 있습니다.
Emotions could be a particularly powerful source of information.
내가 마주한 하나의 자체 평가는 근본적으로 두려움입니다. 내가 출산한 날, 어느 날 밤 나는 case room에서 전화를 받았다. 그들은 상황을 묘사했고 나는 그 순간에 무엇을해야 할지를 몰랐다. 나는 "이제 이 일에서 벗어날 때가 되었다."라고 말했고, 이것은 두려움이었다. - 의사 L7
One self-assessment I encountered is basically fear. In the days that I did deliveries, one night I got phoned from the case room. They [described the situation] and I did not know what to do at that moment. I said, “It is time for me to get out of this.” That was fear. —Physician L7
정보의 해석
Interpretation of information
참여자는 외부 및 내부 데이터 모두에 대한 해석 및 성찰을 보고했습니다. 그들은 비판적 Reflecting in action을 말했다. 또한 "Reflecting on action"을 말했다.
Participants reported interpreting and reflecting on both external and internal data. They described critically reflecting “in action,” They also described reflecting “on action,”
일부 의사들은 비판적 성찰을 자신의 실천에 필수적이라고 설명했지만, 모든 의사가 의도적으로 자신의 수행을 모니터링하지는 않는다고 지적했습니다. 그 이유로서 다음을 제시했다.
최적의 관리를 제공하지 못하게 만드는 엄청난 진료업무량
의식적으로 성찰 할 시간 부족
새로운 정보를 실제로 적용하기보다는 압박이 심한 상황에서 익숙한 것에 의존하는 경향
Although some physicians described critical reflection as integral to their practice, others noted that not all physicians intentionally monitor their performance. Participants offered reasons for this, including
high-volume practices not conducive to providing optimum care,
lack of time to consciously reflect, and
a tendency to rely on what is familiar in high-pressure situations rather than incorporating new information into practice.
대안으로, 일부 학습자와 의사는 구조화 학습 활동의 유용성에 대해 설명하면서, 이 시간은 자신의 성과를 성찰하고, 의견을 수렴하며, 개선 방법을 모색하도록 권장하거나 심지어 강요했다고 말했다.
Alternatively, some learners and physicians described the usefulness of structured learning activities in encouraging, even forcing, them to reflect on their performance, accept feedback, and seek ways to improve.
개인의 성과를 해석하려면 여러 출처의 정보를 수집, 계측, 합성해야 할 수도 있습니다.
Interpretation of one’s performance may also require collecting, weighing, and synthesizing information from multiple sources,
자신감을 키우는 것은 학습자에게 중요하게 보였고 그들이하고 있는 방식에 대한 해석과 얽혀있었습니다. 그들은 특정 활동에 대해 자신감을 느끼는 것은 성과가 만족스러운 것을 의미하는 것으로, 자신감이 부족한 것을 개선이 필요한 것으로 인식했다. 또는 의사는 자신의 무지와 오류에 대한 취약성을 인정할 필요성이 있다고 이야기했습니다.
Building confidence seemed critical for learners and was intertwined with their interpretations of how they were doing. They spoke of feeling confident in a particular activity as indicating satisfactory performance and viewed lacking confidence as indicating a need for improvement. Alternatively, physicians spoke of the need to admit not knowing and their vulnerability to error,
정보에 대한 반응
일부 참가자는 정보를 무시하거나 거부했습니다. 그 이유는 다양한 것이 있었는데, 예를 들어 학생의 경우 거의 학습자를 관찰하지 않은 감독자에 대해서는 신뢰할 수 없다고 했고, 의사의 경우 부정적인 피드백을 받은 원인이 통제할 수 없는 외부 환경에 있다고 attribute했다.
some participants ignored or rejected this information. They gave varied reasons for this—for instance, lack of credibility of data from supervisors who rarely observed their learners, or in the case of physicians, attributing the disconfirming feedback to circumstances beyond their control.
다른 사람들은 초기의 부정적인 감정 반응과, 뒤이은 반성과 처리를 기술하며, 이러한 정보를 자기 평가와 통합하게 되었으며, 결국 개선이 필요함을 받아들이게 되었다고 말했다.
Others described initial negative emotional responses followed by reflection and processing, leading to an integration of this information with self-assessments and acceptance that improvement was needed.
다른 사람들은 부정적인 피드백을 자기 평가에 동화시켜 그것을 향상시키기 위해 사용하는 것에 대해 상당히 중요하게 보였다.
Others seemed quite matter-of-fact about receiving negative feedback, assimilating it into their own self-assessment, and using it to improve.
학습자와 의사 모두 현재의 성과 수준을 확인해주는 피드백을 가치있게 여겼으며 그러한 피드백을 원하였다. 특히 학습자에게 그러한 피드백은 학습을 돕고 자신감을 주는 것처럼 보였습니다.
For learners and physicians, feedback confirming or validating one’s present level of performance was valued and sought. Particularly for learners it seemed to aid learning and build confidence,
그러나 외부 피드백을 해석하고 그에 대한 응답이 항상 쉬운 것은 아닙니다. 예컨대, 사람마다 "적절한 실천"이 무엇인가에 대한 의견이 달랐기 때문에 더욱 복잡해졌다.
However, interpreting external feedback and responding to it was not always straightforward. It was complicated, by varying individual views of appropriate practice for one participant:
자료에 접근하고 해석하는 또 다른 방식은 현재보다 더 높은 수준의 성취 기준을 설정하는 것이었다.
Other responses to accessing and interpreting data included moving beyond the present standard of performance to a higher level of achievement.
외부와 내부 조건
External and internal conditions
참여자는 자기 평가에 제공된 정보의 가용성, 해석, 수용, 사용에 영향을 미치는 4 가지 상호 관련더;ㄴ 카테고리를 설명했다.
(1) 학습/실천 분위기
(2) 타인과의 관계
(3) 정보 프로세스 및 정보의 신뢰성
(4) 개인적 속성
Participants described four interrelated categories of conditions influencing the availability, interpretation, acceptance, and use of information to inform self-assessment:
(1) learning/practice climate,
(2) relationships with others,
(3) credibility of information processes and information, and
(4) personal attributes.
학습 / 실습의 분위기는 의학 문화와 특수한 임상 환경을 포함하며, 다양한 긍정적 인 영향과 부정적인 영향을 미친다. 예를 들어, 의사와 학습자 모두 협업과 팀워크의 가치를 설명했습니다. 특정한 임상팀에 배정 된 학생은 일반 병동 기반 로테이션에 배정된 학생보다 적극적이었고, 환자 간호 및 학습에 더 많이 참여했으며, 감독자와 더 나은 관계를 유지했으며, 더 많은 피드백을 받았다는 것을 관찰했습니다.
The learning/practice climate encompasses the medical culture and the specific clinical setting, and it exerted varying positive and negative influences. For example, both physicians and learners described the value of collaboration and teamwork. Learners assigned to specific clinical teams compared this experience with assignment to general ward-based rotations and observed that they were more active, were more engaged in patient care and their own learning, had better relationships with supervisors, and received more feedback.
모든 참가자는 타인과의 관계가 중요한 영향을 미쳤다고 보고했다. 무엇보다 관계의 퀄리티가 중요한 요소였습니다. 신뢰, 존경, 비판적 태도는 질문을 제기하고, 지식 격차를 공개하며, 실수를 개방적으로 논의 할 수있는 안전한 환경을 조성함으로써 모든 수준에서 자기평가를 촉진했습니다.
Participants at all levels reported relationships with others as critical influences. Importantly, the quality of the relationship was a critical factor. Trust, respect, and nonjudgmental attitudes fostered self-assessment at all levels by creating a safe environment where questions could be asked, knowledge gaps revealed, and mistakes discussed with openness.
의사의 실제 상황 (예 : 그룹 대 솔로, 학업 / 병원 vs. 커뮤니티)은 전문적 및 사회적 관계 및 협동 적 상호 작용을위한 기회에 영향을 미쳤다.
의사와 학습자는 고립을 "red flag"로 간주했습니다. 고립이란 외부 정보에 대한 접근이 제한된 상태이다.
관계의 다양성은 상호 비교가능한 광범위한 지식과 경험에 접근 할 수있게 해 주었고, 자기 평가 과정에서보다 풍부한 정보를 제공했습니다.
Physicians’ practice settings (e.g., group versus solo, academic/hospital versus community) moderated opportunities for professional and social relationships and collegial interaction.
Physicians and learners viewed isolation as a “red flag”; that is, working alone limited access to external information.
Diversity in relationships provided access to a wider range of knowledge and experience for comparison purposes, providing richer information to process in self-assessment.
또는 동료와 편안한 관계를 유지하고자 하는 욕구로 인해 동료에게 비판적인 피드백을 제공하는 것을 꺼려하게 할 수 있습니다.
Alternatively, the desire to maintain comfortable relationships may result in reluctance to provide colleagues with critical feedback necessary for improvement.
무엇보다도 피드백 프로세스를 얼마나 신뢰하느냐가 피드백 수용에 영향을 미쳤습니다. 일부의 경우, 특정 평가 프로세스의 구조는 신뢰성이 결여되었고, 참가자들은 이러한 프로세스가 거의 가치가 없다고 인식하였다.
For all, the perceived credibility of feedback processes influenced acceptance of the feedback. For some, the structure of specific assessment processes lacked credibility, and participants perceived these processes to be of little real value,
성찰적 학습은 단지 ... 통과해야하는 또 다른 후프 일 뿐입니다. - 대학원 D1
Reflective learning is just...another hoop that you’ve gotta jump through. —Postgraduate D1
수강생은 흥미와 기술을 갖춘 의료공급자가 일정 기간 동안 직접 관찰 한 결과를 바탕으로 피드백을 준 경우 특히 중요하게 생각했습니다. 그들은 신뢰할 수 있고 효과적인 피드백이란 건설적이고 구체적이며 설명적이며 시의적절한 것이라고 말했다. 학습자들은 때로는 동료 의견을 감독자의 의견보다 더 신뢰할 수 있다고 생각했습니다.
For learners, feedback from supervisors was especially valued if based on direct observation over a period of time by an interested and skilled provider. They described credible and effective feedback as being constructive, specific, descriptive, and timely. Learners sometimes perceived peer feedback as more credible than that from supervisors,
마지막 카테고리는 개인적인 특성이었습니다. 여기에는 동기 부여, 자신감, 호기심, 참여, 마음가짐 및 자기 주도성과 같은 감정과 특성이 포함됩니다. 내부 정보원에 대한 위의 논의에서 언급했듯이 개인의 속성과 감정은 정보의 원천이 될 수 있습니다. 내부 정보는 moderator이며, 자기 평가 능력에 영향을 미쳤다. Being mindful이란 것이 무엇인지 묘사한 의사도 있엇다.
다른 사람이 말하고 느끼는 것에 세심한주의를 기울이는 것
자기 평가를 정확하게 내리는 능력에 긍정적인 영향을 주는 것
지식이나 실습의 갭을 확인하는 것
The final category was personal attributes. These included emotions and characteristics such as motivation, confidence, curiosity, engagement, mindfulness, and self-directedness. As noted in the above discussion of internal sources of information, personal attributes and emotions could be a source of information. They also appeared as moderators and influences of one’s ability to self-assess. The physician below describes how being mindful, that is, being attentive to what one is saying and feeling, positively influences one’s ability to self-assess accurately and identify gaps in knowledge or practice:
긴장감
Tensions
참석자들의 자기 평가 경험에 대한 설명은 여러 장력을 드러냈다. 이것들은 내외부 데이터와 이러한 데이터의 수용과 사용에 영향을 미치는 조건들 사이의 복잡한 상호 작용으로부터 나타났습니다. 정보에 근거한 자기 평가의 다른 구성 요소와 마찬가지로, 이들은 맥락적, 역동적, 가변적으로 나타나 참가자 그룹 전체에서 확인되었다. 우리는
사람 사이의 긴장,
사람 내부의 긴장,
학습/의료 환경의 긴장
3 가지 범주의 긴장을 확인했습니다.
Participants’ descriptions of their self-assessment experiences revealed multiple tensions. These emerged from complex interactions among internal and external data and conditions influencing acceptance and use of those data. Like other components of informed self-assessment, they appeared as contextual, dynamic, and variable and prevailed across participant groups. We identified three categories of tensions: between people, within people, and in the learning/practice environment.
사람 사이의 긴장감은 [학습하고 개선하고 싶은 것]과 [상사와 동료들에게 자신감있고 똑똑한 것으로 보이기를 바라는 것] 사이의 충돌로부터 발생했습니다. 예를 들어, 관계의 안전과 개방성은 때로는 지식 격차를 인정할 수있는 기회와 충돌하거나 그런 기회를 제한하였다.
Tensions existing between people arose generally from conflict between wishing to learn and improve and wishing to seem knowledgeable and confident to one’s supervisors and colleagues. For example, relationship safety and openness were sometimes at odds and limited one’s opportunity to acknowledge knowledge gaps.
두 번째 범주는 "사람 내부의 긴장"으로서, [역량에 대한 자기평가]와 [외부에서 받은 평가] 간의 차이에서 발생했습니다.
The second category, tensions within people, often arose from discord between one’s own assessment of competence and that conveyed by incoming information.
세 번째 범주는 "학습/진료 환경에서의 긴장"을 포함했다. 학습자는 공식 커리큘럼과 평가 프로세스 사이의 불일치, 임상에 대해 생각했던 것과 실제로 경험한 것 사이의 불일치를 언급했다. 예를 들어 [피드백을 진지하고 정직하게주고받는 것]과 "평가 게임을 하는 것" 사이에는 긴장이 있었습니다.
The third category encompassed tensions in the learning/practice environment. Learners described discordances between the formal curriculum and assessment processes, and what they perceived and experienced in clinical placements. For example, there was tension between giving and receiving feedback seriously and honestly versus “playing the evaluation game.”
[개선을 위하여 외부 피드백에 접근하고 받아들이는 것]과 [학습자 또는 의사로서 자신의 자아상을 유지하는 것] 사이에는 긴장감이 존재하는 것처럼 보였습니다. 피드백을 원하면서도 부정적인 정보를 두려워하였다. 의사들은 초기에는 구조화 된 평가 활동에 참여하기를 망설였다고 말하며, 피드백은 자기 인식에 대한 잠재적 위협을 가하기 때문에 불안감을 조성한다고 설명했다.
The overarching tension seemed to exist between accessing and receiving external feedback for the purpose of improvement, and preserving and maintaining one’s self-image as a learner or practitioner. It was evidenced by wanting feedback yet fearing negative information. Physicians spoke of an initial hesitancy to participate in structured assessment activities, explaining that feedback, although wanted, creates anxiety because of its potential threat to self-perceptions.
학습자들은 일반적으로 피드백을 원했지만, 자신의 성과에 대한 어느 정도의 확신은 피드백을 구하고 받아들이는 데 필수적이라고 지적했습니다. 실수로부터 배우기 위해 피드백이 필요함을 아는 것과 피드백을 요청할 자신감 부족 사이에 긴장이 있었다.
Learners generally wanted feedback but noted that a degree of confidence in one’s performance was requisite to being prepared to ask for and receive it. Tension existed between knowing one needed feedback to learn fromone’s mistakes and lacking the confidence to ask for that feedback.
자신감이 있을 때 더 자세한 피드백을 요청할 수 있습니다. - 학부생 H9
When you are more confident, you can ask for more detailed feedback. —Undergraduate learner H9
고찰
Discussion
우리는 구성 요소의 다양성과 유동성을 묘사하려고했습니다. 그러나 2 차원 모델 (그림 1)에서 자기 평가의 "복잡한 그물"의 본질을 전송하는 것은 어렵습니다. 구성 요소들은 정적이지 않으며, 관계는 선형적이지 않고, 예측 가능하지 않습니다. 이를 깨닫게되면 왜 자기 평가의 정확성이 낮은지 이해할 수 있습니다. 젊은 의사들이 임상적 불확실성이있는 상황에서 시니어에게 전화를 걸지 말지 여부를 결정하는 방법을 설명한 연구에서는 '어린 아이가 산들바람을 따라 부드럽게, 하지만 예측불가능하게 움직이는 것'이라는 비유를 사용한다. 마찬가지로, 자기 평가는 행동과 반응이 (적어도 아직까지는) 예측 될 수없는 multidimensional construct이다.
We attempted to depict the diversity and fluidity of the components. However, in a two-dimensional model (Figure 1), it is difficult to transmit the essence of the “tangled web” of self-assessment. Components are not static, and relationships are not linear and predictable. Realizing this can help us understand why self-assessment accuracy seems to be frequently unreliable.1–4 In a paper describing how young doctors make decisions about whether or not to call a senior in situations of clinical uncertainty, a similar complex process is described through the metaphor of a child’s mobile gently and unpredictably moving in the breeze.29–30 Likewise, self-assessment is a multidimensional construct in which actions and reactions cannot, at least as yet, be predicted.
보다 구체적인 수준에서 이 연구는 선행 연구의 중요한 발견을 보완하고 새로운 방향을 제안합니다. 가장 중요한 것은 신뢰할 수있는 감독자가, 안전한 환경에서, 자기평가에 정보를 주기위해, 명확하고 시의적절하고 구체적인 건설적인 피드백을 제공하는 것이다. 하지만 이러한 피드백은 부족했다.
학생들은 (아마도 감독자의 누락 된 피드백을 대체하기 위해) 자기 평가에 대한 정보를 얻기 위해 동료로부터 피드백을 요청했습니다.
의사들은 공식적인 피드백을받는 경우는 거의 없으며, 흔히 동료와의 상호작용과 피드백을 사용하여 자기 평가에 도움을 받는다.
따라서 동료 네트워크와 피어가 제공하는 피드백이 중요하다.
On a more specific level, this study reinforces important findings from prior research and suggests new directions. Foremost is the requirement for clear, timely, specific, constructive feedback, preferably offered by trusted, credible supervisors in a safe environment, to inform learners’ self-assessment.11,31–35 We found this often lacking.
Perhaps to replace missing feedback from supervisors, learners sought feedback from peers to inform their progress and self-assessments.
Physicians reported rarely receiving formal feedback and frequently using peer interaction and feedback to inform their self-assessments.
Hence, it seems that quality matters in terms of that peer network and the feedback that peers provide.27,36–40
평가 및 기타 외부 및 내부 데이터에 대한 critical and deliberate reflection은 자기평가 중 해석 단계의 주요 활동이다. Critical reflection에 대해 더 많이 아는 것(그것이 언제, 어떻게 작동하는지, 그것의 힘은 무엇인지, 학습자와 실무자들 사이에 얼마나 널리 퍼져있는지)이 자기 평가와 어떻게 자기평가에 필요한 정보를 얻는가에 대한 이해에 중요하다. 마찬가지로, "자기", 즉 자신의 정서적 반응, 내부 상태, 자기 특성이 자기 평가에 미치는 영향을 이해하는 것이 중요해 보입니다.
Critical and deliberate reflection on assessment and other external and internal data appeared as a key activity of the interpretation phase of self-assessment. Learning much more about critical reflection—how and when it functions, its rigor, and its universality among learners and practitioners—seems to be important to understanding self-assessment and how it is informed.14,41–45 Similarly, understanding the contribution of “self,” that is, one’s emotional responses, internal states, and personal characteristics to self-assessment, seems central.13,46
긴장감은 자기 평가에서 불가결 한 것으로 보입니다. 사람은 다음과 같은 긴장을 안고 산다.
[자신이 어떻게하고 있는지 알고싶어하는 것]과 [자신이 잘못 하고 있는 것이 아닐까에 대한 두려움]
[배우고 싶어하는 마음]과 [모르는 것을 드러내야 하는 것에 대한 불안]
[구조화 된 평가로부터 얻을 학습 잠재력]과 [구조화된 평가활동을 신뢰할 수 없을 때 잃게 될 학습 잠재력]
Tensions seemed integral to and inevitable within self-assessment. There were tensions
between wanting to know how one is doing and fear of learning one is not doing as well as one should,
between wanting to learn and improve and the anxiety of disclosing that one does not know, and
between the potential for learning from structured assessment activities and the loss of that potential when these activities are perceived as not credible.
긴장은 종종 임상 및 교육 환경의 특징, 전문적인 기대치 및 잠재 교육 과정과 관련이있는 것 같았습니다. 자기 평가와 자기 주도적 학습 및 전문적인 자기 규제와의 관계를 이해하는 데 큰 도움이되기 전에 이러한 요소들을 다루기 위해 많은 노력이 필요해진 것 같습니다.
Tensions often seemed linked to features of clinical and educational environments, perceived professional expectations, and the hidden curriculum of medical education.13,47–51 It seems that much needs to be done to address these factors before we can make great gains in understanding self-assessment and its relation to self-directed learning and professional self-regulation.
30 Sargeant J. To call or not to call: Making informed self-assessment. Med Educ. 2008; 42:854–855.
42 Sargeant J, Mann K, van der Vleuten C, Metsemakers J. Reflection: A link between receiving and using assessment feedback. Adv Health Sci Educ Theory Pract. 2009;14:399– 401.
Acad Med. 2010 Jul;85(7):1212-20. doi: 10.1097/ACM.0b013e3181d85a4e.
The processes and dimensions of informed self-assessment: a conceptual model.
Author information
- 1
- Dalhousie University, Halifax, Nova Scotia, Canada. joan.sargeant@dal.ca <joan.sargeant@dal.ca>
Abstract
PURPOSE:
METHOD:
RESULTS:
CONCLUSIONS:
- PMID:
- 20375832
- DOI:
- 10.1097/ACM.0b013e3181d85a4e
'Articles (Medical Education) > 자기주도학습, 자기평가' 카테고리의 다른 글
| 위험군 학생 재교육에 있어서 선생님의 역할(Med Teach, 2012) (0) | 2017.11.23 |
|---|---|
| 유급 위험에 있는 의과대학생들을 찾아내기 위한 도구 개발: 후향적 탐색적 사례 연구(BMC Med Educ, 2011) (0) | 2017.11.23 |
| 학업과제 중 의과대학생의 자기조절학습SRL (Med Educ, 2016) (0) | 2016.11.10 |
| 위험군 의과대학생을 대상으로 한 의무 인지기술 프로그램의 설계와 효과성(Med Teach, 2010) [출력완료] (0) | 2016.04.08 |
| 자기조절학습 이론을 활용하여 Struggler 학생의 신념/감정/행동 이해하기(Acad Med, 2011) (0) | 2016.04.01 |