임상에서 배우기: 배움의 단서와 신뢰도 판단(Med Educ, 2012)

임상에서 배우기: 배움의 단서와 신뢰도 판단(Med Educ, 2012)

Learning from clinical work: the roles of learning cues and credibility judgements

Christopher Watling,1 Erik Driessen,2 Cees P M van der Vleuten2 & Lorelei Lingard3

도입

INTRODUCTION

의학 교육자가 학습을 용이하게하는 환경을 제공하려면 학습에 가장 영향을 미치는 요소에 대한 이해가 필요합니다.

In order for medical educators to provide an environment that facilitates learning, an understanding of the factors that are most influential in learning is required.

임상 교사가 학습에 어떻게 영향을 줄 수 있는지에 관한 많은 관심은 피드백 제공에 초점을 맞추고있다 .4-7 많은 요소들이 학습자가 피드백을 인식하고, 해석하고 사용하는 방법에 영향을 미친다. 

• 내과 레지던트의 피드백에 대한 인식을 연구 한 한 연구는 레지던트들이 행동 계획의 개발을 유도하는 시기 적절하고 사적인 피드백을 중시했지만, 발신자가 신뢰할만한 것으로 인식하지 못한다면 피드백을 거부 할 수 있음을 발견했습니다.

• 교육 과정 평가에 대한 레지던트의 인식을 조사한 결과,이 과정에서 받은 피드백의 가치는 다음에 영향을 받는다

• 평가자의 신뢰와 참여에 대한 그들의 인식,

• 건설적인 비판에 대한 그들 자신의 수용성,

• 자기 평가와 같이 자기 실적에 대한 다른 정보 출처에 대한 신뢰도.9

• 자기 평가 메커니즘에 대한 탐구는 개인이 자기 자신의 수행에 관한 다양한 정보 출처에 접근하고, 해석하고 이에 반응하는 유사하게 복잡한 과정을 제안했으며, 이 출처는 외부 (예 : 피드백)와 내부 (예 : 감정적 인 상태)가 있다

Much of the attention around how clinical teachers can influence learning has focused on the provision of feedback.4–7 Many factors affect how feedback is perceived, interpreted and used by learners. 

• One study exploring internal medicine residents’ perceptions of feedback found that residents valued well-timed, private feedback that fostered the development of an action plan, but might reject feedback if they did not perceive the sender as credible.8 

• An exploration of residents’ perceptions of in-training evaluations revealed that the value learners placed on the feedback they received in this process was influenced by 

• their perceptions of the evaluator’s credibility and engagement, 

• their own receptivity to constructive criticism, and 

• the extent to which they trusted other sources of information about their performance, such as self-assessment.9 

• Explorations of self-assessment mechanisms have suggested a similarly complex process by which individuals access, interpret and respond to a variety of sources of information about their own performance, both external (such as feedback) and internal (such as their emotional state).

학은 학습자가 스스로 조절하고, 학습 목표를 설정하고, 목표를 달성하기위한 전략을 선택하고, 목표에 대한 진행 상황을 모니터링 할 때 향상됩니다 .11 자기조절학습은 학습자의 현재 상태가 학습 목표와 관련이 있는가를 보여주는 정보에 접근하고 해석할 수 있다는 것에 기반한다.11,12 피드백은 자기조절의 중요한 촉진제로 널리 받아 들여지지만, 학습자가 그것을 수용하거나 이해할지는 straightforward하지도, 확실하지도 않다.

Learning is enhanced when learners are self-regulating, actively engage in setting learning goals, select strategies for achieving these goals and monitor their progress toward these goals.11 Self-regulation hinges on learners being able to access and interpret information that indicates how their present state relates to their learning goals.11,12 Although feedback is widely accepted by educators as a valuable facilitator of self-regulation,11 its acceptance and uptake among learners are neither straightforward nor assured.

학습자는 실제로 무엇을 배워야하는지에 대한 많은 정보 출처를 제공받으며 이 정보 중 어느 것이 주의를 요하는지 결정해야합니다. 따라서 의학 학습자가 정보를 분류하고 해석하고 통합하는 과정을 더 잘 이해할 필요가 있습니다.

Learners are, in fact, presented with many sources of information about what should be learned and must make decisions about which of this information requires their attention. Hence, there is a need to better understand the process by which medical learners sort, interpret and integrate information as they learn.

이 연구에서는 의사가 학습에 영향을 미친 것으로 인식한 경험에 초점을 맞추고, 의미있는 학습을 수행하는 데 필요한 조건을보다 잘 이해하기 위해 이러한 경험의 구성 요소와 특성을 탐구합니다. 우리는 어떤 경험이 영향력있는 것으로 여겨지는지, 그리고 이러한 경험이 학습자들에게 resonate 할 수 있는 이유를 묻습니다.

In this study, we focus on experiences perceived by doctors as having been influential in their learning, and explore the constituents and characteristics of these experiences in order to develop a better understanding of the conditions required for meaningful learning to occur. We ask not only what experiences are considered influential, but also what allows these experiences to resonate with learners.

방법

METHODS

To elaborate an explanatory theory of how medical trainees are influenced in their learning, we used a constructivist grounded theory approach, in which the vantage points of participants and researchers alike are accounted for as the data are interpreted.13 The constructivist approach further implies that existing relevant literature, including that exploring perceptions of medical learning, self-assessment and feedback,2,3,10,14 influenced the development of our research questions and interview probes, and provided sensitising concepts that informed the data analysis.

Data collection and analysis proceeded in an iterative fashion. A purposive sample of early-career academic faculty staff was recruited from a single, large Canadian medical school. All faculty staff within the first 5 years of their initial academic appointment were sent an e-mail introducing the study and inviting their participation. This group was targeted as it was anticipated that these individuals would have the benefit of reflective distance from their training, but remained close enough to training to recall important details. The study was approved by the university’s ethics committee.

Twenty-two (10 male, 12 female) faculty members representing a range of medical and surgical specialties (internal medicine, n = 3; psychiatry, n =4; oncology, n = 3; surgery, n = 4; neurology, n =4; paediatrics, n = 3; medical genetics, n = 1) participated in individual, semi-structured interviews lasting up to 1 hour. Interviews were recorded and transcribed verbatim without identifying data. Interview data were analysed using the constant comparative approach customary in grounded theory.15 Analysis occurred alongside and informed data collection: initial transcripts were read in detail and emerging themes were identified, some of which were specifically explored in subsequent interviews using new interview probes. Transcripts were repeatedly re-examined as additional interviews were completed to provide ongoing comparisons across the dataset, allowing for the development of a robust coding scheme for organising and classifying data thematically. Consistent with a theoretical sampling approach, data collection continued until saturation of themes was achieved. 

• Once the coding scheme was refined, the complete dataset was analysed with the goal of raising the analytic level from the categorical to the conceptual. 

• This final level of analysis involved elaborating the relationships among the concepts, and identifying an interpretive model that would account for the data and render them meaningful.13 

• Finally, we examined our emerging model in the light of existing theories and considered how our findings elaborated or challenged these theoretical constructs.

결과

RESULTS

우리의 데이터에서 나오는 것은 임상 학습의 모델이었습니다. 그 핵심은 임상업무 그 자체입니다 : 임상 경험이 축적되고 그것을 처리하면서 학습이 이루어진다. 그들이 임상 업무에 참여할 때, 학습자는 경험의 해석과 지식의 구조를 촉진시키는 다양한 정보 소스 또는 '학습 단서'를 마주친다. 이러한 단서에는 피드백, 역할 모델, 임상 결과, 환자 또는 가족 반응, 또래와의 비교가 포함됩니다. 단서는 [정보 신뢰성에 대한 학습자의 판단]과 [미래의 성과를 형성하는 데 어떻게 사용될 것인지]에 대한 성찰에 따라 통합된다. 학습자 자신의 태도와 가치를 비롯한 다양한 학습 조건은 이러한 신뢰성 판단이 이루어지는 방식과 성찰이 이루어지는 방식을 결정합니다. 이 모델의 각 요소는 그림 1에 나와 있습니다.

Emerging from our data was a model of clinical learning, the core of which is the clinical work itself:learning occurs through the accumulation and processing of clinical experiences. As they participate in clinical work, learners can attend to a variety of sources of information, or ‘learning cues’, that facilitate the interpretation of the experience and the construction of knowledge from it. These cues include feedback, role models, clinical outcomes, patient or family responses, and comparisons with peers. The integration of a cue depends on the learner’s judgement of the credibility of the information and his or her reflection on how it should be used to shape future performance. Various learning conditions, including the learner’s own attitude and values, shape how these credibility judgements are made and how reflection proceeds. Each element of this model, illustrated in Fig. 1

임상 업무에서의 학습

Learning from clinical work

관련 임상 경험의 축적은 모든 참가자들에 의해 매우 중요하게 평가되었습니다.

The accumulation of relevant, hands-on clinical experience was highly valued by all participants:

많은 참가자들은 종종 영향을 받은 임상 사례를 생생하게 회상 할 수있었습니다. 부정적인 결과나 강한 감정적 반응을 일으킨 사례가 특히 기억에 남는 것처럼 보였습니다. 참가자 중 한 명은 훈련 중 수술 사고를 언급하면서 다음과 같이 나타났습니다.

Many participants were able to recall influential clinical cases with striking clarity, often years after their occurrence. Cases with negative outcomes or cases that engendered a strong emotional response seemed especially memorable, as one participant noted in reference to a surgical mishap during training:

'그일은 내 마음 속에 아주 생생하게 자리 잡고 있으며 거의 ​​모든 세부 사항을 기억하고 있습니다.'(P21)

‘It’s something that sticks in your mind very vividly and you remember almost every detail.’ (P21)

업무를 수행함으로써 학습하는 것 외에도, 참가자들은 직장에서 숙련 된 개인을 관찰할 기회를 중요시했습니다.

In addition to learning by doing, participants valued opportunities to observe skilled individuals at work.

배움의 단서

Learning cues

피드백

Feedback

감독자로부터의 건설적인 피드백이 훈련의 핵심 요소가되어야한다는 견해를 받아 들였지만, 진정으로 영향력있는 피드백이 드문 것으로 나타났습니다. 다음과 같은 의견에 의해 전달 된 감정의 덜 극단적 인 버전이 널리 표현되었습니다 :

Although participants embraced the notion that constructive feedback from supervisors should be a key element of medical training, their stories suggested that truly influential feedback was uncommon. Less extreme versions of the sentiment conveyed by the following comment were widely expressed:

많은 참가자들은 임상 경험 자체에서 학습 경로는 종종 명확하고, 임상 경험에서 배운 내용을 간단히 확인하는 정도의 피드백은 별다른 가치를 제공하지 못한다고 인식했습니다. 영향을 준 피드백의 특성으로는 즉각성, 진행중인 임상 업무와의 확실한 관련성, 학습자 자신의 평가 및 가치와의 일치 등이 있습니다.

Many participants perceived that the learning path was often clear from the clinical experience itself, and that feedback that simply confirmed the content learned from the clinical experience provided little additional value. Examples of influential feedback that did emerge shared certain characteristics, including: 

• immediacy, 

• firm grounding in the clinical work at hand, and 

• alignment with learner self assessment and values.

피드백이 도움이 된 한 가지 상황은 학습자가 임상 정보를 해석하기가 어렵거나 오해의 소지가 있는 어려운 경험에 대한 debriefing에 대한 것이었습니다.

One circumstance in which participants did recognise the value of feedback was in the debriefing of difficult experiences, when the clinical information received by the learner was difficult to interpret or potentially misleading.

롤모델

Role models

역할 모델은 학습에 중요한 것으로, 학습자가 열망할 수 있는 관찰 가능한 기준을 제시함으로써 학습자에게 도움을줍니다.

Role models, identified by every participant as critical to their learning, cue learners by providing observable standards to which they can aspire.

'나는 그가 말한 것에서 배운게 아니라, 그를 모방함으로써 배웠다.'(P15)

‘I learned from him by emulating, not at all by what he said.’ (P15)

많은 참가자들은 '롤모델들은 자신들이 그러한 영향력이 있음을 모를거라'고 생각했습니다.

Many participants suspected that their role models were unaware that they served in this capacity:

임상 성과

Clinical outcomes

임상 결과는 학습자의 성공에 대한 유형의, 객관적인 단서를 제공하는 것으로 간주되었습니다.

Clinical outcomes were viewed as providing tangible, objective cues to the success of learner performance.

그러나 일부 참가자는 성과 및 진행 상황의 지표로서 임상 결과에 지나치게 의존하는 것을 우려했다. 임상 업무는 본질적으로 variability가 있어서, 임상 결과가 행운과 기회에 영향을받을 수 있으며 임상 시나리오가 어떻게 진행되는지에 따라 달라질 수 있음을 인식하게했습니다.

However, some participants sounded notes of caution about over-reliance on clinical outcomes as indicators of performance and progress. The inherent variability of clinical work led some to recognise that learning outcomes may be subject to luck and chance and may vary according to how a clinical scenario plays out:

결과적으로 나쁜 결과가 항상 무능력의 신호일 수는 없으며, 마찬가지로 좋은 결과가 항상 좋은 역량을 나타내는 것은 아닙니다.

In effect, a poor outcome may not always be a reliable signal of incompetence, and a good outcome may not always indicate competence.

환자와 가족의 반응

Patient and family responses

환자와 가족의 반응과 반응은 두 가지 방법으로 학습 단서 역할을합니다. 첫째, 학습자는 감독자를 관찰할 때 환자와 가족의 반응에 주의를 기울일 수 있으며, 롤모델을 결정하는데 도움이 되고, 어떤 행동을 모방해야 할 것인지 결정할 때 도움이 된다.

The reactions and responses of patients and families serve as learning cues in two ways. Firstly, learners attend to these responses as they observe their supervisors at work and use them to guide their selection of role models and their determination of which behaviour to emulate:

'어떤 의사가 아주 가혹하고 매우 임상적인 방식으로 제거 할 수없는 악성 종양에 소식을 전하였을 때, 그 의사가 방을 나간 다음, 그들의 가족은 완전히 황폐화되었습니다. 나는 아마 이 일을하는 더 좋은 방법이있을 것이라고 생각했다 ... 나는 그 때 그것을 어떻게 생각 하겠는가를 기억한다. "(P19)

‘I saw someone delivering the news to someone of a malignancy that couldn’t be removed, and it was done in a very kind of harsh and very clinical way. Then the staff person left the room and that person, their family, was just completely devastated. I thought, there’s probably a better way to do this... I remember at that time thinking that’s not how I would do it.’ (P19)

둘째, 환자 및 가족 반응에 대한 학습자의 관찰은 자신의 능력에 대한 직접적인 지침이됩니다.

Secondly, learners’ observations of patient and family responses serve as a direct guide to the quality of their own performance.

(기대에 대한) 부합

Measuring up

학습자가 사용하는 또 다른 단서는 존경받는 감독자가 설정 한 기대치 또는 동료 성과에 대해 그들이 얼마나 효과적으로 부합했는지에 대한 인식에 관한 것입니다. Round가 열릴 때, 학습 환경에서 질문에 응답하도록 요청받는 것과 같은 공개 학습은 이러한 측정 프로세스를 명시 적으로 나타냅니다. 한 참가자는 '그룹 환경에서의 실패 또는 당황에 대한 두려움은 매우 강력합니다'(P21) 고 했으며, 다른 참가자는 '내 동료 앞에서 믿을만한 선생님에 의해 굴욕을 당하는 것 만큼 동기부여가 되는 것도 없다.'(P3) 자신이 '기대에 부합하고 있다'는 것은 또한 매우 안심할 수 있으며, 자신의 학습자 또는 독립적 인 연습을위한 준비 상태보여줄 수 있습니다.

Another cue used by learners concerns their perceptions of how effectively they measured up, either to expectations set by respected supervisors or to peer performance. Public learning, such as being asked to respond to questions in a rounds setting, makes explicit this process of measuring up. One participant acknowledged that ‘fear of failure or of embarrassment in a group setting is very powerful’ (P21) and another commented: ‘Nothing will motivate me like humiliation by a credible teacher in front of my peers.’ (P3) Knowing that one is ‘measuring up’ can also be very reassuring, and can persuade a learner of her or his readiness for independent practice:

학습 조건

Learning conditions

학습자가 임상 작업으로 인해 발생하는 단서를 통합하는 과정은 우리가 '학습 조건'이라고 부르는 내적 요인과 외적 요인의 영향을받습니다. 학습을위한 내부 조건 중 많은 참가자들은 학습에 개방적인 태도를 중요시했다.

The process by which learners incorporate the cues that arise from their clinical work is influenced by both internal and external factors, which we have termed ‘learning conditions’. Among internal conditions for learning, many participants saw value in an attitude of openness to learning,

'... 그들이 배워야한다는 것을 알고 있고, ... 스스로 겸손 해지고 사람들로부터 배울 수 있다는 것을 알고있는 사람.'(P12)

‘…someone who knows that they’re there to learn and who can… humble themselves a bit and understand that you can learn from people.’ (P12)

이러한 개방성은 학습자가 임상 환경에 대해서 가지고 있는 개인적인 가치에 영향을 받기 때문에, 이러한 가치에 공감하는 사람일수록 더 의미가있을 수 있습니다.

This openness is influenced by the personal values the learner brings to the clinical setting so that experiences and people that resonate with these values are more likely to be meaningful.

데이터 세트 전반에 걸쳐 강력한 영향력을 발휘 한 외부 조건은 학습자에게 자율권을 제공하는 것이 었습니다. 학습자가 자신의 임상 업무에 대한 소유권을 가질 수있는 기회는 다음과 같이 강력하게 동기 부여되었습니다.

An external condition that emerged as powerfully influential across the dataset referred to the provision of autonomy to the learner. Opportunities for learners to take ownership of their clinical work were strongly motivating:

우리가 로테이션에서 더 많은 자유를 얻었기 때문에 ... 더 독립적으로 행동하려고 했다. "와우, 우리는 우리 자신을 위해서, 미래를 위해서, 환자를 위해서, 그리고 좋은 의사가 되기 위해서 이 모든 것을 알 필요가있다. ‘

Because we were given more freedom in our rotations... to act more independently, we started to go, ‘‘Wow, we really need to know this stuff for our own sake, for the future, for our patients, to be able to be good physicians.’’’ (P6)

학습자의 자율성은 necessary facilitator of transition to practice이며, 독립적으로 수행 할 수있는 능력은 역량에 대한 매우 신뢰할 수있는 지표입니다.

Later in training, learner autonomy is a necessary facilitator of transition to practice, and the ability to perform independently is a highly credible indicator of competence:

'나는 내가 역량을 충분히 가졌다고 생각했다. 그러나 사실 독립적으로 진료를 해야하는 상황이 와서야 내가 진짜로 아는 것이 아니었음을 깨달았다.'(P19)

‘I think I felt I was competent but I didn’t really know until... I was forced in situations to operate independently.’ (P19)

신뢰도 판단

Credibility judgement

이 임상 학습 모델의 핵심은 신뢰도 판단과정으로서, 이 때 학습자는 제시된 학습 단서를 학습자가 정렬하고 가중치를 매기고, 가치를 부여하며, 어떤 정보를 자신의 직업적 정체성을 개발할 때 통합해야하는지, 아니면 어떤 정보를 무시해야 하는지를 결정한다. 그들이 임상 업무에 참여할 때, 학습자는 이러한 단서를 사용하여 교사 나 동료에서 관찰 한 행동 중 어느 것을 따라해야 하고 그러지 말아야 하는지 결정할 수 있습니다. 또한 그들 자신의 행동과 접근법 중 어느 것이 미래에도 유지되어야 하는지, 수정이나 조정이 필요한것은 무엇인지 판단할 수 잇다.

At the heart of this model of clinical learning is the process of credibility judgement, in which learners sort, weigh and assign value to the learning cues presented to them, deciding which information must be integrated into their developing professional identity and which information can be dismissed. As they participate in clinical work, learners use these cues to make decisions about which of the behaviours they observe in teachers or colleagues merit emulation and which should be ignored, and which of their own actions and approaches should be retained in future events and which require modification or adjustment.

 믿을 만하다고 판단되는 단서만 학습 형성에 영향을 미친다는 것을 제시합니다.

our model suggests that only those cues judged as credible become influential in shaping learning.

그러나 모든 학습 단서가 신뢰도에 대해 비판적인 검토를 거치는 것은 아닙니다. 예를 들어 선생님의 피드백은 신뢰성에 대한 질문을 반드시 거친 다음에야 받아들여지는 것처럼 보입니다. 부정적인 피드백은 특히 비판적으로 면밀히 조사되지만, 신뢰도가 적절하다면 크게 영향을받을 수 있습니다. 피드백이 받아들여지기 위해서는 피드백 메시지가 학습자의 자체 평가와 일치해야합니다.

However, not all learning cues are subjected to the same degree of critical review of their credibility. Feedback from teachers, for example, appears to be rarely accepted without being subject to questions about its credibility. Negative feedback is scrutinised especially critically, but can be strongly influential if its credibility is accepted. Acceptance may require the message of the feedback to be aligned with the learner’s self-assessment:

피드백에 대한 신뢰성 판단은 피드백 소스를 학습자가 얼마나 존중하는지에 영향을받습니다. 존중은 임상가로서의 성과에 따라 달라진다. 감독자의 비 정통 스타일이 학습자의 의견에 대한 존경심을 감소시키지 않는 이 예에서와 같이 학습에 대한 스타일은 영향이 적다

Credibility judgements about feedback are also influenced by the learner’s respect for the source of the feedback. Respect seems to derive largely from that individual’s performance as a clinician, rather than his or her style of relating to the learner, as in this example in which a supervisor’s unorthodox style did not diminish the learner’s respect for his opinion:

'카우보이로 알려진 한 컨설턴트가 있었는데 사람들을 많이 싫어하기 때문에 다른 사람들과 완전히 다르게, 그러나 그는 최고의 임상적 통찰력을 가지고 있었다.... 그래서 뭔가를 하자고 하거나, 또는 그가 당신이 무언가를 한 방식을 좋아하지 않는다면, 그것은 중요한 것이다... 그것은 정말로 중요했습니다.

‘There was one consultant who was known as a cowboy who did things often just to spite people, completely differently than the way everybody else did them, but who had the best clinical acumen of anybody... And so when he said to do something a certain way or when he didn’t like the way you had done something, it mattered… it really mattered.

또한, 존중은 훈련을 통해 진화하는 역동적인 구성입니다.

Furthermore, respect is a dynamic construction that evolves through training:

'처음 레지던트를 시작할 때에는 정말로 알지 못합니다 - 모든 사람들은 똑같습니다. 그들은 모두 컨설턴트이고 똑같이 지식이 풍부해 보인다. 하지만 시간이 지남에 따라 조금씩 연습하고 어떻게 행동하고 어떻게 행동하는지, 그리고 그들이 말하는 내용이 나머지 부분과 일치하는지 확인하게 된다. 또한 그 사람의 행동을 나머지 [medical] 커뮤니티가 어떻게 보고있는지도 알 수 잇다.

‘When you first start off in residency you don’t really know – everyone is kind of the same. They’re all consultants and they’re all equally knowledgeable... but then over time you sort of watch them practise a bit and see how they behave and how they act and whether what they say is in agreement with what the rest of the [medical] community says.

감독관에게 주는 존경심에서 오는 신뢰가 비판적 피드백의 수용을 촉진 할 수 있습니다.

The credibility that respect affords a supervisor may facilitate acceptance of critical feedback:

감독자로부터의 피드백이 신뢰할만 한 것인가는 신중하게 검토되었지만, 특정 출처의 정보는 이러한 비판적 검토를 필요로하지 않는 것처럼 보입니다. 무엇보다도, 임상 업무 자체는 참가자들에 의해 본질적으로 신뢰할 만하다.

Although feedback from supervisors is carefully weighed for its credibility, certain other sources of information seem not to require this critical review. Above all, the clinical work itself is presented by participants as inherently credible,

'그것은 항상 내 마음 속에 머물러 있습니다 ... 한 사례가 있다, 정말 중대하게 ... 우리가하는 일을 보여 주었고, 그것이 얼마나 중요한지, 사람들에게 얼마나 많은 의미가 있는지, 얼마나 많은 책임을 가지고 있는지 ... 그것은 저에게 ... 정말로 복잡한 환자와 아픈 환자라는 측면에서 좀 더 조심스럽게 다루는 방법을 보여주었습니다. "(P14)

‘It always sticks in my mind, that... one case, that really profoundly... showed me what we do... and how much it matters, how much it means to people, how much responsibility you have... It showed me how to... really be a little bit more careful in terms of... those really complex patients and sick patients and to be there in the moment.’ (P14)

이 임상 경험이 가치가 있었는지 여부에 의문을 제기하지 않았고, 이를 본질적으로 가치있는 순간으로 받아 들였습니다. 마찬가지로, 환자나 가족으로부터의 직접적인 피드백도 믿을만한 것으로 간주됩니다.

This individual did not question whether this clinical experience had merit, but accepted it as an intrinsically valuable moment that demanded attention. Similarly, direct feedback from patients or families is viewed as innately credible.

'... 나는 그 환자에게 나쁜 소식을 전한 후, 가족이 나에게 말했다.'너는 차갑게 보이거나 동정심이 없다. ''나는 그것을 진지하게 생각했다. '(P3)

‘...after I told the patient the bad news, then the family told me, ‘‘You seem cold or kind of not compassionate.’’ I took that very seriously.’ (P3)

'나는 처음에 그것을 기각 할 예정이었지만, 그리고나서 그렇게 하는 것은 합당하지 않다고 생각했다. 그 때 일어났던 일에 대해 왜 나는 생각하지 않으려 했던 것일까... 나는 이것을 개인적인 문제로 받아들이기보다는 내가 더 잘할 수있는 말이나 행동을 알아내는 것이 더 좋을 것이라고 생각했다. "(P7)

‘I mean at first I was going to dismiss it and I thought, well, that isn’t really fair to her, you know. Why don’t I think about what happened in that encounter... I just thought I’d better not take this personally and try to figure out was there something that I said or did that I could do better.’ (P7)

피드백을 기각하는 초기 성향이 극복되었다는 것은 환자의 피드백이 가진 선천적인 신뢰성을 말해줍니다. troubling feedback이 감독관으로부터 오는 경우 즉시 기각 될 수 있지만, 환자에게서 오는 경우에는 기각되지 않을 수 있습니다.

That the initial inclination to dismiss this feedback was overcome speaks of the innate credibility of feedback from patients; troubling feedback may be readily dismissed when it comes from a supervisor, but not so when the source is a patient.

고찰

DISCUSSION

우리 연구에서 학습을위한 중심 자원으로서의 임상 연구의 출현은 Teunissen 등이 자신의 학습에 대한 레지던트의 관점에 대해보고 한 결과에 부합한다. Teunissen은 레지던트가 감독자와 환자를 포함한 다른 사람들의 반응을 관찰하고 관찰함으로써 학습했다는 사실을 알게되었습니다 .2 개인 지식은 업무 관련 활동의 해석을 통해 구축되었습니다 .2 피드백은 학습자가 임상 경험을 해석하는 데 사용하는 많은 단서 중 하나일 뿐이며, 그것이 신뢰성에 대한 비판적 평가를 통과하지 않는 한 영향력을 행사할 수 없습니다.

The emergence of clinical work as the central resource for learning in our study echoes findings reported by Teunissen et al. on residents’ perspectives of their own learning.2 Teunissen et al. found that residents perceived that they learned by doing and then observing the reactions of others, including their supervisors and their patients, to what they did.2 Personal knowledge was constructed through the interpretation of work-related activities.2 Feedback is just one of a number of cues learners use to interpret their clinical experiences and it cannot be influential unless it survives a critical assessment of its credibility.

이러한 신뢰성 판단의 과정은 특별한주의를 기울일 가치가있다. 그러한 판단은 어떻게 이루어 집니까? 인간의인지에 관한 연구는 복잡한 판단 작업이 상대적으로 단순한 인지 전략이나 휴리스틱을 사용하여 접근 할 수 있다는 것을 암시한다. 어떤 전략을 선택하는지는 문제나 환경에 의해 결정된다. 그러한 휴리스틱들은, 종종 일부 정보에 집중하면서 동시에 다른 정보를 무시하는 결과를 가져오는데, adaptive할 뿐만 아니라 올바른 판단을 용이하게하는데 효과적 일 수 있습니다.

This process of credibility judgement deserves particular attention . How are such judgements made? Research on human cognition suggests that complex judgement tasks are often approached using a range of relatively simple cognitive strategies or heuristics, the choice of which maybe determined by the specific problem or environment.16 Such heuristics, which often involve attending to some information while ignoring other information, may be not only adaptive but also effective in facilitating sound judgements.16 

우리의 연구는 임상 학습 중에 학습자는 (아마도 무의식적인 수준에서) credibility에 따라 정보를 분류하는 휴리스틱을 사용할 수 있음을 시사합니다. 의사의 실제 작업에 포함 된 정보는 엄청나게 많다. 예를 들어, 환자 및 가족의 반응이나 임상 결과는 너무도 intrinsic한 것으로 여겨지기 때문에, 어떤 휴리스틱을 쓰든지 판단에서 무시할 수 없는 것으로 인식된다. 반면 감독자로부터의 피드백과 같은 정보는 덜 강하게 가중치가 부여되며, 신뢰할만한 것으로 여겨지려면 추가적인 증거가 있어야 한다. 이러한 결과는 의사의 작업 환경 학습에 대한 초기 탐구와 일치하며, 임상 결과, 환자 만족 및 환자 피드백은 의사가 자신의 수행 능력에 대한 신뢰할 수있는 지표로 간주됩니다 .18,19

Our work suggests that during clinical learning, learners may engage heuristics, perhaps at a largely unconscious level, that sort available information according to its credibility. Information that is embedded in the actual work of the doctor carries tremendous weight. For example, patient and family responses and clinical outcomes are perceived as so intrinsic to the work that they cannot be ignored in any judgement heuristic, whereas information such as feedback from supervisors is weighted less strongly and must be supported by additional evidence if it is to be judged credible. These findings align with earlier explorations of doctors’ workplace learning, in which clinical outcomes, patient satisfaction and feedback from patients were regarded by doctors as credible indicators of their performance.18,19

궁극적으로 신뢰성 판단에서 살아남지 못한 정보는 학습에 영향을 미칠 수 없지만, 학습자에게 도전적인 것일지라도 신뢰할만한 정보는 행동의 변화(action)를 demand 할 수 있습니다. 도전적, 부정적인 또는 감정이 많이 담긴 임상 경험은 학습에 강력한 영향을 줄 수 있습니다. 왜냐하면 그들이 포함하고있는 학습 단서가 매우 신뢰할 수있는 판단의 휴리스틱으로부터 나오기 때문에, 이 학습 단서들은 neutral한 사건과는 다른 방식으로 학습자의 관심을 요구합니다.

Ultimately, information that does not survive credibility judgement is unlikely to influence learning, whereas information that is deemed credible, even if challenging to the learner, may demand action. Challenging, negative or emotion-laden clinical experiences may be such powerful learning influences precisely because the learning cues they contain emerge from the judgement heuristic as highly credible, demanding learner attention in a way that neutral events do not. 

이전의 연구는 부정적 피드백이 문제가 될 수 있음을 시사했습니다. 왜냐하면 수령인의 정서적 반응이나 부정확하다는 인식 때문에 의도된 결과가 종종 방해 받기 때문입니다 .20-22 우리의 결과는 이러한 이해를 더욱 세련되게 만듭니다. 우리는 환자 나 가족으로부터의 부정적인 피드백이 실제 상황에서 변화를 가져온 많은 예를 발견했다. 아마도 그러한 정보가 신뢰할 만하다고 판단 되었기 때문일 것이다.

Previous work has suggested that negative feedback may be problematic because its intended effects are often thwarted by recipients’ emotional responses or their perceptions that it is inaccurate.20–22 Our results refine this understanding. We found many examples in which negative feedback from patients or families motivated a change in practice, probably because such information was judged to be credible.

그러나 학습자가 초점을 맞출 곳을 결정할 때 주로 내부적으로 구축 된 신뢰성에 기반하여 선택적으로 주의를 기울인다면, 그 단서가 잘못되었을 경우 임상 학습이 탈선 할 위험이 있습니다. Eva와 Regehr23은 자기 평가의 영역에서 동일한 위험을 인식했다. 자기 평가의 재구성을 요구하면서 다음을 밝혔다.

• 그들의 학습에 대한 개인의 판단에 영향을 미치는 단서를 이해해야 할 필요성,
• 그 단서가 오도될 수 있는 상황
• 정보의 신뢰할 수있는 외부 소스가 균형과 수정을 제공하기 위해 어떻게 통합될 수 있는지

However, when the decisions learners make about where to focus their attention are based largely on internally constructed notions of credibility, there is a danger that clinical learning may be derailed if the cues learners rely on lead them off course. Eva and Regehr23 recognised the same danger in the realm of self-assessment. In their call for a reformulation of self-assessment, they identified 

• the need to understand the cues that influence individuals’ judgements about their learning, 

• when those cues may be misleading, and 

• how trustworthy external sources of information can be incorporated to provide balance and correction.23

그렇다면 의학 선생님에게 보내는 메시지는 무엇입니까? 교사는 자신의 의견이 (때로는 더 확실하게 신뢰할 수있는) 다른 학습 단서와 경쟁하고 있음을 인식해야합니다. 교사는 

• 롤모델 역할을 할 때, 
• 행동을 통해 학습자에게 단서를 줄 때, 
• 학습자가 모방 할 수있는 예를 제공 할 때 

가장 큰 영향을 미칠 것이다.

What, then, is the message for medical teachers? Teachers must recognise that their feedback competes for attention with other, sometimes more innately credible, learning cues. Teachers are perhaps never more influential than 

• when they serve as role models, 

• cueing learners through their actions and 

• providing examples that learners can emulate.

예를 들어, 참가자들은 임상 결과가 학습자에게 자신의 수행 능력에 대한 정확한 정보를 제공하는 데 의존 할 수 없을 때, 디 브리핑을 요구하는 순간에 교사가 때로는 중요하다고 인식했습니다.

Our participants recognised, for example, that teachers were sometimes critical at moments that called for debriefing, when clinical outcomes could not be relied upon to give accurate information to learners about their performance.

CONCLUSIONS

---

Med Educ. 2012 Feb;46(2):192-200. doi: 10.1111/j.1365-2923.2011.04126.x.

Learning from clinical work: the roles of learning cues and credibility judgements.

Watling C1, Driessen E, van der Vleuten CP, Lingard L.

Author information

1

Department of Clinical Neurological Sciences, Schulich School of Medicine and Dentistry, University of Western Ontario, London, Ontario, Canada. chris.watling@schulich.uwo.ca

Abstract

CONTEXT:

How learners interpret their clinical experiences to create meaningful learning has not been well studied. We explored experiences considered by doctors to be influential in their learning in order to better understand this process.

METHODS:

Using a grounded theory approach, we interviewed 22 academic doctors who had been in practice for ≤ 5 years. Participants were asked to reflect on experiences they considered to have been influential during their training. Constant comparative analysis for emerging themes was conducted iteratively with data collection.

RESULTS:

A model of clinical learning emerged in which the clinical work itself is central. As they observe and participate in clinical work, learners can attend to a variety of sources of information that facilitate the interpretation of the experience and the construction of knowledge from it. These 'learning cues' include feedback, role models, clinical outcomes, patient or family responses, and comparisons with peers. The integration of a cue depends on the learner's judgement of its credibility. Certain cues, such as clinical outcomes or feedback from patients, are seen as innately credible, whereas other cues, particularly feedback from supervisors, are subjected to critical judgement.

CONCLUSIONS:

Learners make complex judgements regarding the credibility of information about clinical performance. Credibility judgements influence the learning that arises from the clinical experience. Further understanding of how such judgements are made could guide educators in providing credible information to learners.

© Blackwell Publishing Ltd 2012.

Comment in

• Realising the potential value of feedback. [Med Educ. 2012]