의사결정 기준 설정: 의학교육은 Shared Decision Making에 준비가 되었나? (Med Educ, 2019)

의사결정 기준 설정: 의학교육은 Shared Decision Making에 준비가 되었나? (Med Educ, 2019)

Setting decision-making criteria: is medical education ready for shared decision making?

Suzanne Schut & Erik Driessen

인간의 의사결정은 편견, 오류 및 불합리성을 초래하기 쉽다.1 의료 및 교육과 같은 고부담 책임 시스템에서는 이 문제를 다루기 어려울 수 있다. [환자 관리]의 퀄리티와 [역량 기반 교육 및 평가]의 퀄리티은 ill-defined 문제를 다루고 있으며, 수많은 판단을 내리는 여러 전문가의 협력적 접근 방식에 달려있다. 두 가지 맥락 모두 도전적이고 높은 작업 수요와 최전방 전문가들이 수행하는 중요한 역할에 의해 특징지어지며, 둘 다 인간 의사결정의 질에 상당한 압력을 가한다.2

Human decision making is prone to bias, fallibility and irrationality.1 In high-stakes accountability systems, such as health care and education, this can be challenging to deal with. The quality of patient care and of competency-based education and assessment depends on the collaborative approach of multiple experts making numerous judgements while dealing with ill- structured problems. Both contexts are characterised by challenging, high-stakes work demands and by the crucial roles played by frontline professionals, both of which place substantial pressure on the quality of human decision making.2

휴리스틱스는 구조화되지 않은 환경에서 복잡한 의사결정을 처리할 때 몇 가지 지침과 지원을 제공한다. 그것들은 문제 해결의 과정을 안내하는 데 사용되는 정신적 지름길 또는 상호 관련 원칙 또는 지침으로 설명된다.3 알고리즘(즉, 적절하게 사용했을 때 문제에 대한 보장된 해결책을 약속하는 특정 목표를 달성하기 위한 단계별 처방)과 달리, 휴리스틱스는 해결책으로 이어질 수 있는 문제 해결 전략이다. 휴리스틱스의 한 예로, 해결책을 찾는 것을 당면한 상황과 비슷한 상황으로 제한하는 유추적 사고analogical thinking가 있다.

Heuristics offer some guidance and support when dealing with complex decision making in ill- structured settings. They are described as mental shortcuts or interrelated sets of principles or guidelines that are used to guide the process of problem solving.3 By contrast with algorithms (i.e. step-by-step prescriptions for achieving particular goals that, when used properly, promise a guaranteed solution to the problem), heuristics are problem- solving strategies that may lead to solutions. An example of heuristics is analogical thinking, in which one limits the search for solutions to situations that are similar to that at hand.

Feufel과 Flach4는 응급 부서에서 임상 의사 결정에서 확인한 공통적인 두 가지 휴리스틱스를 언급했다

• '흔한 것'(증상과 의학적 이력, 현재 관찰을 고려할 때 가장 흔한 것), 

• '최악의 경우'(감별 진단이 질병의 발생 가능성보다는 다른 증상과 관련된 잠재적 결과에 초점을 맞춘 경우)

Feufel and Flach4 present two commonly used heuristics they have identified in clinical decision making in the emergency department: 

• ‘Common Things’ (what is most common given the symptoms, medical history and current observations), and 

• ‘Worst Cases’ (in which the differential diagnosis is focused on the potential consequences associated with the different symptoms rather than the likelihood of a disease).

의료 교육에서 가장 고부담 결정 중 하나는, 교육자는 학습자가 '성공'했는지 여부에 대한 총괄적 판단이다.

In medical education one of the most high-stakes, summative decisions an educator is required to make concerns whether or not a learner has ‘succeeded’.

학습자의 성과 수준 또는 역량 개발 지표에 대해서는 이러한 휴리스틱스를 사용하면 더 쉽게 해석될 수 있다.

• 흔한 것(행동 및 성과 지표로 볼 때 가장 흔하거나 가능성이 높은 것은 무엇인가?) 

• 최악의 상황(lapses in professional behavior와 같이, 재교육 또는 추가 감독에 교사가 초점을 둬야 하는 학생의 성과와 관련된 잠재적 결과의 경고지표).

Indicators of learners’ performance levels or competency development may be more easily interpreted by teachers or supervisors with the use of these heuristics: 

• Common Things (what is most common or likely given the indicators of behaviour and performance), and 

• Worst Cases (alarming indicators of potential consequences related to the student’s performance that focus the teacher’s support on the provision of remediation or more supervision, such as indications of lapses in professional behaviour).

결정의 품질을 개선하고 오류 가능성을 완화하기 위해, 저자들은 신호 탐지 이론, 이른바 '결정 기준'이라는 개념을 차용한다. 이것은 흔한 것에 환자 관리를 집중할 것인지 아니면 최악의 경우에 초점을 둘 것인지를 결정하는 데 사용되는 기준을 반영하며, 결정의 품질에 관한 핵심 매개변수다. '좋은good' 품질 또는 '만족스러운satisfactory' 기준을 결정하는 것은 도메인별 값과 오류의 잠재적 결과에 따라 달라진다. 

To improve the quality of the decision and to mitigate the likelihood of errors, the authors4 borrow a concept from signal detection theory, the so- called ‘decision criterion’. This reflects the criterion that is used to decide whether to focus patient management on a Common Thing or a Worst Case, and is a key parameter with respect to the quality of the decision. What determines ‘good’ quality or a ‘satisfactory’ criterion will depend on domain-specific values and the potential consequences of an error. 

대부분의 경우, 총괄평가에서 그러한 결정을 내릴 책임과 힘(또는 '결정 기준 설정')은 평가자, 기관, 규제 기관의 배타적 영역 내에 있으며, 아무도 그 책임과 힘에 대해 도전하지 않는다. 이것은 우리가 평가에 있어서 가지고 있는 규범과 가치를 보여주며, 그러한 고부담 결정을 내리기에 가장 적합한 사람을 누구라고 생각하는지에 대한 우리의 생각을 보여준다. 이 관행은 여전히 의료 교육 및 평가에 domain-specific values를 반영하고 있는가?

In summative assessment, the responsibility and power to make that decision (or to ‘set the decision criterion’) are, in most cases, within the exclusive domain of the assessor, institute or regulatory body – a practice that is rarely challenged. It reflects the underlying norms and values we hold to assessment practices and who we consider best placed to make those high-stakes decisions. Does this practice still reflect the domain-specific values in medical education and assessment?

스스로 규제하는 학습에 중점을 두고 평생 학습자를 의료 시스템에 전달하고자 하는 열망을 고려할 때, 의학 교육은 분명히 학습자의 역할과 책임을 중요시하는 것으로 보인다. 이러한 가치가 평가에서 반영되고 있으며 의사결정 기준 설정에 보다 구체적으로 반영되고 있는가? 여기서 중요한 질문은 역량기반 의학교육의 평가에서 고부담 결정을 내리기 위한 '만족스러운' 의사결정 기준을 누가 설정해야 하는가이다. 지금처럼 평가자가 일방적으로 기준을 결정하는 것이, 성찰적/자기조절적/역랴있는 전문직을 양성하려는 현대 교육 및 평가모델의 목적에 정말 부합하는가?

Given its emphasis on self-regulated learning and the aspiration to deliver lifelong learners to the health care system, medical education clearly seems to value the role and responsibility of the learner. Are these values mirrored in our assessment practices and more specifically in setting the decision criterion? The pivotal question here is: who should set the ‘satisfactory’ decision criterion to make high- stakes decisions in assessment within competency-based medical education? Isn’t the unilateral setting of the decision criterion by the assessor at odds with the objectives of modern education and assessment models, which aimto determine who is a reflective, self- regulating and competent professional?

만약 우리가 학습자가 복잡한 임상 의사결정 프로세스와 같이 [정보에 입각]하고 [성찰하는 방식]으로 어려운 결정을 내릴 수 있기를 원한다면,4 우리는 의사결정 기준 설정에 대하여 학생의 역할과 참여에 대해 재고할 필요가 있다. 역량 또는 책임성을 결정하는 데 사용되는 의사결정 기준을 설정하는 데 학습자를 참여시키는 것은 의사결정 프로세스에 엄청난 도움이 될 수 있다. 왜냐하면 그 자체로 의사결정과정을 향상시킬 뿐만 아니라, 그 결정에 대한 학습자의 수용acceptability, 그리고 무엇보다 일반적인 평가행위의 의미를 더해주기 때문이다. 일반적으로. 최근의 연구에서, 학습자들은 평가에서 의사결정의 과정에 영향을 주고 통제하는 기회를 부여받으면 주체성을 느끼고sense of agency, 학습과 평가 경험에 대한 학생의 공동 책임shared responsibility을 촉진한다고 주장했다. 또한 평가에서 학습자의 주체성agency는 평가를 자기조절학습의 기회로 사용할 수 있도록 한다.5

If we want learners to make difficult choices in an informed and reflective way, such as in the complex clinical decision-making process ,4 we need to reconsider learners’ roles and involvement in setting the decision criterion. Involving the learner in setting the decision criterion that is used to determine competence or entrustability might benefit the decision-making process tremendously, not only in terms of improving the decision-making process, but also by increasing the acceptability of the decision and, more importantly, the meaningfulness of assessment practices in general. In a recent study, learners argued that opportunities to influence and control the process of decision making in assessment stimulate a sense of agency and facilitate a shared responsibility for their learning and assessment  experience. Moreover, learner agency in assessment enables the potential to use assessment as a learning opportunity for self- regulated learning.5

우리는 학습자가 자신의 평가 기준을 완전히 정해야 한다고 주장하는 것이 아니며, 우리도 자기 평가 관행의 도전과 긴장을 모르는 것도 아니다.

We are not arguing that learners should set their own assessment criteria completely, and neither are we ignorant of the challenges and tensions of self-assessment practices.

---

Med Educ. 2019 Apr;53(4):324-326. doi: 10.1111/medu.13826. Epub 2019 Feb 27.

Setting decision-making criteria: is medical education ready for shared decision making?

Schut S1, Driessen E1.

Author information

1

Department of Educational Development and Research, Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, the Netherlands.

Comment on

• Medical education should teach heuristics rather than train them away. [Med Educ. 2019]