MMI 경험: 질적 분석(Med Educ, 2009)

MMI 경험: 질적 분석(Med Educ, 2009)

Experiences of the multiple mini-interview: a qualitative analysis

Koshila Kumar,1 Chris Roberts,1 Imogene Rothnie,2 Christine du Fresne1 & Merrilyn Walton1

도입

INTRODUCTION

McMaster University (Hamilton, ON, Canada)에서 이러한 단점을 해결하기 위해 MMI가 개발되었습니다.

The multiple mini-interview (MMI) was developed at McMaster University (Hamilton, ON, Canada) to address some of these shortcomings.6

의과대학 선발의 맥락에서 평가 과정은 인터뷰 후 설문 조사를 통해 계속 평가됩니다. 그러나 질적 연구는 기존의 양적 연구에서 제공 한 것보다 더 풍부한 심층적 인 이해를 도와주며, 성과 평가와 관련된 과제 잘 보여준다.

The process of assessment within the context of medical school selection continues to be evaluated via post-interview questionnaires.5,6,9,11 However, qualitative studies have demonstrated value in facilitating in-depth understanding, richer than that provided by existing quantitative studies, of the challenges associated with the assessment of performance.12,13

맥락

Context

우리 MMI의 세부 사항은 다른 곳에서보고되었지만, 요약하면, 후보자는 8 개의 면담 스테이션을 통해 회전하며, 각 면접은 7 분 동안 진행되고, 스테이션 간 2 분 간격을 둔다. 각 MMI 스테이션에는 단일 면담 자, 표준화 된 텍스트 기반 시나리오 및 프롬프트 질문 및 마킹 체크리스트가 포함됩니다. 시나리오 설계는  입학생에게 기대되는 기술 및 행동을 샘플링하기위한 국제 기준에서 도출 된 청사진을 기반으로합니다. 각 시나리오에는 지원자가 채점 체크리스트에 명시된 특정 영역을 다루도록 가이드하는 몇 가지 표준화 된 프롬프트 질문이 있습니다. 각 면접 스테이션에서 응시자는 1-4 단계 (1 = 만족스럽지 않음, 4 = 우수함)로 이러한 기술과 행동을 얼마나 잘 처리했는지에 대해 점수를 매 깁니다.

Details of our MMI have been reported elsewhere,7 but, in summary, candidates rotate through eight interview stations, each lasting 7 minutes with a 2-minute interval between stations. Each MMI station involves a single interviewer, a standardised textbased scenario and prompt questions, and a marking checklist. Scenario design is based on a blueprint drawn from international criteria for sampling the skills and behaviours expected of graduate-entry medical students. Each scenario has several standardised prompt questions to guide candidates to cover specific areas outlined in the marking checklist. At each interview station, candidates are scored on how well they address these skills and behaviours on a scale of 1–4 (1 = unsatisfactory, 4 = excellent).

방법

METHODS

자료 수집

Data collection

This study was undertaken as part of a larger quantitative evaluation of the MMI, which has been reported elsewhere.7 

• Interviewer focus groups were held during the lunch break on six different interview days. Interviewers had been informed of these groups as part of the written communication from the faculty and were reminded again by one of the authors during a debriefing session each day. 

• Focus groups explored 

• interviewers’ views and experiences of challenges in their role, 

• their level of preparedness for the task, 

• the assessment format, 

• the overall strengths and weakness of the process, and 

• suggestions for improvements. (See Appendix 1 for questions.)

In addition, qualitative data were collected via an anonymous paper-based questionnaire, which all candidates and interviewers were invited to complete. Open-ended survey questions explored participants’ satisfaction with the MMI, perceptions of MMI strengths and weaknesses, and suggestions for improvements. (See Appendix 2 for questions.) Candidates completed the questionnaire immediately after their interview at a candidate debriefing, whereas interviewers were requested to do so after their final interview.

APPENDIX 1 Focus group questions: interviewers

• What did you find were some of the challenges in your role as an interviewer?

• To what extent do you feel the interview training prepared you for the interviewing task? How could this training be improved?

• To what extent did you feel that your scenario matched the marking criteria and the list of expected skills and behaviours for the station?

• How easy ⁄ hard was it to apply the marking criteria consistently across different students ⁄ scenarios?

• What do you see as the overall strengths of the MMI process?

• What do you see as the overall weaknesses of the MMI process?

• What suggestions do you have for improving the MMI process?

APPENDIX 2 Open-ended survey questions: candidates and interviewers

• Overall, how satisfied were you with the MMI as one of the tools for selection into the medical programme? If you were unsatisfied, please comment on why.

• What do you think are the strengths of the MMI process as one of the tools for selection into the medical programme?

• What do you think are the weaknesses of the MMI process as one of the tools for selection into the medical programme?

• What suggestions do you have for improving the MMI process?

윤리적 고려

Ethical considerations

자료 분석

Data analysis

Framework analysis15 was used to examine the qualitative data as it permitted reflection on participants’ original accounts of their experiences within the scope of pre-set research objectives.16 The analysis process involved several inter-related stages. 

In this study, three researchers each independently read through a proportion (33%) of the qualitative data and identified recurrent themes and sub-themes (codes) which captured the breadth and diversity of respondents’ views and experiences, and reflected issues and concepts raised by respondents and the connections among these.15 

• The researchers then met regularly to discuss similarities and differences in their coding and to negotiate a joint thematic framework that outlined the content of participants’ comments. 

• At this time, a fourth researcher used the thematic framework to code a proportion of the data in order to establish the framework’s credibility.17 

• Next, NVivo qualitative data analysis software (Version 7; QSR International Pty Ltd, Melbourne, Vic, Australia) was used to apply the thematic framework to all the data and to rearrange data according to themes and sub-themes.

RESULTS

참가자

Participants

'... 기존 시스템에는 일반적으로 3명의 면접관 중 다른 사람보다 경험이 많은 사람이 있었으므로 더 hawkish하거나 dovish한 경향이 있다면 중간 정도의 위치로 돌아가는 경향이있었습니다. 그러나 MMI에서는 전체 과정에 대해서 모른 채로 비행하게 된다. '(I)

‘…in the last system generally there was someone in the three that was more experienced than someone else, so if you tended to be more hawkish or dovish or something, there tended to be some gravitation back to the medium position, whereas here you’re flying blind for the whole process.’ (I)

핵심 주제

Key themes

프레임 워크 분석은 참가자의 MMI 경험에 관한 6 가지 주요 주제와 하위 주제를 확인했습니다. 이들은 표 1에서 주요 골격으로 표현된다.

The framework analysis identified six major themes and sub-themes pertaining to participants’ experiences of the MMI. These are represented as a thematic framework in Table 1.

일대일 인터뷰

One-to-one interviews

'... 한 번에 여러 명의 면접 원에게 이야기하는 것보다 더 진실하고 편안한 인터뷰'. (C)

‘…a more sincere and relaxed interview than speaking to several interviewers at once.’ (C)

'... 다른 사람들의 편견없이 지원자에 대한 자신의 견해를 형성 가능.'(C)

‘…form their own opinion about the applicant without bias from others.’ (C)

'작년에는 다른 몇몇 패널 멤버들에 의해 면접 방향이 정해진 것 같았습니다. 한 교수는 다른 두 교수와 늘 의견이 엇갈렸지만, 너무나 확고해서 우리는 그의 의견을 따르게 되었다. "(I)

‘I definitely felt railroaded by some of the other panel members last year. The professor of whatever whose views were at odds with [the] other two members of the panel, but was very strong in getting us to come around to his views.’ (I)

다중 평가 기회

Multiple assessment opportunities

'이전 방식과 같은 인터뷰보다, 지금처럼 한 가지 질문만 다루는 것이 훨씬 덜 스트레스를 받는다는 것을 알게되었습니다. 무엇을 결정하든 내가 결정한 것이고, 그것은 그 학생을 위한 것입니다. 그리고 나는 개인적으로 (그러한 결정이) 상당히 스트레스가 많음을 깨달았다. 이런 식의 면접에서 면접관은 자신의 결정이 Matrix의 일부라는 것을 알고 있으며, Matrix는 학생에 대한 impression의 집합이라는 사실이 압박을 조금 덜어주었다. 나는 이것이 학생을 위한 더 공정한 과정이라고 생각합니다. '(I)

‘I found it much less stressful just dealing with one question than the whole long interview which we had before because when you decided whatever you decided… that was it for that student. And I personally found that quite stressful really. This time you know it’s part of a matrix, it’s a collection of impressions of the student which takes the pressure off me a bit and I think is probably a fairer process for the student.’ (I)

표준화 시나리오 기반 면접

Standardised scenario-based interviews

'MMI는 미래의 의사가 만날 수있는 다양한 시나리오를 제공하고 있으며 학생들이 이러한 상황에서 어떻게 행동 할 것인가에 대한 공정한 테스트라고 생각합니다.'(C)

‘I think the MMI does give a wide range of scenarios, especially those that a future doctor would encounter and is a fair test of how students would behave in these situations.’ (C)

탐색 질문과 마킹 체크리스트의 표준화에 대한 의견이 엇갈 렸습니다. 한 가지 관점은 면접관의 주관성을 감소시킬 가능성이있는 것으로 나타 났으며, 6,7

There were mixed views on the standardisation of the prompt questions and marking checklist. One perspective indicated that it appeared to have the potential to reduce interviewer subjectivity,6,7

반대로, 탐색 질문과 마킹 체크리스트의 표준화는 다른 문제를 탐구하는 것에 대한 면접관과 후보자의 범위를 제한하는 것으로 인식되었습니다.

By contrast, the standardised nature of the prompt questions and marking checklist were perceived to restrict the scope of interviewers and candidates to explore other issues:

미니 면접

The mini-interview

응시자는 일반적으로 각 MMI 스테이션에 할당 된 시간이 짧았다고 이야기합니다.

Candidates commonly spoke about how the shorter time allocated for each MMI station:

측정되는 것은 무엇인가?

What is being measured?

그러나 다른 사람들은 MMI가 주로 의사 소통 기술을 평가했으며, 후보자의 추론 능력보다는 사회적 상호 작용 기술을 기반으로 한 결정이 신입생의 다양성을 제한 할 수 있다고 우려했습니다.

However, others felt that the MMI was primarily assessing communication skills and were concerned that decisions based on social interaction skills rather than the reasoning capabilities of the candidate might restrict the diversity of the intake:

또 어떤 것이 측정되어야 하는가?

What else should be measured?

어떤 사람들은 지원자의 특정 개인적 자질에 대해 논의하기에는 MMI에서 기회가 부족하기 때문에, 후보자들이 자신에 대한 전체적인 그림을 제시 할 수있는 기회를 제한하고 있다고 우려했습니다.

Some were concerned that the lack of opportunity in the MMI to discuss specific personal qualities limited candidates’ opportunities to present holistic pictures of themselves.

많은 참가자들은 MMI에 응시자의 의학에 대한 헌신과 왜 그 대학을 지원했는지를 조사하기 위한 목적의 스테이션을 포함하도록 수정해야한다고 제안했습니다.

Many participants proposed that the MMI should be modified to include one station to explore the candidate’s commitment to medicine and to the university to which he or she had chosen to apply.

고찰

DISCUSSION 

참가자들은 일반적으로 MMI가 강력하고 독립적인 평가 시스템임을 확인했습니다. 이것은 수용가능성에 대한 이전의 평가에 추가됩니다.

Participants generally found the MMI to be a compelling and independent assessment system. This adds to previous evaluations of its acceptability.9,10

인터뷰 응시자는 일대일 형식 및 다중 평가 기회와 같은 MMI의 측면을 긍정적으로 보았으며, 이는 면접관에게 긍정적 인상을 줄 가능성을 높인다고 생각했다. 인상 관리impression management에 관한 연구문헌에 따르면, [일대일 환경에서 내재하는 사회적 상호 작용]과 [외부 잠재 고객(즉, 면접관)과의 상호 작용을 위한 다수의 기회가 제공되는 것]이 자기홍보 전략을 사용하기에 이상적인 환경을 조성한다. 반대로 응시자는 [짧은 인터뷰 시간]과 [자신의 가치와 헌신을 논의 할 수있는 기회가 없는 것]이 상호 작용의 본질과 질을 제한하는 것으로 인식되어 자신의 긍정적인 면을 보여주는데 제약이 된다고 생각했습니다.

Interview candidates were particularly responsive to aspects of the MMI such as the one-to-one format and the multiple assessment opportunities, which they perceived as enhancing their chances of making a favourable impression. The impression management literature supports that the social interaction inherent in one-to-one settings and multiple opportunities for interaction with an external audience (i.e. interviewers) creates an ideal environment for using self-promotion tactics.18,19 Conversely, candidates viewed the short interview time and the lack of opportunity to discuss their values and commitment as barriers to favourable self-presentation, as these aspects were perceived to limit the nature and quality of interaction within the interview.

연구 결과는 MMI가 평가하고있는 것에 대한 참가자들의 기대와 이해가 다를 수 있음을 보여주었습니다. 

• 일부 사람들은 팀웍과 공감대와 같은 영역에서 추론 기술을 평가하는 것으로 인식했으며, 

• 다른 사람들은 의사 소통 기술을 주로 평가하기에 이것이 신입생의 다양성을 제한 할 수 있다고 우려했습니다. 

이것은 참가자들이 "훌륭한 커뮤니케이터들은 의학에 요구되는 다른 기술을 보유할 가능성이 적다"라는 흥미로운 가정을 가지고 있음을 보여준다. 또한 MMI가 테스트하는 자질에 대한 공통된 이해를 보장하기 위해 추가 타당도 훈련의 필요성을 강조합니다.

Our findings also showed that participants had differing expectations and understandings of what the MMI was assessing. 

• Some perceived it as assessing reasoning skills7 in areas such as teamwork and empathy, 

• whereas others believed that it was primarily assessing communication skills and were concerned that this might restrict the diversity of the intake. 

This highlights an interesting assumption made by participants that good communicators are less likely to possess the technical or other skills required for medicine. It also highlights the need for further validity training to ensure a common understanding of which qualities the MMI is testing.

다수의 평가 기회는 후보자에 대한 부정정 판단을 내리는 것과 관련된 면접관 스트레스를 완화시키는 것처럼 보였습니다. 우리의 조사에서 평가자들은 중간 범위 점수만을 사용하여 탈락 결정을 회피하기보다는, 평가 스케일의 전체 범위를 사용하려는 경향이 더 많다고보고했습니다. 이는 면접관의 stringency effect을 감소시키는데도 기여할 수 있습니다.

The multiple opportunities for assessment also appeared to ease interviewer stress associated with having to judge candidates unfavourably. In our study, some interviewers reported that they were more inclined to use the full range of the marking scale rather than avoid the decision to fail by sticking to a middle ground. This may also contribute towards reducing the interviewer stringency effect.7

면접관의 주요 관심사는 벤치마킹 기회가 부족하다는 점이었습니다. 특히 엄격함이나 관대함을 측정하는 측면에서 특히 그렇습니다. 면접관들은 패널인터뷰처럼 각 지원자들에 관해 토론할 다른 면접관들이 있는 것이 의사 결정을 조정하고 결정화하는 데 유용했다고 설명했습니다. 연구 결과는 Cleland et al.의 연구 결과와 일치하며, 의학 교육자에게 동료의 견해는 학생들의 성과 결과를 결정하는 데 있어 가치가 있음을 발견했습니다. MMI에 참여하는 대부분의 면접관이 패널 인터뷰에서 풍부한 경험을 가지고 있다는 사실을 고려할 때 그 결과는 놀랄 일도 아닙니다. 일부 사람들은 표준화 된 인터뷰 형식이 MMI가 측정 한 자질과 관련없는 요소의 영향을 줄임으로써 의사 결정의 주관성을 낮출 수 있지만, 훈련 중 이에 대한 가이드가 필요하다고 느꼈다고 언급했다.

A main concern for interviewers was the lack of opportunity for benchmarking, particularly in terms of gauging their stringency or leniency. Interviewers commented that having others to discuss each candidate with, as they did in the panel interview, was useful for moderating and crystallising their decisions. Findings are consistent with those of Cleland et al.,13 who found that the views of colleagues were valuable to medical educators in determining students’ performance outcomes. The findings are also unsurprising given that most interviewers coming into the MMI had a wealth of experience in panel interviews. Some interviewers felt that the standardised interview format might reduce the subjectivity of their decision making in terms of diminishing the influence of elements irrelevant to the qualities measured by the MMI, but felt that they needed further guidance on this during training.

또한 면접관들은 [집단 영향력의 배제]와 [특정한 판단에 따라야 한다는 기대가 없다는 점]에서 MMI의 의사 결정 과정을 높이 평가했다. 이것은 이전 패널 인터뷰에서 흔히 경험했던 것으로서, 이러한 요인이 면접 결과를 크게 좌우한다고 생각했습니다. 특히 패널 인터뷰에서는 주니어 면접관이나 지역 사회에서 온 면접관이 자신의 의견을 분명히 말할 수있는 기회가 제한적일 수 있습니다. 집단 영향력이 사회적 행동에 미치는 영향에 대한 연구에 따르면, 집단의 기대를 충족시키고 승인을 얻고자하는 욕구에 의해서 conformity가 유도되며, 이는 특히 어려운 판단에 대한 대중의 반응을 필요로 하는 high-status group에서 두드러진다.

Our findings also showed that interviewers gave high regard to the MMI decision-making process due to the absence of group influence and the subsequent lack of expectation that they would conform to a particular judgement. This was an experience commonly encountered in the previous panel interview, and some interviewers viewed it as having significantly shaped interview outcomes and limited opportunities particularly for more junior interviewers or those from the community, to articulate their opinions. Research on the effects of group influence on social behaviour indicates that conformity is prompted by the desire to fulfil the expectations of the group and gain approval, particularly within high-status groups that require a public response to a difficult judgement.18

연구의 강점

Strengths and weakness of the study

오스트레일리아와 북미 지역 모두에서 참가자들의 시각을 파악했으므로, 조사 결과의 전이가능성이 높아졌습니다.

The transferability of findings is enhanced as we captured the perspectives of participants in both Australian and North American settings.

연구의 함의

Implications of the study

MMI에서는 면접관 훈련을 통해, 면접관들의 서로 다른 기대치를 교정해야 한다. 면접관 훈련은 평가 대상에 대한 공통의 이해를 형성하는 것을 목표로 하며, 면접관의 편견이 지원자 또는 시나리오 상호 작용할 가능성이 있는 영역이 어디인가를 찾아내야 한다. 

We recommend that differing expectations regarding the MMI should be remediated through targeted interviewer training that aims to facilitate a shared understanding of what is being assessed and identify areas of potential interviewer bias in interacting with candidates and across scenarios. 

면접관에게 [서로 다른 유형의 스테이션에서, 다양한 수준의 샘플 지원자에 대한 평가 연습을 실시]하여 벤치마킹에 대한 우려를 해소해야합니다.

Concerns about benchmarking should be addressed by providing interviewers with marking practice on sample candidates of varying degrees of capability across different types of stations. 

MMI가 후보자의 의학 진로에 대한 의지를 평가하는 스테이션을 포함함으로써 이익을 얻을 것이라 제안한다. 그러나 이 목적을 위해 고안된 모든 항목은 pre-professionalism에 대한 우려를 반영해야합니다.

In light of our findings, we also propose that the MMI would benefit from the inclusion of a station that assesses the candidate’s commitment to a career in medicine. However, any items designed for this purpose would need to reflect the concerns of pre-professionalism.

CONCLUSIONS

---

Med Educ. 2009 Apr;43(4):360-7. doi: 10.1111/j.1365-2923.2009.03291.x.

Experiences of the multiple mini-interview: a qualitative analysis.

Kumar K1, Roberts C, Rothnie I, du Fresne C, Walton M.

Author information

1

Office of Postgraduate Medical Education, University of Sydney, New South Wales 2006, Australia. k.kumar@usyd.edu.au

Abstract

CONTEXT:

Multiple mini-interviews (MMIs) are increasingly used in high-stakes medical school selection. Yet there is little published research about participants' experiences and understandings of the process. We report the findings from an international qualitative study on candidate and interviewer experiences of the MMI for entry into a graduate-entry medical school.

METHODS:

Qualitative data from six interviewer focus groups and 442 candidate and 75 interviewer surveys were analysed using framework analysis. Multiple researchers (n = 3) analysed a proportion of the data and developed a thematic framework capturing content-related (i.e. what was said) themes that emerged from the data. This thematic framework was then used to code the complete dataset.

RESULTS:

Several key themes were identified, including participants' perspectives on having: (i) a one-to-one interview; (ii) multipleassessment opportunities; (iii) a standardised, scenario-based interview; (iv) a mini-interview, and on (v) the attributes currently measured by the MMI, and (vi) other attributes that should be assessed.

CONCLUSIONS:

We gained a deeper understanding of participants' experiences of a high-stakes, decision-making process for selection into a graduate-entry medical school. We discuss our findings in the light of the existing literature and make recommendations to address the issue of differing participant expectations and understandings of the MMI, and to improve the credibility and acceptability of the process.

PMID:

 

19335578

 

DOI:

 

10.1111/j.1365-2923.2009.03291.x