구두평가 맥락에서 질문하기: 분류체계와 기본원칙 (J Med Educ Curric Dev. 2020)

구두평가 맥락에서 질문하기: 분류체계와 기본원칙 (J Med Educ Curric Dev. 2020)
Prompting Candidates in Oral Assessment Contexts: A Taxonomy and Guiding Principles
Jacob Pearce and Neville Chiavaroli

 

 

배경
Background

의과대학 및 의학전문대학원 교육 과정의 고난도 시험에서 시험관들은 구두 평가 형식, 특히 시험관이 수험생에게 질문을 던지는 것에 대해 불안감을 느끼는 경우가 많습니다. 구조화되지 않은 구술 시험의 신뢰성과 타당성에 대한 오랜 우려1-3와 시험관의 객관성과 일관성에 기반한 OSCE 형식의 등장에도 불구하고, 구술 시험은 임상적 추론 및 전문적 행동과 같은 고차원적 역량을 평가하는 중요한 방법으로 많은 임상 평가 상황에서 살아남아 번성하고 있습니다. 이는 진정성, 유연성 및 대화형 형식으로 인식되기 때문입니다.4-6 그러나 시험관의 역할에 대한 오해와 응시자 수행에 대한 질문, 자극 및/또는 프로빙의 적절한 사용으로 인해 그 가치가 손상될 수 있습니다. 
In high-stakes examinations in both medical school and post-graduate medical education, examiners often feel uneasy about the oral assessment format, particularly the notion of examiner prompting of the examinee. Despite long-standing concerns about the reliability and validity of unstructured oral exams,1-3 and the emergence of the OSCE format founded upon examiner objectivity and consistency, the Viva survives (and arguably thrives) in many clinical assessment contexts as a valued method for assessing higher order competencies such as clinical reasoning and professional behaviour. It does so due to its perceived authenticity, flexibility and interactive format.4-6 Yet its value can be compromised through misunderstanding of the role and appropriate use of examiner questioning, prompting and/or probing of candidate performance.

의과대학과 전문의 수련 대학에서 우리는 이 문제에 대해 시험관들 사이에서 상당한 혼란이 있음을 발견했습니다. 시험관이 잘 훈련된 경우에도 어떤 종류의 프롬프트 관행이 허용되는지 또는 아예 허용되는지 여부에 대한 불확실성이 남아 있습니다. 의심할 여지 없이 시험관들은 옳은 일을 하고 싶어 합니다. 구두 평가 형식 및/또는 다양한 평가 맥락에서 프롬프트의 의미에 대한 정확성이 부족하기 때문에 문제가 발생할 수 있다고 생각합니다. 우리는 주로 프롬프트와 구술 시험 간의 관계에 초점을 맞추고 있지만, 프롬프트는 더 넓은 범위의 시험, 실제로 평가자와 응시자 간의 상호 작용이 수반되는 모든 평가 방법에서 중요한 고려 사항이라고 주장합니다. 예를 들어, 프롬프트는 미니 임상 평가 연습(min-CEX), 객관적 구조화 임상 시험(OSCE), 절차적 기술 관찰(DOPS), 다중 미니 인터뷰(MMI), 표준화된 사례 기반 토론 등 시험관과 응시자 간에 언어적 상호작용이 있는 다른 많은 평가 유형에서 공통으로 사용되는 요소입니다.  
In medical schools and specialist training colleges, we have noticed considerable confusion amongst examiners on this issue. Even when examiners are well-trained, there remains uncertainty about what kind of prompting practices are permissible, or whether it is permissible at all. Undoubtedly, examiners want to do the right thing. We suggest that the problem may arise due to a lack of precision around what prompting means in the oral assessment format, and/or in different assessment contexts. Although we focus mainly on the relationship between prompting and oral examinations, we argue that prompting is an important consideration in a wider range of examinations and, indeed, any assessment method that involves an interaction between assessor and candidate. For instance, prompting is a common component of many other assessment types where there is verbal interaction between examiner and candidate, including the Mini-Clinical Evaluation Exercise (min-CEX), Objective Structured Clinical Examinations (OSCEs,) Direction Observation of Procedural Skills (DOPS), Multiple Mini Interviews (MMIs) and Standardised Case-Based Discussions. 

우리는 프롬프트가 구두 평가의 유효성에 결정적인 역할을 하는 측면이며, 이 형식에 대한 학술 문헌에서 더 많은 관심을 기울일 필요가 있다고 주장합니다. 구두 평가에 대한 심층 분석에서5 Joughin은 '상호작용'이라는 차원과 '프로빙'이라는 용어를 사용하여 이 기능이 형식의 고유한 장점에 기여할 뿐만 아니라 유효성 관점에서 주요 과제를 구성한다는 점을 인정합니다. 다른 저자들은 구두 평가 시 다양한 프롬프트 관행이 응시자에게 미칠 수 있는 잠재적 영향에 대해 언급했습니다.7,8 그러나 이 외에도 프롬프트의 성격과 형태에 대한 논의는 문헌에서 상대적으로 거의 찾아볼 수 없습니다. 예를 들어, OSCE에 대한 한 종합 가이드에서 프롬프트에 대한 언급은 'OSCE에서 응시자에게 프롬프트를 하는 것이 적절한지에 대한 의견은 다를 수 있지만, 모든 응시자에게 동일한 경험을 제공하기 위해 모든 시험관은 프롬프트와 관련하여 합의된 정책을 미리 알고 있어야 한다'는 다소 모호한 언급만 있습니다.9 구두 평가의 타당성을 명시적으로 탐구하고 구체적인 실행 지침을 제공하는 논문에서도 프롬프트 문제에 대해서는 거의 언급이 없습니다.2
Prompting, we argue, is an aspect of oral assessment that is crucial to the validity of its implementation, and deserves more attention in the scholarly literature on the format. In his in-depth analysis of the oral assessment,5 Joughin acknowledges, under the dimension of ‘interaction’ and using the term ‘probing’, that this feature contributes to the unique advantages of the format, as well as constituting a major challenge from a validity perspective. Other authors have noted the potential impact that different prompting practices can have on candidates during oral assessment.7,8 Beyond this, however, there is relatively little discussion of the nature and forms of prompting in the literature. For example, in one comprehensive guide to the OSCE, prompting receives scant and somewhat ambivalent mention: ‘Opinions will differ as to whether it is appropriate to prompt candidates in an OSCE, but all examiners should know the agreed policy with regard to prompting in advance in order that all candidates are given the same experience’.9 Even a paper explicitly exploring the validity of oral assessment and offering specific guidelines for practice has little to say about the issue of prompting.2

우리의 경험에 따르면 실무자들이 프롬프트를 개념화하는 방식과, 실제로 프롬프트를 사용하는 방식에는 상당한 차이가 있습니다. 프롬프트 정책과 기법에 대한 명확성이 필수적입니다. 따라서 이 백서의 목표는 시험관이 사용할 수 있는 다양한 형태의 프롬프트와 응시자에게 미치는 잠재적 영향에 대한 명확한 가이드를 제공하고 실무에 대한 지침 원칙을 제시하는 것입니다. 
Our experience is that there is considerable variation in how practitioners conceptualise prompting and how it is deployed in practice. Clarity around prompting policies and techniques is essential. Our aim in this paper therefore is to provide a clearer guide to the different forms of prompting available to examiners, their potential effects on candidates, and to suggest guiding principles for practice.

 

프롬프트의 분류
A taxonomy of prompting

프롬프트의 용어와 관련 관행을 이해하기 위해 프롬프트의 분류법을 제시합니다. 이 분류법은 개별적인 범주가 아닌 연속적인 유형의 연속체라고 생각합니다. '프롬프트'라는 용어는 다음 5가지 활동 중 하나를 지칭할 수 있습니다.

• 과제 제시하기,
• 정보 반복하기,
• 질문 명확히 하기,
• 질문 탐색하기,
• 질문 유도하기

평가 상황에 따라 처음 4가지 유형의 프롬프트가 유용할 수 있습니다. 마지막 유형의 프롬프트는 타당도에 심각한 위협이 될 수 있습니다. 이 용어를 사용할 때는 먼저 해당 용어가 문맥에서 의미하는 바를 명확히 설명해야 한다는 점을 강조하는 것이 중요합니다. 
In order to unpack the term and associated practices, we present a taxonomy of prompting. We think of this taxonomy as a continuum of types, rather than as discrete categories. As we see it, the term ‘prompting’ may refer to any of the 5 following activities:

• presenting the task;
• repeating information;
• clarifying questions;
• probing questions; and finally,
• leading questions.

The first 4 types of prompting may be useful, depending on the assessment context. The final type of prompting poses a significant threat to validity. It is important to stress that when the term is deployed, what it means in context first needs to be elucidated.

스크립트의 특정 문구
Specific wording on a script

가장 간단한 형태로 '프롬프트'는 단순히 응시자에게 과제를 제시하는 시험 또는 평가 문제의 특정 문구를 의미합니다. 이는 시험 중 시험관이 모든 응시자에게 제공해야 하는 질문 또는 정보를 나타냅니다. 이 유형의 프롬프트는 시험관의 최소한의 상호작용을 나타내며 가장 중립적인 형태의 프롬프트를 나타냅니다.
In its simplest form, a ‘prompt’ simply refers to the specific wording on an examination or assessment question which presents the task to candidates. It represents a question or information that examiners should provide all candidates during the examination. This class of prompting represents the minimum level of interaction from the examiner and the most neutral form of prompting.

반복 정보
Repeating information

두 번째 유형의 프롬프트는 단순히 정보를 반복하는 것입니다. 이 경우 시험관은 응시자가 제공받은 정보 중 잊어버린 것으로 보이는 정보를 다시 생각하도록 상기시키려는 의도가 있습니다. 

• '이 사람은 80세 노인이라는 것을 기억하세요. . ' 또는 
• '이전 기록에 비추어 볼 때 여전히 그렇습니까?' 

이러한 형태의 프롬프트는 원래 프롬프트의 문구를 바꾸거나, 응시자가 의도하지 않은 방향으로 내용을 받아들이는 경우 응시자를 원래 프롬프트로 다시 안내하는 형태를 취할 수 있습니다. 이러한 개입은 일반적으로 응시자에게 이전 답변이 궤도를 벗어났다는 것을 우회적으로 알리는 방식으로만 표현하는 것이 가장 좋으며, 시험관이 명백한 불만이나 좌절감을 표출해서는 안 됩니다. 이러한 형태의 프롬프트는 응시자의 응답이 문제 프롬프트를 잘못 기억하거나 오해한 결과인 것이 분명해 보이는 경우 응시자에게 스스로 수정할 기회를 주기 위한 것일 뿐입니다.
A second type of prompting is simply repeating the information. Here, examiners intend to remind the candidate to think about information they have been provided, and appear to have forgotten.

• ‘Remember that this is an 80-year-old. . .’ or
• ‘Is that still the case in light of the previous history?’

This form of prompting may take the form of re-phrasing the original prompt, or if a candidate is taking the content in an unintended direction, of re-directing the candidate back to the original prompt. Such intervention is usually best expressed in a way that only incidentally cues the candidate that their previous responses were off-track; that is, it should not be accompanied by obvious expressions of disapproval or frustration by the examiner. This form of prompting is simply aimed at giving the candidate the opportunity to correct themselves when it seems clear that their response is a result of misremembering or misunderstanding the question prompt.

명확화 질문 
Clarifying questions

셋째, '좀 더 구체적으로 설명해 주시겠습니까?' 또는 'X가 무슨 뜻입니까?'와 같이 명확히 하기 위한 질문으로 프롬프트가 더 나아갈 수 있습니다. 명확화 질문은 일반적으로 사용되지만, 일부 시험관들은 공식적인 평가 상황에서 부적절할 수 있다고 우려합니다. 이는 시험의 목적과 맥락에 따라 달라집니다. 예를 들어, 응시자에게 자신의 답변을 명확히 할 기회를 주는 것을 목표로 하는 질문은 대부분의 구두 평가 상황에서 적절해 보일 수 있습니다. 결국 학습자가 무엇을 알고 이해하고 있는지 알아내는 것이 평가의 근본적인 목표 중 하나이기 때문입니다. 모든 응시자가 자신의 의미를 명확히 할 수 있는 유사한 기회를 얻을 수 있도록 시험관의 일관성이 중요합니다. 시험관의 책임은 응시자에게 은밀하게 힌트를 주는 것이 아니라 전적으로 응답을 명확히 하는 데 목적이 있음을 전달하는 것입니다.

• 반대로, '정확히 어떤 유형입니까?', '다른 방식으로 표현할 수 있습니까?'와 같이 대체 답변을 찾는 질문은 프로빙 또는 리딩으로 분류하는 것이 더 좋습니다. 고난도 평가에 응시하는 응시자는 일반적으로 이러한 단서에 매우 민감하게 반응합니다.

Third, prompting may go further to indicate clarifying questions, such as ‘Can you be more specific?’ or ‘What do you mean by “X”?’ Questions of clarification are commonly used, but some examiners worry that they may be inappropriate in formal assessment contexts. This will depend on the purpose and context of the examination. For example, a question which aims to give the candidate the opportunity to clarify their response would seem appropriate in most oral assessment contexts; it is, after all, one of the fundamental aims of assessment, to find out what the learner knows and understands. Consistency by examiners is key, so that all candidates get similar opportunities to clarify their meaning. It is the examiner’s responsibility to convey that their purpose is wholly to clarify the response, not surreptitiously cue the candidate. In contrast, a question that searches for an alternative response is better categorised as probing or leading; for example, ‘What type exactly?’, ‘Can you phrase that in a different way?’ Candidates in high-stakes assessment are usually highly attuned to such clues.

탐구 질문
Probing questions

넷째, 시험관은 탐색 질문을 할 수 있습니다. 이는 사례와 시험관마다 표준화하기가 더 어렵습니다. 응시자의 반응에 따라 시험관은 응시자가 특정 지식을 얼마나 잘 이해하고 있는지 또는 더 넓은 임상 맥락에서 그 중요성을 확인하기 위해 더 심층적인 질문을 던질 수 있습니다.

• '그 접근법의 어떤 의미가 있을 수 있습니까?', '어떤 상황에서 그 접근법이 적절할까요?' 등 

일부 형태의 구조화된 구술 평가에서는 응시자의 임상적 추론 능력을 평가하기 위해 이러한 형태의 프롬프트가 특별히 요구됩니다.10,11 이러한 형태의 프로빙은 응시자의 임상적 의사결정 능력의 정도를 평가하는 예로서 Simpson과 Ballard의 논문12에 설명되어 있습니다. 또한 Pylman과 Ward13가 질문(형성적 맥락에서의 질문)에 대한 12가지 팁 기사에서 제공한 지침, 특히 '프로빙'과 '찌르기'를 구분하고, 총괄 시험을 실시하는 동안에도 심리적으로 안전한 분위기를 조성하는 것이 중요하다는 점을 지지합니다.
Fourth, examiners may be permitted to ask probing questions. This is more difficult to standardise across cases and examiners. Depending on how the candidate responds, an examiner prompts by probing deeper to ascertain how well the candidate understands the specific piece of knowledge, or its significance in a broader clinical context, for example,

• ‘What might be some implications of that approach?’, ‘Under what circumstances would that be appropriate?’

Some forms of structured oral assessment specifically call for this form of prompting in order to assess the candidate’s clinical reasoning ability.10,11 This form of probing is illustrated in the paper by Simpson and Ballard,12 as an example of assessing the extent of candidates’ clinical decision-making skills. We also endorse the guidance provided by Pylman and Ward13 in their 12 tips article on questioning (in formative contexts), especially the importance of distinguishing ‘probing’ from ‘prodding’, and attempting to create a climate of psychological safety, even while conducting a summative examination.

이러한 질문형 프롬프트에서는 응시자의 특정 지식과 응답에 따라 시험관의 프롬프트 내용이 달라질 수 있기 때문에, 일관성보다는 동등성의 개념이 더 유용한 원칙으로 보입니다. 시험관은 서로 다른 특정 문제 또는 시험의 다른 지점이 프로빙에 사용되더라도 프로빙의 성격이 가능한 한 공평하게 이루어지도록 해야 합니다. 프로빙의 또 다른 위험은 시험관이 자신의 특정 '취미 분야(관심분야)'에만 집중할 수 있다는 것입니다. 이는 시험의 청사진 정렬 및 내용 타당성에 대한 불공정성과 위협의 중요한 원천으로 인식되어야 하며, 따라서 시험관 교육 시 특별히 다루어야 합니다. 시험관들의 이러한 접근 방식은 구술 시험의 목적에 대한 상반된 이해를 나타낼 수 있으며, 일부 시험관들은 이러한 평가를 대부분의 고난도 평가에서 요구되는 관찰 중심의 평가적 접근 방식이 아닌 교육 기회로 간주할 수 있습니다. 따라서 시험관 브리핑, 교육 및 선발 과정 자체의 명확성이 매우 중요합니다.
In this from of interrogative prompting, the concept of equivalence seems a more helpful principle than consistency, because the content of the examiner’s probing is likely to vary between candidates depending on their particular knowledge and responses. The examiner must ensure that the nature of the probing is as equitable as possible, even while different specific questions, or different points of the exam, are used for probing. Another risk of probing is that examiners may focus on their particular ‘hobby horses’. This needs to be recognised as a significant source of unfairness and threat to the blueprint alignment and content validity of the examination, and should therefore be specifically addressed during examiner training. Such an approach from examiners may indicate conflicting understanding of the purpose of oral examinations; some may see these assessments as teaching opportunities rather than the observation-focussed and evaluative approach which most high-stakes assessments require. This makes the clarity of examiner briefing, training and the selection process itself, crucial.

유도 질문과 모호한 질문
Leading and vague questions

마지막으로, 시험관들은 때때로 유도적인 질문을 던짐으로써 질문을 유도하기도 합니다. 이는 가장 '방해가 되는' 형태의 프롬프트이므로 대부분의 고난도 평가 상황에서는 권장하지 않습니다. 유도 질문의 일반적인 예는 다음과 같습니다:

• '유형 II를 말씀하시는 거죠?', '그럴 것 같네요. . .'

응시자의 성과에 도움이 되지 않는 경우, '다른 것은요?'와 같이 매우 모호한 프롬프트의 형태를 취할 수도 있으며, 이는 종종 응시자와 시험관 모두를 좌절시키는 추측 게임으로 끝납니다. 시험관이 좋은 의도를 가지고 있을 수 있지만, 이러한 프롬프트는 시험관이 응시자의 성과에 연루되게 만듭니다. 모든 응시자에게 일관되게 적용하더라도 평가 결과의 타당성을 위협할 수 있습니다. 안타깝게도 이러한 유형의 프롬프트는 의도적이든 그렇지 않든 실무에서 종종 발생합니다.
Finally, examiners sometimes enact prompting by asking leading questions. This represents the most ‘intrusive’ form of prompting and is rightly discouraged in most high-stakes assessment contexts. Typical examples of leading prompts include:

• ‘You mean type II, don’t you?’, and ‘It sounds like you would. . .’

Less helpfully to the candidates’ performance, it can also take the form of very vague prompts such as ‘What else?’, which frequently ends in a guessing game that frustrates both candidate and examiner. Although examiners may have good intentions, such prompting makes the examiner complicit in the candidate’s performance. Even if done consistently for all candidates, it threatens the validity of the assessment result. Unfortunately, this type of prompting often occurs in practice, whether intentional or otherwise.

실무 지침 원칙
Guiding principles for practice

다양한 형태의 프롬프트의 적절성을 고려할 때는 잠시 멈추고 특정 평가의 목적이 모든 이해관계자가 명확하고 잘 이해하고 있는지 확인하는 것이 중요합니다. 예를 들어,

• 평가의 맥락이 고부담 숙달 시험인 경우 평가 리더는 단순히 정보를 반복하거나 정보를 명확히 하는 것 이상의 프롬프트를 금지할 수 있습니다.
• 평가 맥락이 저부담 시험이고, 주로 응시자의 학습 기회로 활용되는 경우, 더 많은 질문을 던지는 것이 매우 유용할 수 있습니다.13

모든 평가에서 그렇듯이, 프롬프트에는 정해진 규칙이 있을 수 없습니다. 구두 평가에서 프롬프트를 사용할 때 고려해야 할 일반적인 원칙을 제시하지만, 평가 상황과 구체적인 목적에 따라 다른 프롬프트를 사용할 수 있는지 여부는 달라질 수 있습니다.
When considering the appropriateness of different forms of prompting, it is essential to pause and ensure that the purpose of the specific assessment is clear and well understood by all stakeholders. For example, if the assessment context is a high-stakes mastery examination, prompting beyond mere repeating information or clarifying information may be outlawed by assessment leaders. If the assessment context is lower-stakes and primarily used as a learning opportunity for candidates, more probing questions may be highly useful.13 With prompting, as arguably in all assessment, there can be no hard and fast rules. Although we present these general principles for consideration when using prompting in oral assessment, the defensibility of using different prompts will depend on the assessment context and specific purpose.

응시자와의 상호작용에서 중립적 태도를 지키기 위해 노력합니다.
Strive to be neutral in interactions with the candidate

시험관은 프롬프트를 제공할 때마다 응시자를 낙담시키거나 안심시키지 않는 방식으로 프롬프트를 제공하려고 노력해야 합니다. 응시자는 이러한 중립 원칙에 유의해야 하며, 시험관의 발언이나 몸짓에서 긍정이나 비난을 추구하지 않도록 격려해야 합니다. '잘했다' 또는 '잘하고 있다. .'와 같은 긍정적인 말이나 '음, 사실 Y 상태였어요'와 같은 정정(더 나쁘게는 끔찍한 눈동자 굴림)과 같은 부정적인 피드백은 응시자의 심리 상태와 이후 성과에 큰 영향을 미칠 수 있습니다. 경험상, 응시자의 성적을 긍정도 부정도 하지 않는 적절한 시험 '포커 페이스'를 개발하는 것은 많은 시험관에게 상당한 도전이 될 수 있습니다. 특정 시험관이 뛰어난 경우, 적절한 경우 전략적인 시험관 짝짓기를 통해 유용한 역할 모델을 제공할 수 있습니다. 
Whenever examiners prompt, they should try to do so in a way which neither discourages nor reassures the candidate. Candidates should be alerted to this principle of neutrality, and encouraged not to seek affirmation or censure in examiners’ utterances or body language. Positive comments such as ‘Good job’ or ‘Doing well. . .’, or corrections such as ‘Well, it was actually condition y’. – or worse, the dreaded eye-roll – can have significant impact on candidates’ state of mind and subsequent performance. In our experience, developing an appropriate examination ‘poker face’, offering neither affirming nor disapproving clues to candidates’ performance, can be a significant challenge for many examiners. Where certain examiners excel, they can provide helpful role models through strategic pairing of examiners, where appropriate.

모든 응시자에게 일관된 방식으로 프롬프트 사용
Use prompting in a consistent way for all candidates

응시자가 자신의 지식과 이해를 보여줄 기회가 다양할 때 불공평성이 발생합니다. 시험관은 특히 응시자의 답변을 조사할 때 접근 방식에 일관성을 유지하려고 노력해야 하지만, 앞서 언급한 바와 같이 이러한 일관성은 내용 자체뿐만 아니라 조사 방식과 정도에 있어서도 더 필요할 수 있습니다. 또 다른 문제는 프롬프트의 정도가 응시자의 결과에 어떤 영향을 미치는가 하는 것입니다. 일반적으로 프롬프트의 필요성이 클수록 점수가 낮아지지만,8,14 이는 평가 상황과 기준에 따라 달라질 수 있으므로 보편적인 원칙으로 간주해서는 안 됩니다. 응시자의 사고 과정을 존중하는 것도 중요합니다. 시험관의 조급함이 성급한 질문의 단서가 되어서는 안 됩니다. 잘 훈련되고 성찰적인 시험관은 평가 프로토콜과 신중한 판단을 결합하여 프롬프트가 적절한지 여부와 시기를 결정할 것입니다.
Unfairness arises when candidates have variable opportunities to display their knowledge and understanding. Examiners should try to be consistent in their approach, especially when probing candidate responses, although as noted, such consistency may need to be more in the manner and degree of probing as in the content itself. A further issue is how the degree of prompting should impact the candidate’s result. Typically, a greater need for prompting will translate into a lower score,8,14 but this will depend on the assessment context and criteria, and shouldn’t be assumed to be a universal principle. Respecting the candidate’s thinking processes is also important. Examiner impatience should not be a cue for hasty prompting. A well-trained and reflective examiner will combine assessment protocol with considered judgement to determine if and when a prompt is appropriate.

필요한 형태의 프롬프트에 대해 명확하고 투명하게 설명하기
Be clear and transparent about the required forms of prompting

일반적으로 이해관계자들이 프롬프트의 의미와 허용되는 프롬프트의 형태에 대해 서로 다른 개념을 가지고 있을 때 혼란이 발생합니다. 투명성은 실무에서 중요한 원칙입니다. 첫째, 평가 리더는 다양한 형태의 프롬프트에 대해 잘 알고 있어야 하며, 특정 평가 상황에서 어떤 형태가 필요한지에 대한 명확하고 정당한 근거를 가지고 있어야 합니다. 서면 지침은 투명성을 확보하는 데 도움이 되는 방법이며 평가자 교육 개발의 좋은 출발점입니다.
Confusion typically emerges when stakeholders have different conceptions of what prompting means, and what forms of prompting are permissible. Transparency is an important principle for practice. Firstly, assessment leaders need to be well-versed in the different forms of prompting and have clear and justifiable rationales for which forms are required in the specific assessment context. Written guidelines are a helpful way of being transparent and a good starting point for the development of assessor training.

평가자가 프롬프트 기술에 대해 적절한 교육을 받았는지 확인합니다.
Ensure assessors are adequately trained in prompting techniques

평가자는 특정 상황에서 허용되는 행동과 허용되지 않는 행동에 대해 적절히 교육받아야 합니다. 평가자가 프롬프트의 분류법을 이해하도록 돕는 것이 좋은 출발점이며, 이를 통해 다양한 형태의 프롬프트를 명확하게 파악하고 정확한 언어와 의미에 대한 공유된 이해를 바탕으로 토론과 심의가 이루어질 수 있습니다. 관련 예시와 함께 참고할 수 있는 접근 가능한 가이드라인이 도움이 됩니다. 교육 자료에는 구체적인 '해야 할 일'과 '하지 말아야 할 일'이 담긴 시험 영상이나 모의 시험이 포함될 수 있습니다. 동일한 문제를 설명하는 서면 문서보다 실제 상황과 맥락에서 실행되는 프롬프트를 보는 것이 일반적으로 더 큰 영향을 미칩니다.
Assessors need to be adequately trained in acceptable and unacceptable behaviours for the specific context. Helping assessors appreciate the taxonomy of prompting is a good place to start, and it makes different forms of prompting explicit and allows for discussions and deliberations to occur with precise language and a shared understanding of meaning. Accessible guidelines for reference with relevant examples are helpful. Training material may include video footage of examinations or mock examinations, with specific ‘dos’ and ‘don’ts’. Seeing prompting executed in practice (and in context) is usually more impactful than a written document that describes the same issue.

응시자에게 프롬프트 기대치에 대한 적절한 브리핑을 제공해야 합니다.
Ensure candidates are adequately briefed on prompting expectations

응시자는 시험관으로부터 프롬프트를 받을 수 있는지 여부와 프롬프트가 어떤 형태로 나타날 수 있는지 알아야 합니다. 프롬프트에 대한 불안은 지식, 적성 또는 기술 평가에 부수적인 평가에서 잠재적으로 복합적인 요인이 될 수 있습니다. 응시자에게 명확하고 투명하게 설명하면 이러한 불안을 완화하는 데 도움이 됩니다.4 이 과정에서 중요한 부분은 평가 중 시간 관리 책임자가 누구인지 명확히 파악하는 것입니다. 예를 들어,

• 구술 시험의 경우 할당된 시간 내에 문제를 푸는 것이 응시자의 책임인지, 아니면 시험관이 응시자가 할당된 시간 내에 문제를 풀 수 있도록 '유도'해야 하는지 명확히 명시해야 합니다. 

Candidates also need to know whether they can expect prompting from examiners, and what shape this can take. Anxiety about prompting is a potential compounding factor in assessment that is ancillary to the assessment of knowledge, aptitude or skill. Being clear and transparent with candidates helps alleviate such anxiety.4 An important part of this process is also ensuring that there is a clear understanding of who is responsible for time management during the assessment.

• For example, in an oral examination it should be clearly stated whether it is the candidate’s responsibility to get through the questions in the allocated time, or whether the examiners are expected to ‘move the candidate along’ to get through in the allocated time.

프롬프트 실천 중에 지속적인 성찰을 장려합니다.
Encourage ongoing reflection in prompting practice

평가자(평가 책임자, 의과대학 및 전문의 수련 대학은 말할 것도 없고)에게도 반성적인 태도가 필요합니다. 평가의 목적에 따라 다양한 프롬프트 접근 방식이 다양한 상황에서 유용성을 높일 수 있습니다. 평가 과제를 개발하는 초기 단계에서는 사례별 실무 검토가 필요합니다. 마지막으로, 지속적인 개선을 위해 프롬프트 지침, 실행 문제 및 응시자에 대한 잠재적 영향을 주기적으로 검토하고 지속적인 모니터링과 평가가 필요합니다.
Reflexivity is also required of assessors (not to mention assessment leads, medical schools and specialist training colleges). Different prompting approaches may enhance utility in different contexts, depending on the purpose of the assessment. Case-by-case review of practice will be required in the early stages of developing an assessment task. Finally, in the spirit of continuous improvement, periodic review of prompting guidance, implementation issues and potential impact on candidates will require ongoing monitoring and evaluation.

결론
Conclusion

구술시험의 신뢰성 부족과 시험관 관행 표준화의 어려움에 대한 역사적 우려에도 불구하고, 구술시험은 의과대학과 대학원 모두에서 중요한 평가 도구로 남아 있습니다. 우리의 경험에 비추어 볼 때, 프롬프트의 역할과 이를 구현하는 다양한 방법을 더 잘 이해하는 것은 모든 상황에서 근본적으로 고려해야 할 사항입니다. 이 백서의 목표는 특정 형태의 프롬프트를 규정하는 것이 아니라, 프롬프트라는 용어에 포함되는 다양한 행동에 대한 인식을 제고하고 몇 가지 일반적인 실천 원칙을 제시하는 데 있습니다. 제시된 분류법을 검증하기 위한 추가적인 경험적 연구를 환영합니다. 평가 상황에 관계없이 구두 평가를 계획할 때마다 평가자는 필요한 프롬프트의 유형과 정도에 대해 적절히 교육받고 응시자는 예상되는 사항을 알 수 있도록 적절히 브리핑을 받는 것이 중요합니다. 이 분류법과 지침 원칙이 시험관이 선택할 수 있는 다양한 형태의 프롬프트 관행을 설명하는 데 도움이 되고, 평가 책임자가 상황에 가장 적합한 프롬프트를 결정할 수 있기를 바랍니다.

Despite historical misgivings about its lack of reliability and the challenges of standardising examiner practices, the oral exam remains an important assessment tool in both medical school and postgraduate contexts. In our experience, better understanding the role of prompting and the different ways of implementing it, is a fundamental consideration in all contexts. Our aim in this paper has not been to prescribe any particular form of prompting, but rather to raise awareness of the different behaviours which tend to be subsumed under the term, while offering some general principles for practice. We would welcome further empirical research to validate the taxonomy presented. Regardless of the assessment context, it is crucial that whenever oral assessment is planned, assessors are appropriately trained in the type and degree of prompting required, and candidates are suitably briefed to know what to expect. We hope this taxonomy and guiding principles are helpful in elucidating the varied forms of prompting practices at examiners’ disposal, and allow assessment leads to determine what works best for their context.

---

J Med Educ Curric Dev. 2020 Aug 13;7:2382120520948881. doi: 10.1177/2382120520948881. eCollection 2020 Jan-Dec.

Prompting Candidates in Oral Assessment Contexts: A Taxonomy and Guiding Principles

Jacob Pearce 1, Neville Chiavaroli 1

Affiliations collapse

1Tertiary Education (Assessment), Australian Council for Educational Research, Camberwell, VIC, Australia.

PMID: 32851194

PMCID: PMC7427130

DOI: 10.1177/2382120520948881

Free PMC article

 

Abstract

Prompting is an aspect of oral assessment that deserves more attention. There appears to be considerable variation in how practitioners conceptualise prompting and how it is deployed in practice. In order to unpack the term and promote the validity of its use in performance assessments, we present a taxonomy of prompting as a continuum of types, namely: presenting the task; repeating information; clarifying questions; probing questions; and finally, leading questions. We offer general principles for consideration when using prompting in oral assessment: neutrality; consistency; transparency; and reflexivity. Whenever oral assessment is planned, assessors should be appropriately trained in the type and degree of prompting required, and candidates suitably briefed to know what to expect. Overall, we aim to raise awareness that quite different behaviours tend to be subsumed under the general term 'prompting'. This paper provides concrete guidelines for implementing the defensible and effective use of prompting in oral examinations, applicable to a wide range of assessment contexts.

Keywords: Prompting; assessment; oral assessment; oral examinations; viva.

© The Author(s) 2020.