논증 이론이 어떻게 평가 타당도에 정보를 제공하는가: 비판적 문헌고찰 (Med Educ, 2022)

논증 이론이 어떻게 평가 타당도에 정보를 제공하는가: 비판적 문헌고찰 (Med Educ, 2022)
How argumentation theory can inform assessment validity: A critical review
Benjamin Kinnear1,2 | Daniel J. Schumacher1 | Erik W. Driessen3 | Lara Varpio4

 

1 소개
1 INTRODUCTION

많은 현대 의료 전문 교육(HPE) 학자들은 [평가의 타당성]을 논증argumentation의 한 형태로 제시한다. 즉, 평가 데이터의 특정한 해석 및 사용에 대한 주장을 의미한다. 그러나 HPE 학자들은 아직 validation을 뒷받침하는 논증argumentation의 철학적, 이론적, 또는 실제적 측면을 탐구하지 않았다. [타당성 주장validity argument]라고 주장하는 것은 종종 평가의 장점을 평가, 우선순위 부여 또는 토론하기 위한, 가이딩 프레임워크가 없는, 그저 증거의 나열일 뿐이다. 이는 증거를 정리할 줄만 알고 [변론이 어떻게 구성돼야 하는지, 누가 변론을 평가할지, 어떻게 변론을 평가할지]는 모르면서 법정 재판을 여는 것과 비슷하다. 우리는 HPE가 우리의 현재 이해와 유효성의 사용을 지원하기 위해 논쟁 이론에 대한 더 깊은 이해를 개발하는 것이 중요하다고 주장한다.

Many modern health professions education (HPE) scholars frame assessment validity as a form of argumentation: A claim about a specific interpretation and use of assessment data.1-4 However, HPE scholars have yet to delve into the philosophical, theoretical, or practical aspects of argumentation that undergird validation. What are purported to be validity arguments are often merely the listing of evidence without a guiding framework to evaluate, prioritise, or debate their merits. This is akin to holding a courtroom trial while only knowing how to organise the evidence, but not knowing how the argument should be structured, who will evaluate the argument, nor how they will evaluate it. We contend that it is vital for HPE to develop a deeper understanding of argumentation theory to support our current understandings and uses of validity.

이것은 타당성에 대한 중요한 통찰이 HPE 학자들에 의해 이미 생성되지 않았다는 것을 말하는 것이 아니다. 아직 멀었지요. 우리 분야의 타당성에 대한 이해는 많은 HPE 연구자들의 연구 덕분에 발전했다. 예를 들어, 

• 쿡, 하탈라, 그리고 다우닝은 Messick과 Kane의 것과 같은 논증 기반 타당성 프레임워크를 HPE 평가 영역으로 가져오는 데 도움을 주었다. 
• St. Onge와 Young은 우리 분야의 타당성에 대한 이해의 현재 상태를 파악하는 데 도움을 주었다. 
• Govaerts, Schwirth, Van der Vleuten 및 다른 사람들은 프로그램적 평가의 맥락에서 타당성에 대한 우리의 현장 관점을 발전시켰다. 

HPE가 [타당성을 주장으로 개념화하도록 진화한 것]은 이들과 다른 학자들 덕분이다. 그럼에도 불구하고, HPE의 현대 타당성 프레임워크의 사용은 타당성 주장에 대한 청중, 구조 및 평가 표준에 대한 명시적인 설명이 부족하다. 따라서 다음과 같은 중요한 질문에 대한 답이 없습니다. 이러한 질문에 대한 답을 알지 못하면 우리 분야는 주장으로서의 타당성 패러다임을 완전히 수용하기에 적합하지 않다.

• 타당성 주장은 어떻게 그리고 누가 평가해야 하는가? 
• 타당성 주장은 어떻게 구성되어야 하는가? 

This is not to say that important insights into validity have not already been generated by HPE scholars. Far from it. Our field's understanding of validity has progressed thanks to the work of many HPE researchers.

• For instance, Cook, Hatala, and Downing have helped bring argument-based validity frameworks, such as those of Messick and Kane,5, 6 into the HPE assessment sphere.1-3, 7-14 
• St. Onge and Young have helped map out the current state of our field's understanding of validity.4, 15-17 
• Govaerts, Schuwirth, van der Vleuten, and others have progressed our fields view of validity in the context of programmatic assessment.18-26 

It is thanks to scholars like these, and others, that HPE has evolved to conceptualise validity as argument. And yet, HPE's use of contemporary validity frameworks lack an explicit description of the audiences, structures, and evaluation standards for validity arguments. This leaves important questions unanswered:

• How should validity arguments be evaluated and by whom?
• How should validity arguments be structured?

Not knowing the answers to these questions leaves our field ill-equipped to fully embrace the validity-as-argument paradigm.

문헌에 대한 이 비판적 리뷰에서, 우리는 HPE 청중에게 맞춤화된 주장 이론에 대한 설명을 제공하고, 그것이 HPE 평가에 제공할 수 있는 고유한 통찰력을 설명하고, 주장의 다른 접근 방식이 어떻게 우리가 생성적인 방식으로 타당성의 본질을 다시 개념화하는 데 도움이 될 수 있는지를 제시한다. 우리는 주장 이론 내에서 두 가지 다른 방향을 제시하고 각각이 어떻게 타당성 주장을 이해하고, 구조화하고, 평가하는 다른 방법을 만드는지에 대해 논의한다. 이러한 추상적인 이론을 보다 구체화하기 위해, 우리는 이러한 접근 방식을 HPE 관련 사례(상자 1)에 적용한다. 이 사례 토론을 통해, 우리는 논쟁 이론이 우리의 평가 노력을 향상시키는 데 어떻게 도움이 될 수 있는지를 강조한다. 검토를 위해, 우리는 먼저 타당성 주장과 주장 이론의 정의를 제공한다.
In this critical review of the literature, we offer a description of argumentation theory—tailored to the HPE audience—articulating the unique insights it can offer to HPE assessment, and presenting how different approaches to argumentation can help us reconceptualize the nature of validity in generative ways. We present two different orientations within argumentation theory and discuss how each creates different ways of understanding, structuring, and evaluating validity arguments. To make these abstract theories more tangible, we apply these approaches to an HPE-relevant case (Box 1). Via this case discussion, we highlight how argumentation theories can help advance our assessment efforts. To frame our review, we first offer definitions of validity arguments and argumentation theory.

---

상자 1. 이 사례는 HPE 평가 타당성에서 논쟁 패러다임의 중요성에 대한 실제 사례를 나타낸다. 이 사례는 결과 및 토론 섹션에서 다시 언급할 것이다.
Box 1. This case represents a real-world example of the importance of argumentation paradigms in HPE assessment validity. The case is referenced throughout the Results and Discussion sections

사례 연구 – 시간 변동에 따른 프로모션 결정으로 전환되는 APGME 프로그램
Case study – A PGME programme transitioning to time-variable promotion decisions

대학원 의학 교육 프로그램(PGME)은 수년 동안 강력한 평가 프로그램을 개발했다. 프로그램 리더는 문헌 검토 및 새로운 검증 연구를 통해 학습자 성과에 대한 종합적 의사결정에 대한 타당성 증거를 수집했으며, 시간-변동time-variable 교육 접근 방식으로 전환하기를 희망하고 있다. 시간-기반 일정에 따라 관리 수준이 낮은 수준으로 승급되기보다는, [총괄적 진급 결정]이 학습자가 프로그램을 진행하는 시기와 방법을 결정하는 데 그칠 것입니다. 이 잠재적 변화에 대해 중요한 이해관계자(예: 학습자, PGME 리더, 부서 리더, 인증 관계자, 인증 기관)를 참여시킬 때, 프로그램은 보편적으로 다음과 같이 요청된다.

• "총괄적 진급 결정이 방어가능하다는 것을 어떻게 확신하십니까? 
  
• 즉, "올바른 진급 결정을 내릴 수 있다는 당신의 주장argument은 무엇입니까?"라는 것이다. 

프로그램이 그들의 주장을 시작하기 전에, 그들은 대답해야 할 몇 가지 질문이 있었다. 

• 주장argument은 어떻게 구성되어야 하는가?
• 어떤 기준으로 평가되어야 하는가?
• 어떤 청중이 판단을 내릴 것인가?

A post-graduate medical education programme (PGME) has developed a robust programme of assessment over several years. Programme leaders have collected validity evidence for summative decisions about learner performance via literature review and new validation studies, and are hoping to transition to a time-variable training approach. Rather than being promoted to lesser degrees of supervision on a time-based schedule, summative promotion decisions will solely determine when and how learners progress through the programme. When engaging important stakeholders (e.g. learners, PGME leaders, departmental leaders, accreditation officials, certifying bodies) about this potential change, the programme is universally asked,

• “How do you know your summative promotion decisions are defensible?”
• In other words, “What is your argument that you can make the right promotion decision?”

Before the programme could begin making their argument, they had several questions that needed to be answered.

• How should their argument be structured?
• By what standard would it be evaluated?
• Which audience(s) would levy judgement?

새로운 수사학이 이 사건을 어떻게 알려줄 수 있을까?
How can new rhetoric inform this case?

프로그램 리더들은 그들의 타당성 주장이 각 [이해관계자 그룹]에 반영될 필요가 있다는 것을 인식한다. 따라서 그들의 주장은 많은 다른 기대에 부응해야 한다.

• 프로그램 리더는 먼저 어떤 이해관계자가 청중으로 봉사하는 것이 가장 중요한지 확인하고, 그들의 가치를 이해하려고 시도하며, 각 이해관계자 집단이 수용할 수 있을 때까지 그들의 타당성 주장을 반복적으로 구성, 평가 및 다듬는다.
• 인증 및 인증 기관은 이 특정 PGME 프로그램의 성과와 후과에 관심이 있습니다. 따라서 프로그램의 타당성 주장에는 졸업생들이 돌보는 환자들이 양질의 진료를 받는다는 증거가 포함된다.
• 대조적으로, 학습자들은 평가 관행의 공정성과 형평성에 대해 염려한다. 따라서 프로그램의 타당성 주장에는 다양한 학습자 정체성 그룹(예: 인종, 민족성, 성 정체성, 장애 상태)이 평가되는 방법과 그룹에 대한 편향의 증거가 있는지에 대한 양적 및 질적 데이터가 포함된다.

The programme leaders recognise that their validity arguments needs to resonate with each stakeholder group; therefore, their argument must to respond to many different expectations.

• The programme leaders first identify which stakeholders are most important to serve as audiences, attempt to understand their values, and iteratively construct, evaluate, and refine their validity argument until it is acceptable to each stakeholder gorup.
• Accrediting and certifying bodies are interested in the outcomes and consequences of this specific PGME programme. Therefore, the programme's validity argument includes evidence that patients cared for by graduates receive high-quality care.
• In contrast, learners are concerned about equity and fairness in assessment practices. Therefore, the programme's validity argument includes quantitative and qualitative data on how different learner identity groups (e.g. race, ethnicity, gender identity, disability status) are assessed and whether there is evidence of bias against any groups.

비공식 논리가 어떻게 이 사건을 알릴 수 있을까?
How can informal logic inform this case?

프로그램 리더는 상당한 양의 타당성 증거를 수집하지만, 처음에는 이해관계자가 평가할 수 있는 설득력 있는 주장으로 정리되지 않았다. [툴민의 모델]을 사용하여 프로그램 리더는 주장, 데이터, 영장warrants, 반박 및 기타 중요한 요소를 signpost하여 청중의 분석을 용이하게 한다. 프로그램 리더와 이해관계자는 타당성 주장이 관련성, 수용성 및 충분성의 측면에서 평가될 것이며 툴민의 모델이 부적절하다고 판단되는 주장의 모든 측면을 식별하는데 사용될 것이라는 데 동의한다.
Programme leaders collect significant amounts of validity evidence, but initially do not have it organised into a cogent argument for stakeholders to evaluate. Using Toulmin's model, the programme leaders signpost claims, data, warrants, rebuttals, and other salient elements, facilitating easier analysis by the audience. Programme leaders and stakeholders agree that the validity arguments will be evaluated in terms of relevance, acceptability, and sufficiency, and that Toulmin's model will be used to identify any aspects of the argument that are deemed inadequate.

논쟁은 언제 완료됩니까?
When is an argument complete?

두 이해관계자 그룹은 프로그램의 [최초 타당성 주장]이 부적절하다고 판단하여, 다른 주장 측면에 대한 [추가 증거와 해명]을 요구했다. 프로그램 리더들은 두 그룹 모두 주장이 받아들여질 수 있다는 것을 발견할 때까지 증거를 수집하고 평가하기 위해 이해관계자들과 반복적으로 협력했다. 프로그램 리더는 유사한 타당성 주장 과정에 다른 이해관계자 집단을 참여시키는 데 자원을 집중할 수 있다.

Both stakeholder groups found the programme's initial validity argument to be inadequate, asking for additional evidence and clarification on different argument aspects. Programme leaders worked iteratively with stakeholders to collect and evaluate evidence until both groups found the argument to be acceptable. Programme leaders could then focus resources on engaging other stakeholder groups in similar validity argumentation processes.

---

 

1.1 HPE 내부 및 외부의 유효성 주장
1.1 Validity arguments within and beyond HPE

• [타당성validity]은 [평가 점수에 관한 것]이 아니라, 그 [점수의 해석과 사용]에 관한 것이다.
• [타당화validation]는 그러한 [해석과 사용을 뒷받침하는 주장을 개발하는 과정]이다.
• [타당성 주장validity argument]은 [방어 가능한 추론 사슬]을 형성하기 위한, 연결되는 주장(즉, 관련된 현상에 대한 주장)으로 구성된다.

예를 들어, 우리는 역량이 어떻게 정의되는지, 어떻게 그것이 관찰될 수 있는지, 그리고 어떻게 평가될 수 있는지에 대한 주장claims을 한다. 그러나, 이러한 주장claims은 사실의 진술이 아니다; 대신에, 논의되고, 받아들여지고, 반박될 수 있는 주장들assertions이다. 만약 타당성 주장validity argument 내의 주장claims을 객관적이고 정적이며 비활동적인 선언으로 본다면, 그것은 그 안에 내재된 주장 전략argumentation strategies이 너무 널리 사용되고 받아들여져서 우리는 더 이상 그것들을 경쟁 가능한 것으로 인식하지 않기 때문이다. HPE 평가 결정이 근거로 하는 타당성 주장 주장validity argument claims은 논쟁argumentation에 몰두한 주장assertion일 뿐이므로 논쟁의 여지가 있다.

• Validity is not about assessment scores but rather the interpretations and uses of those scores.27-30 
• Validation is the process of developing an argument to support those interpretations and uses.29 
• Validity arguments are comprised of claims—i.e. assertions about the phenomena engaged with—that connect to form a defensible chain of reasoning.

For instance, we make claims about how competence is defined,31 how it can be observed,32 and how it can be assessed.33 However, these claims are not statements of fact; instead, they are assertions that can be debated, accepted, or refuted. If the claims within a validity argument are viewed as objective, static, and inactive declarations, it is because the argumentation strategies embedded therein have become so pervasively used and accepted that we no longer recognise them as contestable. The validity argument claims upon which HPE assessment decisions rest are merely assertions steeped in argumentation and so are up for debate.

[주장argument으로서의 타당성validity의 개념]은 수십 년 동안 존재해 왔고 발전해 왔다. 비록 많은 HPE 학자들이 메식스나 케인의 타당성 논증 개념화를 사용하여 활동하지만, HPE 외부의 학자들은 다른 접근법을 제시한다.

• Bachman은 타당화 작업이 [평가 활용 논증]에 해당하며, 이것은 평가 [수행]을 [해석]에 연결하는 [평가 타당성 논증]과 [해석]과 [결정]을 연결하는 [평가 활용화 논증]로 구성된다고 한다.
• Kane은 유사하게 평가 점수의 사용에 내재된 추론과 가정을 명시하는 [해석/사용 논증]를 제안한다.
• Mislevy는 평가를 뒷받침하는 주장들이 평가 시스템의 설계와 구현에 통합되는 검증에 대한 [증거 중심 설계 접근법]을 설명한다.

The concept of validity as argument has existed and evolved for decades.34-36 Although many HPE scholars operate using Messick's or Kane's conceptualization of validity argumentation,1, 3, 26, 37-43 scholars outside HPE present other approaches.44 

• Bachman advocates validation work should entail an assessment use argument, which is comprised of
  • an assessment validity argument linking assessment performance to an interpretation and
  • an assessment utilisation argument linking interpretations to a decision.45, 46 
• Kane similarly proposes an interpretation/use argument that explicitly states the inferences and assumptions ingrained within use of assessment scores.6, 47 
• Mislevy describes an evidence-centreed design approach to validation in which the arguments underpinning assessment are integrated into the design and implementation of assessment systems.48, 49 

이 세 명의 비 HPE 학자들은 모두 [스티븐 툴민]이 제시한 주장 구조를 사용하지만, 검증에 사용되는 기초적인 주장 지향만을 표면적으로 다룬다. 불행하게도, 툴민의 구조는 아직 HPE 검증의 담론에 들어가지 않았다. 이러한 누락은 HPE에 문제를 발생시킨다. HPE의 타당성 주장에는 우리가 종종 인식하지도, 비판하지도 못하는 가정과 사고 방식이 포함되어 있다. 이 실패는

• [타당성 주장이 객관적인 진리]라고 가정하면서,
• [(특정 이데올로기에 생명을 불어넣는) 추론을 위한 구조가 아니]라고 가정할 위험이 있다.

다시 말해, [우리의 평가 결정]과 그 [타당성에 대한 개념화에 entrench된 주장]은 우리가 각 결정이 언제 그리고 어떻게 타당한지를 의도적으로 고려할 수 있도록 명시되어야 한다. [논증 이론argumentation theory]은 우리가 그 명확성을 성취하는 것을 도울 수 있다.

These three non-HPE scholars all employ argument structures put forth by Stephen Toulmin,27, 29, 45, 48-51 but they only superficially address the underlying argumentation orientation utilised for validation. Unfortunately, Toulmin's structures—much less argument orientations—have yet to enter the discourse of HPE validation. This omission generates problems for HPE. Embedded within HPE's validity arguments are assumptions and ways of thinking that we often fail to recognise and critique. This failure risks assuming that

• the validity arguments are objective truths and
• not structures for reasoning that bring certain ideologies to life.

In other words, the arguments entrenched in our assessment decisions and in our conceptualizations of their validity must be made explicit so that we can deliberately consider when and how each decision is valid. Argumentation theory can help us achieve that clarity.

1.2 논증 이론
1.2 Argumentation theory

논증 이론은 논리학, 언어학, 철학, 심리학, 법학과 같은 여러 학문에서 끌어내어 논증적 담론의 생산, 분석, 평가를 다루는 학문이다. 다양한 학문 분야의 학자들이 논쟁 이론의 태피스트리에 독특한 실타래를 추가하는 등 몇 가지 지향점이 존재한다. Van Eemeren 등은 논증 이론의 핵심인 몇 가지 측면을 포함하는 [논증의 정의]를 제공한다.

Argumentation theory is not a single unified theory; instead, it is a field of study that draws from multiple disciplines (e.g. Logic, Speech, Linguistics, Philosophy, Psychology, and Law) to grapple with the production, analysis, and evaluation of argumentative discourse (spoken or written).52, 53 Several orientations exist, with scholars from a wide range of academic disciplines adding unique threads to the tapestry of argumentation theory. Van Eemeren et al. provide a definition of argumentation that includes several aspects that are key to argumentation theories:

논증(論 is)은 이성적인 판사 앞에
논점을 정당화하거나 반박하기 위한 명제들의 집합을 제시함으로써,
청취자나 독자에게 논쟁적인 관점의 수용성을 증가(또는 감소)시키는 것을 목표로 하는
추론의 언어적이고 사회적인 활동이다. 
Argumentation is a verbal and social activity of reason
aimed at increasing (or decreasing) the acceptability of a controversial standpoint for the listener or reader,
by putting forward a constellation of propositions intended to justify or refute the standpoint before a rational judge.52

이러한 개념화는 [논증]이 [사람들(사회) 간에 교환되는 언어(언어)에 의존하는 노력(활동)]임을 강조한다. 이 의사소통은 목표 지향적이다; 목표는 청중(단일 청취자, 독자 또는 청취자 또는 독자의 그룹)이 특정한 관점이나 해석(관점)에 동의하거나 동의하지 않도록 설득하는 것이다. 중요한 것은, 논쟁은 옹호되는 관점이 청중들에 의해 논쟁의 여지가 있는 사회적 상황에서 존재한다. 따라서, 주장(명제 별자리)은 청중(합리적 판단자)이 주장자와 일치하도록 설득할 관점에 대한 특정한 해석을 제시하기 위해 만들어진다. 

> This conceptualization highlights that argumentation is an endeavour (activity) that relies on language (verbal) being exchanged between people (social).
> This communication is goal oriented (aimed); the goal is to convince an audience (single listener or reader or groups of listeners or readers) to agree (increase acceptability) or disagree (decrease acceptability) with a particular viewpoint or interpretation (standpoint).
> Importantly, argumentation exists in social situations where the viewpoint being espoused is disputable (controversial) by an audience.
> Therefore, arguments (constellations of propositions) are created to present a particular interpretation of the viewpoint (justify or refute the standpoint) that will convince the audience (rational judge) to align themselves with the arguer.

프로세스와 표준에 대한 공유된 개념이 없다면 논쟁은 헛된 것이다.
Without a shared conception of processes and standards, argumentation is futile.52

많은 다른 논쟁 이론들이 어떻게 주장이 실현될 수 있는지를 제안한다. 어떤 이들은 [연역적 추론]의 사용을 앞에 두는 반면, 다른 이들은 [대화의 힘]을 강조한다. 어떤 것은 [규범적 기준]을 강조하는 반면, 어떤 것은 [수사적 목적]을 강조한다. 게다가, 논쟁 학자들은 이 이론들을 토론하고 수정하며, 다른 해석을 제공한다. 분명히, 이 전체 학술문헌의 검토는 타당성에 대한 HPE의 사고를 발전시키기 위한 실질적인 통찰력을 쉽게 제공하지 못할 것이다. 그러나 HPE의 평가자와 평가 연구자가 활용할 수 있는 중요한 고려사항과 구체적인 응용을 제공할 수 있는 논쟁 이론의 보다 표적화된 검토. 따라서 HPE의 유효성 주장에 유용하게 적용될 수 있는 이론과 학술적 해석을 선택했다.
Many different theories of argumentation propose how arguments could be realised. Some foreground the use of deductive reasoning,54 whereas others accentuate the power of dialogue.55 Some stress normative standards,56 whereas others emphasise rhetorical aims.57 Furthermore, argumentation scholars debate and revise each of these theories, offering different interpretations. Clearly, a review of this entire body of scholarship would not readily offer practical insights for advancing HPE's thinking about validity. However, a more targeted review of argumentation theories that can offer important considerations and concrete applications that could be harnessed by HPE's assessors and assessment researchers. Therefore, we selected theories and scholarly interpretations thereof that could be usefully applied to validity argumentation in HPE.

2 방법
2 METHODS

우리의 조사는 다음과 같이 물었다.

• 논증 이론은 어떻게 우리가 새롭고 생성적인 방법으로 HPE 평가 타당성의 본질을 개념화하는 데 도움을 줄 수 있는가? 

이 질문에 답하기 위해 우리는 [비판적 검토]를 실시했다. [비판적 검토]는 [체계적 검토]처럼 일반화될 수 있는 진실을 생산하기 위한 것이 아니다.

• 오히려 [비판적 검토]는 [구성주의적 존재론과 인식론]에 뿌리를 두고 있으며, "문제를 해석하는 현재의 방법을 다시 구상하기 위해 다른 영역의 문학과 이론을 끌어낸다."
• 연구팀은 [특정 주제에 관련된 모든 지식을 종합하는 것]을 목표로 하는 대신, 문헌에 대한 [비판적 검토와 주관적 해석을 수행]한다. 따라서 연구팀은 "발견된 문헌을 평가하고 해석하기 위해 그들의 관점을 사용하는 [연구 도구의 역할]을 한다." 

Our investigation asked:

• How can argumentation theory help us conceptualise the nature of HPE assessment validity in new and generative ways?

To answer this question, we conducted a critical review. Critical reviews are not intended to produce generalizable truths58 like systematic reviews.

• Rather, critical reviews are rooted in a constructivist ontology and epistemology59 and “draw on literature and theory from different domains to re-envision current ways of interpreting the problem.”60 
• Instead of aiming to synthesise all knowledge relevant to a particular topic, the research team conducts a critical review and subjective interpretation of a body of literature. The research team thus “acts as a research instrument, using their perspective to appraise and interpret the literature uncovered.”60 

이 접근 방식은 평가 타당성에 대한 가정과 선입견을 조사함으로써 HPE를 발전시킬 수 있는 논쟁 이론의 선택을 설명하려는 우리의 목표와 일치한다. 우리는 이론 뭉치를 생성하고 해당 코퍼스를 분석하기 위해 Kahkee 등이 자세히 설명한 5단계 비판 검토 프로세스를 따랐다. 우리는 아래의 반복적 순환에 관여했다. 

• 집중(즉, 연구 목표의 구성/설정) 
  
• 탐색(즉, 논증 이론에서 보초 관점에 대한 표적 탐색) 
  
• 평가(즉, 목적과의 관련성을 위한 원고 평가) 
  
• 샘플링(즉, 연구에 대한 통찰력을 제공할 수 있는 원고 결정) 
  
• 분석(즉, 각 이론의 타당성 주장에 대한 적용 가능성 평가)을 수행합니다.

This approach aligns with our goal of describing a selection of argumentation theories that can advance HPE by examining the assumptions and preconceptions around assessment validity. We followed the five-step critical review process detailed by Kahlke et al to generate a corpus of theories and to analyse that corpus.60 We engaged in iterative cycles of

• focusing (i.e. constructing/revising the research aims);
• searching (i.e. targeted exploration for sentinel perspectives in argumentation theory);
• appraising (i.e. assessing manuscripts for relevance to our aims);
• sampling (i.e. determining manuscripts potential to offer insights into our research); and
• analysing (i.e. assessing each theory's applicability to validity argumentation).

우리의 검색 전략(그림 1)은 논쟁 이론 분야의 선두주자로 간주되는 저자에 의해 쓰여진 인용이 높은 동료 검토 저널 기사를 식별함으로써 논쟁 이론 분야의 주요 저작물을 찾는 것으로 시작되었다. 논쟁 이론이 인문학에 자리 잡고 있다는 점을 고려할 때, 우리는 동료 검토 저널 기사가 유익하겠지만, (이 영역에서 매우 가치 있는 보급 형태인) 책과 교과서로 범위를 넓혀야 할 것이라는 것을 인식했다. 우리는 이러한 원고를 검토하고 그 분야의 역사에서 몇 가지 지점에서 논의의 이론적 및 실제적 측면을 다루는 논쟁 이론의 주요 사고 유형을 매핑했다. 
Our search strategy (Figure 1) began by locating seminal works in the field of argumentation theory by identifying highly cited peer-reviewed journal articles that were written by authors considered leaders in the field of argumentation theory. Given that argumentation theory sits in the humanities, we recognised that, although peer-reviewed journal articles would be informative, we would also have to broaden our scope to books and textbooks since these are highly valued forms of dissemination in this domain. We reviewed these manuscripts and mapped the leading strains of thought in argumentation theory that addressed theoretical and/or practical aspects of argumentation from several points in the field's history.

우리는 논증과 HPE 평가 타당성에 대한 우리의 전문 지식을 사용하여 "연구 질문에 대한 출처의 관련성 및 포함된 정보에 의해 추가된 가치에 대한 그들의 감각에 기초하여 포함을 위한 논문을 평가한다". 주요 저작물에 대한 검토와 병행하여 ERIC, Scopus, Web of Science, PubMed 및 Medline 데이터베이스가 인문학적 및 교육 관련 출판물을 다루는 광범위한 문헌을 인덱싱하기 때문에 이를 검색하기 위해 학술 사서들과 함께 ERIC, Scopus, Web of Science, PubMed 및 Medline 데이터베이스를 검색했다. 우리는 원래 말뭉치에 포함되지 않은 인용도가 높은 책과 동료 검토 저널 기사를 검색했다. 우리는 추가적인 핵심 참조를 식별하기 위해 소급적으로 눈덩이 샘플링을 사용했다(즉, 주요 작업에 나열된 참조 조사).

We used our expertise in argumentation and HPE assessment validity to “appraise papers for inclusion based on their sense of a source's relevance to the research question and the value added by the information it contains.”60 In parallel to our review of seminal works, we worked with an academic librarian to search ERIC, Scopus, Web of Science, PubMed, and Medline databases because they index a wide range of literatures—i.e. both journal articles and books—addressing humanities- and education-related publications. We searched for highly cited books and peer-reviewed journal articles that were not included in our original corpus. We used snowball sampling retrospectively (i.e. investigating references listed in seminal works) to identify additional key references.

BK와 LV는 corpus를 검토하여 [논쟁의 분야]을 형성한 저명한 이론과 학자들의 목록을 독립적으로 작성했다. 이 목록들은 포괄적이게 의도된 것이 아니라 논쟁에서 [가장 영향력 있는 목소리와 관점]을 포착하기 위해서였다. 그런 다음 우리는 합의된 토론을 통해 이것들을 [하나의 목록]으로 비교하고 해결했다. 우리는 HPE에 가장 적합한 주장 이론을 결정하기 위해 합의 목록과 정렬된 corpus의 출처를 검토했다. 구체적으로, 우리는 어떤 이론이 실제 검증 작업과 더 광범위한 학술적 노력의 맥락에서 평가 검증에 관여하는 HPE 학자들에게 유익한 통찰력을 제공하는지를 고려했다. 표 1은 우리가 검토했던 논증 이론 내에서 두드러진 방향을 제시하면서 이 연구의 요약을 제공한다.

BK and LV reviewed the corpus to independently create lists of the pre-eminent theories and scholars that have shaped the field of argumentation. These lists were not intended to be comprehensive, but rather to capture the most influential voices and viewpoints within argumentation. We then compared and resolved these into a single list through consensus discussions. We reviewed sources from the corpus that aligned with the consensus list to determine which argumentation theories were most applicable to HPE. Specifically, we considered which theories would provide beneficial insights to HPE scholars engaged in assessment validation, both in the context of practical validation work and broader scholarly endeavours. Table 1 provides a summary of this work, presenting prominent orientations within argumentation theory which we considered, though some we did not fully discuss in our findings.

2.1 반사율
2.1 Reflexivity

비판적 검토 연구팀은 "발견된 문헌을 평가하고 해석하기 위해 그들의 관점을 이용하는 [연구 도구의 역할]을 한다." 
이 목표를 염두에 두고, 우리의 고유한 관점, 전문 분야 및 개인적 배경이 합성 활동에 정보를 제공했다. 우리 팀은 다양한 관심과 경험을 가진 의학교육 학자로 구성되었다. 두 명의 팀 구성원(BK 및 DS)은 HPE 연구에 적극적으로 참여하는 임상의 교육자입니다. 이 연구의 1차 연구자(BK)는 HPE 박사 과정의 일부로 논쟁 이론 문헌에 몰두했다. 그는 또한 역량 기반 의료 교육, 학습자 평가 및 타당성에 대한 전문 지식을 가지고 있다. 다른 임상 교육자(DS)는 CBME 및 평가 타당성에 대한 전문 지식을 보유하고 있습니다. ED는 학습자 평가, 유효성 및 CBME에 대한 전문 지식을 갖춘 PhD 훈련을 받은 연구원입니다. 본 논문의 선임 연구자(LV)는 논증 이론, 수사학, 전문적 커뮤니케이션에 중점을 둔 박사 훈련을 받은 연구원입니다. 그녀의 통찰력은 팀이 논쟁에서 중요한 학자와 이론을 식별하고 이러한 학자와 이론들이 HPE에서 주장된 타당성에 대한 다른 접근법과 어떻게 일치하는지 되돌아보는 데 도움을 주었다. 팀 연구 토론은 종종 HPE의 타당성에 대한 우려에 어떤 주장 이론이 유용하게 적용될 수 있는지에 대한 토론을 포함한다.

The critical review research team “acts as a research instrument, using their perspectives to appraise and interpret the literature uncovered.”60 With this goal in mind, our unique perspectives, areas of expertise, and personal backgrounds informed the synthesis activity. Our team consisted of medical education scholars with diverse interests and experiences. Two team members (BK and DS) are clinician educators who actively engage in HPE research. The study's primary researcher (BK) immersed himself in the argumentation theory literature as part of his PhD in HPE; he also has expertise in competency-based medical education (CBME), learner assessment, and validity. The other clinician educator (DS) has expertise in CBME and assessment validity. ED is a PhD-trained researcher with expertise in learner assessment, validity, and CBME. The senior researcher on this paper (LV) is a PhD-trained researcher whose graduate work focused on argumentation theory, rhetoric, and professional communication. Her insights helped the team to identify significant scholars and theories in argumentation and to reflect on how these scholars and theories aligned with other approaches to validity espoused in HPE. Team research discussions often involved debates about which argumentation theories could be usefully applied to concerns about validity in HPE.

[방법론적 성찰성] 또한 우리의 연구를 이끌었다. [여러 저자의 이론]과 논쟁 이론의 학파 내 및 학파 간에 보유된 [일반적인 가정]을 검토함으로써, 우리는 HPE 평가 타당성을 위해 가장 생성 가능성이 있다고 생각되는 이론을 선택했다. 우리는 논증 이론의 광범위한 표현을 포함하려고 노력했지만, 주로 우리의 선택에 대한 안내 원칙은 다음과 같았다.

• 이 이론은 우리가 HPE 맥락에서 타당성 주장을 이해하는 데 실질적으로 도움을 줄 수 있는가?

Methodological reflexivity also guided our research. By reviewing the theories from several authors and the common assumptions held within and across schools of argumentation theory, we selected theories we thought held the most generative possibilities for HPE assessment validity. We sought to include a broad representation of argumentation theories, but the guiding principle primarily informing our selections was:

• Can this theory substantially help us understand validity arguments in the HPE context?

 

3 결과
3 RESULTS

표 1에서, 우리는 HPE의 타당성 주장에 대한 각 이론의 적용 가능성에 대한 우리의 평가와 함께 [다섯 가지 중요한 주장 이론]의 주요 측면을 개략적으로 설명한다. 반복적인 분석 주기를 통해, 우리는 [새로운 수사학]과 [비공식 논리]의 두 가지 방향이 HPE 평가 타당성에 대한 특히 유용한 통찰력을 제공한다는 것을 결정했다. 이것은 다른 주장 지향이 HPE에 대한 가치가 없다고 말하는 것이 아니다. 대신, 우리의 전문 지식을 기반으로, 우리는 [새로운 수사학]과 [비공식 논리]가 우리 분야의 평가 타당성에 특히 적용될 수 있다고 제안한다. 우리는 먼저 이러한 방향을 검토한 다음 HPE의 타당성 주장과 관련이 있다고 믿는 주장의 세 가지 측면, 즉 청중, 주장 구조 및 평가 표준에 초점을 맞춘다.
In Table 1, we outline key aspects of five prominent theories of argumentation, along with our assessments of each theory's applicability to HPE's validity arguments. Through our iterative cycles of analysis, we determined that two orientations—new rhetoric and informal logic—offered particularly useful insights into HPE assessment validity. This is not to say that other argumentation orientations are without value for HPE; instead, based on our expertise, we suggest that new rhetoric and informal logic are especially applicable to assessment validity in our field. We first review these orientations, then focus on three aspects of argumentation that we believe are relevant to validity argumentation in HPE: audience, argument structure, and evaluation standards.

3.1 새로운 수사학
3.1 New rhetoric

20세기 중반에 두 명의 철학자인 하임 페렐만과 루시 올브레히츠-티테카는 경험적 증명보다는 가치 판단에 더 의존하는 논증 이론을 발전시켰다. [새로운 수사학]은 아리스토텔레스의 수사학과의 유사성, 특히 아리스토텔레스가 논쟁에서 [청중]과 [설득]에 중점을 둔 핵심적 중요성 때문에 그렇게 명명되었다. [새로운 수사학]에서 논쟁의 목표는 절대적 진리의 증명보다는, 논쟁자에 의해 제기되는 [주장에 대한 청중의 수용을 얻는 것]이다. 논쟁의 타당성은 청중들의 설득에 달려있다. 논쟁자들은 [청중의 가치와 신념]에 대해 설명하고 적응해야 하며, 따라서 타당성을 [청중을 설득하는 능력]과 연결시켜야 한다. 청중은 논쟁자의 주장에 대해 [부분적으로 설득]될 수 있기 때문에, 타당성은 [정도의 문제]로 존재한다. 이러한 의미에서, 새로운 수사학은 주장의 타당성을 결정하기 위한 외부 규범적 틀을 제공하지 않는다. 대신, 그것은 수용 가능하고 그럴듯한 것을 결정하기 위해 청중에게 그들의 가치와 규범을 사용하도록 한다. 설득이 합리적인 주장 분석의 필요성을 없애지는 않고, 다만 청중의 가치관 맥락에 합리성을 둔다. 중요한 것은, 설득은 속이거나 조작하는 방법이 아니라, 특정 [청중의 원칙과 예상 기준]을 [평가 기준]으로 고려하고 평가하는 것을 의미한다.

In the mid-20th century two philosophers, Chaim Perelman and Lucie Olbrechts-Tyteca, developed a theory of argumentation that relied more on value judgements than empirical proof.67-70 New rhetoric was so named because of similarities to Aristotle's rhetoric, particularly the central importance Aristotle placed on audience and persuasion in argumentation.61, 71 In new rhetoric, the goal of argumentation is not the demonstration of absolute truth but rather to gain an audience's acceptance of a claim being put forth by an arguer.53, 72 Argument validity is dependent upon audience persuasion. Arguers must account for and adapt to an audience's values and beliefs, thereby linking validity to the ability to convince an audience.57 Validity exists as a matter of degree since an audience might be partially persuaded towards an arguer's claim. In this sense, new rhetoric does not provide an external normative framework for determining argument validity; instead, it relies on an audience to use their own values and norms to determine what is acceptable and plausible. Persuasion does not remove the need for rational argument analysis; it places rationality in the context of an audience's values. Importantly, persuasion is not meant as a way to deceive or manipulate,73 but rather to consider and apprize a particular audience's principles and anticipated standards as evaluative criteria.

[청중의 가치와 기준]이 타당성의 중심이므로, 논쟁자들은 그들이 [의도한 청중]을 명시해야 한다. Perelman과 Olbrects-Tyteca는 [특정 청중]과 [보편적인 청중] 사이에서 논쟁하는 것을 구별한다.

• [특정 청중]은 논쟁자가 그들의 주장을 다룰 수 있는 실제 사람 또는 그룹(또는 그 대표자)으로 구성된다. 비록 특정 청중이 더 큰 청중집단의 부분집합이나 표본일 수 있지만, 논쟁은 여전히 [구체적인 사람 또는 집단의 가치]를 기준으로 하여 발생한다.
• 대조적으로, [보편적 청중]은 개념적이며, 논쟁자에 의해 유능하고 합리적인 사람들의 가치와 이상을 가진 집단으로 생각됩니다. 따라서, 보편적인 청중을 가지고, 논쟁자는 [합리적 청중]의 개념에 기초하여 타당성의 가치와 기준을 결정하는 역할을 한다.

Given the centrality of an audience's values and standards to validity, arguers must make explicit their intended audience. Perelman and Olbrects-Tyteca distinguish between arguing to a particular audience and a universal audience.

• A particular audience consists of a real-world person or group (or representative thereof) to whom an arguer can address their argument.74 Although the particular audience may only be a subset or sample of a larger group, the argument still occurs using a concrete person's or group's values as the standard.
• In contrast, the universal audience is conceptual, conceived by the arguer as a group holding the values and ideals of competent and reasonable people. Thus, with a universal audience, the arguer plays a role in determining the values and standards of validity based on their notion of a reasonable audience.

새로운 수사학에서 [특정 청중] 및 [보편적 청중]의 구체적인 역할에 대한 논쟁이 있다. 그러나, 특정 청중과 보편적 청중 둘 다, 논쟁자의 목표는 청중들의 순응adherence을 확보하는 것이다. 새로운 수사학은 주장자들이 그들의 [청중을 명시적으로 식별]하도록 강요하며, 주장자들이 [자신의 청중에 대한 지식과 이해]를 소유하도록 동기를 부여한다.

There is debate over the specific roles of particular and universal audiences in new rhetoric74-77; however, with both particular and universal audience, the arguer's goal is securing audience adherence. New rhetoric compels arguers to explicitly identify their audience, and incentivizes arguers to possess knowledge and understanding of their audience.

HPE의 평가 관행을 위한 새로운 수사학의 실질적인 함의는 프로그램 리더가 [관여하고자 하는 각 그룹의 요구]를 충족시키기 위해 타당성 주장을 조정해야 한다는 것을 포함한다.

• 인가 및 인증 기관을 다룰 때, 논쟁은 훈련의 결과와 결과에 초점을 맞춘 타당성 증거를 강조할 수 있다.
• 학습자를 다룰 때, 논쟁은 평가 관행의 공정성과 형평성을 강조할 수 있다.

Practical implications of new rhetotic for assessment practices in HPE include the need for programme leaders to tailor their validity arguments to meet the needs of each group they are engaging.

• When addressing accrediting and certifying bodies, arguments might emphasise validity evidence focused on outcomes and consequences of training.
• When addressing learners, arguments might emphasise equity and fairness in assessment practices.

3.2 비공식 논리
3.2 Informal logic

[비공식 논리]는 [전제와 결론 사이의 논리적 일관성]을 평가하면서 실제, 사회적 환경, 공개 담론에서 발생하는 주장을 (구조를 통해) 식별하고 (규범적 표준을 통해) 평가하기 위한 절차와 표준을 제공한다. [비공식 논리]는 주장의 타당성을 결정하는 다양한 접근법을 포괄하는 광범위한 포괄적 용어이다. 이 이론이 등장하기 전에 [형식 논리formal logic]는 현실 세계의 논쟁에 무균적이고 탈맥락화된 방식으로 적용되었다. 많은 비공식 논리학자들은 탈맥락적 접근법을 거부했는데, 이는 실제 논증을 평가하는 것을 불가능하게 만드는 잠재적인 왜곡으로 가득 차 있었기 때문이다. 비공식 논리는 문맥적 요인이 제거되지 않고, 주장 구조의 식별을 통해 [실제 논쟁의 지저분하고 암묵적이며 불완전한 성격]을 설명하기 위해 개발되었다.

Informal logic provides procedures and standards for identifying (via structures) and evaluating (via normative standards) arguments that occur in real-world, social environments and public discourse while still valuing logical coherence between premises and conclusions.56, 78 Informal logic is a broad umbrella term covering differing approaches to determining argument validity.79, 80 Before the advent of this theory, formal logic was applied to real-world arguments in a sterile, decontextualized way. Many informal logic scholars rejected this context-free approach because it was fraught with potential distortions that rendered evaluating real-world argumentation impossible. Informal logic was developed to account for the messy, implicit, incomplete nature of real-world argumentation through identification of argument structures without removal from contextual factors.

일단 논쟁의 구조가 맥락적으로 이해되면, 비공식 논리는 논쟁에서 추론의 강도를 결정하기 위한 여러 기준을 제공한다. 한 가지 접근 방식은 논점을 평가하기 위한 [관련성, 수용성 및 충분성]의 기준에 의존한다.

• 관련성은 전제(즉, 클레임 또는 제안), 이러한 전제로부터 추론된 결론 및 전체적인 주장 사이의 적절한 관계를 요구한다.
• 수용가능성은 논쟁자, 청중, 비판적 공동체에 의해 결정되는 전제의 진실성 또는 타당성과 관련이 있다.
• 충분성은 주장을 뒷받침하는 증거가 유형, 수량 및 사용에 있어 적절해야 한다.

비공식 논리에서 주장의 강도를 결정하기 위한 다른 접근법에는 오류(즉, 추론의 오류)를 배제하고, 반례를 사용하고, 주장 체계를 공식화하는 것이 포함된다. 어떤 접근법도 주장의 타당성을 판단하는 방법으로 유일하게 정확하지는 않다. 대신에, [비공식 논리]는 [주장의 힘과 설득력]을 주장의 목표로 앞세운다.

Once an argument's structure is contextually understood, informal logic offers multiple standards for determining the strength of inferences in the argument.56 One approach relies on the criteria of relevance, acceptability, and sufficiency to evaluate arguments.81, 82 

• Relevance demands adequate relationship between premises (i.e. claims or propositions), conclusions inferred from these premises, and the overall argument.
• Acceptability relates to the truth or plausibility of premises as determined by the arguer, audience, and critical community.
• Sufficiency requires that evidence supporting an argument be appropriate in type, quantity, and use.

Other approaches for determining the strength of an argument in informal logic include excluding fallacies83, 84 (i.e. errors of reasoning), using counterexamples, and formulating argumentation schemes.85 No one approach is singularly correct for determining an argument's validity; instead, informal logic foregrounds argument strength and cogency as the goal of argumentation.

철학자 스티븐 툴민은 1958년 저서 《논증의 사용》으로 비공식 논리에 깊은 영향을 끼쳤다. 툴민의 모형에서, 인수는 더 큰 응집 단위의 고유한 요소 부분으로 분해된다.

• 클레임(claim)은 논쟁의 출발점이 되는 논쟁자에 의해 취해지는 특정한 문제에 대한 관점 또는 의견이다.
• [클레임]은 증거에 의해 뒷받침되어야하고, 툴민은 이를 데이터data라 불렀다.
• 그러나, 논쟁자는 [왜 또는 어떻게 특정 데이터가 명시된 주장을 뒷받침하는지]를 상세히 설명해야 한다. 이러한 상세한 설명을 영장warrant이라고 하는데, 이는 클레임claim를 입증하기 위해 특정 데이터를 사용할 수 있는 정당성을 제공한다.

다시 말해, [영장]은 [청구]와 그 뒷받침하는 [데이터] 사이의 가교 역할을 한다. [데이터-보증-청구 유닛data-warrant-claim unit]는 툴민의 주장 구조의 근간을 이루지만 다음과 같은 다른 요소들이 있다.

• 지원backings (영장 발부의 근거), 
  
• 한정자qualifiers (청구의 보편성에 대한 제한 또는 제한) 
  
• 반론rebuttals (반론에 대한 선제적 또는 사후 대응적 반응).

Philosopher Stephen Toulmin profoundly influenced informal logic with his 1958 book The Uses of Argument86 in which he provided a framework for organising argument structures to facilitate analysis and evaluation.87, 88 In Toulmin's model, arguments are deconstructed into unique component parts of a larger cohesive unit.

• A claim is a standpoint or opinion on a particular matter taken by an arguer which serves as the point of departure for argumentation.
• Claims are supported by evidence which Toulmin labels data.
• However, an arguer must elaborate on how or why particular data support the stated claim. This elaboration is known as a warrant, which provides justification for use of particular data to substantiate a claim. In other words, a warrant provides a bridge between a claim and its supporting data.52 

The data-warrant-claim unit forms the backbone of Toulmin's argumentation structure, though there are other components such as 

• backings (evidence to support a warrant), 
• qualifiers (limitations or restrictions on the universality of a claim), and 
• rebuttals (pre-emptive or reactive responses to counterarguments).

Toulmin의 모델에서, 타당성validity은 영장warrant이 데이터data에서 청구claim로의 도약을 적절하게 정당화한다는 것을 증명하는 데 달려 있다. 그는 유사한 주장 구조가 관련 학문이나 분야field에 관계없이 사용될 수 있다고 믿었다. 따라서, 인수 구조와 인수를 분석할 수 있는 일반적인 절차는 [분야-독립적field independent]이다. 그러나 툴민은 타당성의 많은 측면이 [분야 의존적field-dependent]이라고 믿었는데, 이는 논증이 관련 분야의 규범, 가치, 기준을 사용하여 평가되어야 한다는 것을 의미한다. 이를 위해 툴민은 타당성을 설명할 때 방어 가능, 수용 가능, 견실함 등의 용어를 사용한다. 그러한 [결정을 내리는 청중]은 논쟁에 참여하는 특정 개인이나 집단 또는 논쟁에 관여하지 않지만 그럼에도 불구하고 [판단을 내릴 수 있는 구경꾼onlooker]일 수 있다.
In Toulmin's model, validity hinges on demonstrating that the warrant adequately justifies the leap from data to claim. He believed that similar argument structures could be used regardless of the relevant discipline, or field.86 Thus, argument structure and the general procedure by which arguments could be analysed are field independent. However, Toulmin believed that many aspects of validity are field dependent, meaning that arguments should be evaluated using the norms, values, and criteria of the relevant field. To that end, Toulmin uses terms such as defensible, acceptable, and sound when describing validity. The audience who levies such determinations can be a specific person or group participating in the argument or an onlooker who is not involved in the argument but can make a judgement nonetheless.

HPE의 평가 관행에 대한 [비공식 논리]의 실제적 함의는 교육 프로그램 리더가 논증의 [주장, 데이터, 영장 및 후원]을 게시하는 데 명확하게 signposting함으로써, 이해 당사자들이 시간 가변적인 승진 결정의 타당성을 결정하기 위해 [더 정밀한 조사가 필요한 추론을 명확하게 식별할 수 있도록 하는 것]을 포함한다. Claim이 수용되면, 이것이 진급 결정을 알리는 평가 프로그램과 관련된 다른 주장에 대한 [데이터data 또는 보증서warrant]가 됩니다. 따라서, 시간 변수 결정을 지원하기 위해 명확하게 레이블링된 논쟁의 웹이 형성될 수 있다. 이 웹은 현장 의존적일 것이며, 다른 분야에서는 반드시 그렇지는 않지만 HPE와 관련된 허용 가능성과 건전성 기준을 사용하여 평가될 것이다.
Practical implications of informal logic for assessment practices in HPE include training programme leaders clearly signposting the claims, data, warrants, and backings of their argument, allowing stakeholders to more clearly identify the inferences needing scrutiny to determine the validity of time-variable promotion decisions. Accepted claims then become data or warrants for other arguments related to the programme of assessment informing promotion decisions. Thus, a clearly labelled web of argumentation could be formed to support time-variable decisions. This web would be field dependent, meaning that it would be evaluated using acceptability and soundness criteria that are relevant in HPE, though not necessarily in other disciplines.

4 고찰
4 DISCUSSION

우리는 [비공식 논리]와 [새로운 수사학]이 HPE에서 타당성 주장에 대한 우리의 이해를 심화시킬 수 있는 가능성을 가진 주장 이론이라고 주장한다. 두 접근법 모두 [논쟁에서 맥락의 중요성]을 인정하고, [맥락화되고 실용화된 줌보의 타당성 개념화]와 일치한다.89, 90 우리는 HPE의 타당성 관행이 어떤 특정한 방향에 결합되어야 한다고 주장하는 것이 아니다. 대신, 우리는 우리의 분야가 유용하고 상호적인 관계로부터 이익을 얻을 수 있다고 제안한다. HPE 검증 관행과 확립된 논증 이론 사이에서.  예를 들어, Cook과 Hatala는 Kane의 프레임워크를 사용하여 HPE에서 검증 작업을 수행할 수 있는 우수한 실무 지침을 제공한다.

We contend that informal logic and new rhetoric are theories of argumentation that hold promise to deepen our understanding of validity argumentation in HPE. Both approaches acknowledge the importance of context in argumentation and align with Zumbo's conceptualization of validity as contextualised and pragmatic.89, 90 We are not asserting that HPE's validity practices should be wedded to any particular orientation; instead, we propose that our field could benefit from a useful, reciprocal relationship between HPE validation practices and established argumentation theories.91 For example, Cook and Hatala provide an excellent practical guide for undertaking validation work in HPE using Kane's framework.8 

우리는 다음에 대한 고려를 포함함으로써 이 가이드를 강화할 것을 제안한다. 

• 주장이 누구에게 지시되어야 하는지(청중),
• 추론(구조) 내에서 그리고 추론(구조) 사이에 주장을 구성하고 서명하는 방법, 또는
• 주장이 평가되어야 하는 방법(표준)

We suggest enhancing this guide by including considerations of

• to whom an argument should be directed (audience),
• how to organise and signpost arguments within and between inferences (structure), and/or
• how an argument should be evaluated (standards).

후자에 관해서는 쿡과 하탈라는 새로운 수사학과 비공식 논리를 동시에 인용하는 듯한 언어를 사용하며, 타당성 주장은 "다른 사람들을 설득"하려는 시도와 동시에 증거의 "관련성, 품질, 폭"이 중요하다는 점에 주목한다. 논쟁 분야에서 다양한 지향의 의미, 범위 및 효용성에 대해 토론하는 전통 내 및 다른 학자들과 함께 결정적인 경계가 거의 없는 것처럼, 우리는 HPE가 하나의 주장 지향argumentation orientation으로 스스로를 고립시키지 말아야 한다고 제안한다. HPE 연구원들은 다양한 전통에서 어떤 것을 기반으로 하여 타당성에 대한 우리 분야의 이해를 진전시키는 데 가장 도움이 될 수 있다. 따라서, 우리는 HPE가 [새로운 수사학]과 [비공식 논리]의 측면을 모두 사용하여, 타당성 논쟁에서 청중, 주장 구조 및 평가 표준에 대한 이해를 심화함으로써 이익을 얻을 것이라고 믿는다.
With regard to the latter, Cook and Hatala use language that seems to invoke both new rhetoric and informal logic, noting that validity arguments attempt to “persuade others” while also noting that the “relevance, quality, and breadth” of evidence is important. Just as there are few definitive boundaries in the field of argumentation, with scholars within and across traditions debating the meaning, scope, and utility of various orientations, we suggest that HPE should not silo itself into one argumentation orientation. HPE researchers can draw from various traditions based on which will be most helpful to move our field's understanding of validity forward. Therefore, we believe HPE would benefit from using aspects of both new rhetoric and informal logic to deepen our understanding of audience, argument structure, and evaluation standards in validity argumentation.

4.1 HPE 타당성 주장의 대상자를 정의하는 새로운 수사
4.1 New rhetoric to define HPE validity argumentation's audience

HPE의 새롭고 성장하는 담론은 "사회적 필수impretative로서의 타당성"이다. 그것은 사회와 학습자에 대한 책임감을 강조한다. 다시 말해, HPE 타당성 논쟁은 이해당사자의 요구에 집중된다. [비공식 논리]는 논쟁에서 청중의 중요성을 인식하지만, [새로운 수사법]과 같은 정도는 아니다. [새로운 수사학]은 청중 가치를 논쟁의 중심에 두며, 이해 관계자들과 더 넓은 HPE 커뮤니티 모두를 더 잘 참여시킴으로써 HPE가 완수하도록 요청되고 있는 사회적 요구를 더 잘 충족시키는 데 도움이 될 수 있다.
A new and growing discourse in HPE is that of “validity as social imperative,”4, 17 which emphasises accountability to society and learners. In other words, HPE validity arguments centre on the needs of our stakeholder audiences. Informal logic recognises the importance of audience in argumentation, but not to the same degree as new rhetoric.92 New rhetoric places audience values at the centre of argumentation, and may help us better satisfy the social imperative that HPE is being called to fulfil by better engaging both stakeholders and the broader HPE community.

앞에서 언급한 바와 같이, [새로운 수사학적 주장]은 특정 청중 또는 보편적인 청중을 향할 수 있다. HPE가 타당성 주장에 [새로운 수사학적 접근법]을 채택하기 위해서는, 우리는 청중을 더 잘 정의할 필요가 있을 것이다. 현재 많은 공식적인 HPE 타당성 주장은 저널 검토자, 편집자 및 독자가 청중 역할을 하는 동료 검토 출판물의 형태로 만들어진다.

• [저널 독자]들은 출판계에서 가장 중요한 청중일 것이다. 그러나 독자들은 (편지나 해설을 쓰는 극소수의 경우를 제외하고) 대화식 청중의 형태를 나타낸다. 그것은 그들의 가치를 알 수 있거나 그들의 판단이 공유될 수 있는 정도를 제한한다. 
• [검토자와 편집자]는 다른 HPE 학자를 대표하는 [특정 청중]의 역할을 할 수도 있고, 정보에 근거한 판단을 부과하기에 충분한 지식을 가진 유능하고 합리적인 사람들을 대표할 가능성이 가장 높기 때문에 [보편적 청중]의 대표자로 간주될 수도 있다. 사실, 그들은 두 가지 역할을 모두 수행할 수 있습니다. 

As mentioned previously, new rhetoric arguments can be directed towards a particular audience or a universal audience. For HPE to adopt a new rhetoric approach to validity argumentation, we would need to better define our audiences. Currently, many formal HPE validity arguments are made in the form of peer-reviewed publications, with journal reviewers, editors, and readers serving as audiences.

• Journal readers may be the most important audience in the publication world. However readers represent a form of noninteractive audience93 (with the exception of the very few who write letters or commentaries), which limits the degree to which their values can be known or their judgements shared.
• Reviewers and editors could serve as a particular audience representing other HPE scholars, or they could be considered a representation of a universal audience because they are most likely to represent competent and reasonable people with sufficient knowledge to levy informed judgements. They could, in fact, serve both roles.

그러나, 현재 검토자와 편집자는 반드시 타당성 주장이 허용 가능한지 또는 그럴듯한지에 대해 명시적인 판단을 내리지 않고 있다. 주어진 기관이나 프로그램의 맥락에서는 확실히 그렇지 않다. 그보다 , 리뷰어와 에디터는 원고가 HPE 커뮤니티에서 더 넓은 학문적 논의를 진전시키는지에 대한 결정을 내리고 있다. 검토자와 편집자는, 타당성 주장이 부적절하다는 것을 발견할 수 있지만, 원고가 아마도 혁신적인 생각, 방법론적 발전 또는 새로운 결론의 측면에서 저널의 독자들에게 약간의 이익을 제공하기 때문에 여전히 출판을 권고할 수 있다. 따라서, [새로운 수사학]은 (특정 청중으로서) 검토자와 편집자가 출판을 위해 제출된 타당성 주장의 타당성을 명시적으로 판단할 것을 강제할 것이다. 이는 아마도 출판 시 독자에게 판단을 signal하는 방법 중 하나이다.

However, currently reviewers and editors are not necessarily making explicit judgements on whether a validity argument is acceptable or plausible, and certainly not within the context of a given institution or programme. Rather, they are making a determination of whether a manuscript, in toto, moves the broader scholarly discussion forward in the HPE community. Reviewers and editors could, in fact, find a validity argument to be inadequate but still recommend publication because the manuscript provides some benefit to the journal's readers, perhaps in terms of innovative thinking, methodological developments, or novel conclusions. Thus, new rhetoric would compel reviewers and editors—were they to be identified as a particular audience—to explicitly judge the plausibility of validity arguments submitted for publication, perhaps with a way to signal their judgement to readers upon publication.

출판과 함께 발생하는 제한된 청중 상호작용은 HPE가 학술지를 넘어 타당성 논쟁을 확장하도록 의무화할 것이다. HPE는 [학습자, 프로그램 리더, 인가자, 인증자, 기관 및 지급인]을 포함한 여러 이해당사자를 보유하고 있다. 이러한 이해관계자 중 다수는 자신의 맥락과 관련된 타당성 증거가 발표된 기사를 결코 읽지 않을 수 있다. 평가 설계자는 동료 검토 출판물을 포함하지 않는 메커니즘을 통해 이러한 특정 청중에게 주장이 타당한지 확인할 필요가 있다. [비공식 논리]가 논증을 생산물로 제시하는 반면, [새로운 수사학]은 논증을 논증자가 청중과 함께 개발하는 활동 또는 서비스라고 설명한다. 이러한 [활동 기반 지향activity-based orientation]은 Cook과 Hatala의 [프로세스로서의 타당화validation]에 대한 설명과 일치하며, HPE에서 점차 관심을 받고 있는 [공동 생산]의 개념과 일치합니다. 공동 생산에서 소비자의 지식, 경험, 의견은 제품의 수동적 소비보다는 서비스의 창출에 영향을 미친다. 새로운 수사학의 렌즈를 채택하면 HPE가 서비스하고자 하는 사람들의 요구를 가장 잘 충족시키기 위해 일하는 타당성 주장자 및 청중(즉, 이해관계자)과 시간이 지남에 따라 논쟁의 공동생산이 이루어질 수 있다.
The limited audience interaction that occurs with publication would oblige HPE to expand validity argumentation beyond the pages of journals. HPE has several stakeholders in assessment decisions including learners, programme leaders, accreditors, certifiers, institutions, and payors. Many of these stakeholders may never read the articles in which validity evidence relevant to their context is published. Assessment designers would need to ensure that arguments are plausible to these particular audiences, likely via mechanisms that do not involve peer-reviewed publication. Whereas informal logic presents argument as a product, new rhetoric entreats argumentation to be an activity, or service, that an arguer develops with an audience.53 This activity-based orientation aligns with Cook and Hatala's description of validation as a process,8 and with the concept of co-production, which is gaining traction HPE.94, 95 In co-production, the consumers' knowledge, experience, and opinions influence the creation of a service rather than passive consumption of a product.96, 97 Adopting a lens of new rhetoric could the coproduction of arguments over time with validity arguers and audiences (i.e. stakeholders) working to best meet the needs of those who HPE aims to serve.

4.2 HPE 유효성 주장 구조를 명확히 하기 위한 비공식 논리
4.2 Informal logic to clarify HPE validity argumentation structure

HPE 학자들은 정기적으로 메시크와 케인의 프레임워크를 사용하여 타당성 증거를 구성하지만, [완전한 주장 구조]를 명시하지는 않는다. 실제로 케인은 툴민의 주장 구조(영장, 데이터, 지원, 반박)를 호출하지만, 이 모델은 언어 테스트와 같은 다른 분야에서 주로 나타났다. Toulmin의 모델은 HPE에 확인되지 않는 존재이며, 말뭉치 내에서 거의 표면화되지 않는다. 케인의 프레임워크는 논쟁자들이 [평가 데이터의 의도된 해석과 사용]을 명확히 진술할 것을 요구하는데, 이것은 주장 주장argument claim의 역할을 한다. 

HPE scholars regularly organise validity evidence using frameworks from Messick and Kane,2, 3 but do not make full argument structure explicit. Indeed, Kane invokes Toulmin's argumentation structure (warrants, data, backings, rebuttals),27, 29, 47, 50 though this model has mostly appeared in other fields such as language testing.98 Toulmin's model exists as a cryptid in HPE, rarely (if ever) surfacing within our corpus. Kane's framework requires arguers to clearly state an intended interpretation and use of assessment data,6, 29 which serves as the argument claim.

그러나, HPE 학자들은 케인의 추론 사슬을 단순히 사용하는 것이 아니라, 특히 상당한 정밀 조사가 필요한 고위험 의사결정의 경우 분석을 강화하기 위해 주장의 전체 구조를 명시적으로 만들 수 있다. 사실 케인의 추론의 사슬에는 몇 가지 주장arguments이 내재되어 있을 가능성이 높지만, 명시적이고 구조적인 보고가 없다면 간과될 수 있다. 프로그램적 평가에서 발견될 가능성이 있는 [복잡한 타당성 주장]은 어떻게 [확립된 주장]이 더 긴 일련의 논쟁에서 [후속 주장에 대한 데이터나 영장warrant이 되는지]를 보여주면서 계획될 수 있다.

However, rather than simply using Kane's chain of inferences, HPE scholars could make explicit the full structure of their arguments to augment analysis, particularly for high-stakes decisions that require significant scrutiny. In fact, there are likely to be several arguments embedded within Kane's chain of inferences,28 which may go overlooked without explicit and structured reporting. Complex validity arguments that are likely to be found in programmatic assessment could be mapped out, showing how an established claim becomes data or a warrant for a subsequent argument in a longer chain of argumentation.

타당화 과정이 얼마나 많은 구조를 가져야 하는지에 대한 타당성 학자들 사이에 논쟁이 있지만, 현재 HPE는 타당성 주장을 구성, 식별 또는 서명 게시하기 위한 명확하거나 합의된 접근법이 없다. 종종 "주장arguments"라고 불리는 것은 명확한 주장 구조는 없는 데이터의 집합이다. Toulmin의 모델은 이해관계자들에게 증거를 제시하고, 해석하고, 우선순위를 정하고, 논쟁하는 데 도움이 될 수 있다.

Though there is debate amongst validity scholars as to how much structure the validation process should have,44 currently HPE has no clear or agreed-upon approach for organising, identifying, or signposting validity arguments. Often what are labelled “arguments” are collections of data that lack an explicit argument structure. Toulmin's model could help to present, interpret, prioritise, and argue the evidence to stakeholders.

 

4.3 타당성 주장을 평가하기 위한 표준을 설명하기 위한 비공식 논리 또는 새로운 수사
4.3 Informal logic or new rhetoric to elucidate standards for evaluating validity arguments

[비공식 논리]나 [새로운 수사학]도 보편적 진실을 제공한다고 주장하지는 않지만, 겉으로 보기에 끝이 없어 보이는 검증 노력이 언제 방어 가능한 정지점stopping point에 도달했는지에 대한 정보를 제공할 수 있다(적어도 새로운 주장이 제기되거나 새로운 청중이 고려되기 전 까지는).

• [새로운 수사학]은 설득과 청중의 집착을 추구한다.
• [비공식 논리]는 논증자의 학문이나 분야에 의해 정의되는 관련성, 충분성, 수용성 측면에서 논증적 타당성을 추구한다.

두 렌즈 모두 HPE 내에서 잘 작동합니다. 그러므로, 어떤 것을 사용할 것인가를 선택하는 것은 개인의 철학적 세계관에 달려있을 수 있다. 
Neither informal logic nor new rhetoric claim to provide a universal truth, but they could inform when seemingly unending validation efforts have reached defensible stopping points (at least until new arguments are put forth or new audiences are considered). New rhetoric seeks persuasion and audience adherence. Informal logic seeks argument cogency, often in terms of relevance, sufficiency, and acceptability as defined by the arguer's discipline or field. Both lenses would work well within HPE; therefore, choosing which to use may depend on one's philosophical worldview.

비공식 논리는 [후기 실증주의 세계관]과 잘 일치할 수 있는 반면, 새로운 수사학은 [구성주의나 비판적 현실주의] 관점과 더 잘 일치할 수 있다. 그러나, 비공식 논리와 새로운 수사학은 특정한 세계관에 제한되지 않는다. HPE의 이질적인 철학적 세계관을 고려할 때, 모든 주장자와 청중에게 맞는 하나의 주장 지향성을 기대하는 것이 합리적인가? 아마 아닐 겁니다. 그러나 우리는 타당성 작업을 수행할 때 우리의 주장 패러다임을 분명히 인정해야 하며, 특히 청중들의 주장도 고려해야 한다. 그렇게 하면 HPE 검증 작업에서 충돌을 일으킬 수 있는 세계관과 주장 패러다임의 오해를 피하는 데 도움이 될 수 있다. Tavares 외 연구진은 평가에서 호환성 원칙compatibility principle을 다음과 같이 설명했다. "평가 계획 사이에 또는 평가 계획 내에 서로 다른 철학적 입장이 존재할 수 있으며, 이러한 입장이 평가 설계자에게 특정 아이디어와 가정을 위임한다는 것을 인식할 의무" 우리는 호환성 원칙이 HPE 타당성에 짜여진 논쟁의 철학에도 적용된다고 믿는다.

Informal logic may align well with post-positivist worldviews,99, 100 whereas new rhetoric likely aligns better with constructionist or critical realist views.101, 102 However, informal logic and new rhetoric are not restricted to any specific worldview; each will manifest in different ways when employed with different philosophical beliefs. Given the heterogenous philosophical worldviews in HPE, is it reasonable to expect one argumentation orientation to fit all arguers and audiences? Likely not. But we should explicitly acknowledge our argumentation paradigms when undertaking validity work, and specifically consider our audience's as well. Doing so can help avoid misunderstanding of worldviews and argumentation paradigms that could cause conflict in HPE validation work.103 Tavares et al described a compatibility principle in assessment as “the obligation to recognize that different philosophical positions can exist between and within assessment plans and that these positions commit assessment designers to particular ideas and assumptions.”104 We believe the compatibility principle also applies to the philosophies of argumentation woven into HPE validity.

4.4 HPE 평가 검증에서 논증을 사용하는 나머지 과제
4.4 Remaining challenges of using argumentation in HPE assessment validation

우리는 비공식 논리와 새로운 수사법이 HPE 타당성 주장을 위한 유용한 방향이라고 믿지만, 몇 가지 과제는 여전히 해결되어야 한다.

• 첫째, 어떤 주장 방향이 학습자, 프로그램 리더, 인가자 및 인증자와 같은 HPE 이해 관계자에게 공명하는지에 대해서는 거의 알려져 있지 않다. 향후 연구는 이러한 그룹들이 가질 수 있는 잠재적인 주장 가정을 발견하기 시작할 수 있다.
• 둘째, 여러 청중의 가치에 영합하는 것은 타당성 논쟁을 새로운 수사 패러다임에서 벅찬 과제로 만들 수 있다. 각 이해관계자 그룹은 평가와 타당성에 대한 가치 및 이해도가 다를 수 있습니다. 교육자들이 각 집단마다 고유한 타당성 주장이나, 설득력 있고 모두가 받아들일 수 있는 단일 주장을 개발할 수 있을지는 불분명하다.
• 셋째, 특히 청중 가치와 평가 기준과 관련하여 HPE 내의 헤게모니 및 형평성에 대한 검증에 비공식 논리 또는 새로운 수사학을 주입하는 영향을 고려하고 연구해야 한다.

Though we believe informal logic and new rhetoric are useful orientations for HPE validity argumentation, several challenges must still be addressed.

• First, little is known about which argumentation orientations resonate with HPE stakeholders such as learners, programme leaders, accreditors, and certifiers. Future research could begin to unearth the latent argumentation assumptions that these groups may carry.
• Second, catering to the values of multiple audiences could make validity argumentation a daunting task in a new rhetoric paradigm. Each stakeholder group likely has different values and understandings of assessment and validity. It is unclear if educators can develop a validity argument that is unique to each group, or a single argument that is persuasive and acceptable to all.
• Third, we must consider and study the impact of infusing informal logic or new rhetoric into validation on hegemony and equity within HPE, particularly with regard to audience values and evaluative standards.

Addey 등은 "민주적 공간"을 요구하였으며, 그래야만 "정당하게 다양한 주장과 의도가 인식, 고려, 조립 및 표시될 수 있다." 고 말하였다. 그런 민주적 공간을 만들면 모든 이해관계자들의 목소리가 확실히 들릴 수 있다. 마지막으로, 우리는 Toulmin의 주장 모델이 HPE 유효성 주장의 분석과 평가를 개선할 수 있다고 믿지만, 이 가설을 테스트하기 위해서는 경험적 연구가 필요하다. HPE 커뮤니티가 이러한 한계와 과제를 탐구할 때까지 평가 타당성 주장은 사례 연구의 경우와 같은 프로그램의 블랙박스로 남을 것이다.

Addey et al call for “democratic spaces” in which “legitimately diverse arguments and intentions can be recognized, considered, assembled, and displayed.”105 Creating such democratic spaces can ensure that all stakeholder voices are heard. Finally, although we believe Toulmin's argumentation model could allow for improved analysis and evaluation of HPE validity arguments, empirical studies are needed to test this hypothesis. Until the HPE community explores these limitations and challenges, assessment validity argumentation will remain a black box for programmes such as the one in our case study.

4.5 한계
4.5 Limitations

우리의 저자 그룹은 HPE 타당성 주장에 가장 유용한 비공식 논리와 새로운 수사학을 선택했지만, 우리가 선택하지 않은 몇 가지 다른 주장 지향이 있다(작은 선택 사항은 표 1에 제시됨). 우리는 다른 학자들이 HPE에 이러한 다른 방향들이 특히 이산적 구조(형식 변증법 및 실용적 변증법)를 중시하거나 실증주의 세계관을 가질 경우 더 유용할 수 있다는 것을 인정한다. 우리는 또한 논쟁 이론의 길고 풍부한 역사를 고려할 때, 우리가 모든 방향과 접근방식을 완전히 검토하는 것은 불가능했다는 것을 인정한다.
Though our author group selected informal logic and new rhetoric as most useful for HPE validity argumentation, there are several other argumentation orientations that we did not select (a small selection is presented in Table 1). We acknowledge that other scholars might find these other orientations more useful to HPE, particularly if they value discursive structure (formal dialectics and pragma-dialectics) or have positivist worldviews (formal logic). We also acknowledge that given the long and rich history of argumentation theory, it was impossible for us to fully review every orientation and approach therein.

4.6 결론
4.6 Conclusion

HPE 학자들은 Messick5 또는 Kane의 일반적으로 사용되는 프레임워크 내에서 조직된 다양한 평가 결정에 대한 강력한 타당성 증거를 발표했다. 비록 이것들이 타당성 증거를 구성하는 방법의 훌륭한 예를 제공하지만, 다음의 것들을 명시적으로 설명하지 않는다.

• 누가 증거를 평가해야 하는가? 
  
• (증거뿐만 아니라) 논쟁이 취해야 할 구조는 무엇인가?
  
• 평가를 위해 어떤 기준을 사용해야 하는가?

이러한 누락은 [증거]가 [주장]과 동일하고, [증거]를 단순히 배치함으로써 타당성 판단이 내려졌다는 개념을 전파한다. 이 원고에서는 비공식 논리와 새로운 수사법이 평가에서 타당성을 가지고 HPE의 진행 중인 작업을 진전시키는 데 어떻게 도움이 될 수 있는지 자세히 설명하였다. 각 이론은 모호하고 비활성적인 HPE 평가 타당성 증거를 더 명확하고 생동감 있는 타당성 주장으로 변환하기 위한 여지를 제공한다.

HPE scholars have published robust validity evidence13, 38-40, 106 for various assessment decisions organised within the commonly used frameworks of Messick5 or Kane.27 Although these provide excellent examples of how to organise validity evidence, they do not explicitly describe

• who should evaluate the evidence (audience),
• what structure the argument (not just the evidence) should take, and
• what criteria should be used for evaluation.

This omission propagates the notion that evidence equals argument and that a validity judgement has been rendered by simply laying out the evidence. In this manuscript, we have detailed how informal logic and new rhetoric can help advance HPE's ongoing work with validity in assessment. Each theory offers affordances for transforming ambiguous, inert HPE assessment validity evidence into clearer, animate validity arguments.

 

---

Med Educ. 2022 Jul 19.

 doi: 10.1111/medu.14882. Online ahead of print.

How argumentation theory can inform assessment validity: A critical review

Benjamin Kinnear 1 2, Daniel J Schumacher 1, Erik W Driessen 3, Lara Varpio 4

Affiliations collapse

Affiliations

1Department of Pediatrics, University of Cincinnati College of Medicine, Cincinnati, Ohio, USA.

2School of Health Professions Education (SHE), Maastricht University, Maastricht, The Netherlands.

3School of Health Professions Education Faculty of Health, Medicine and Life Sciences of Maastricht University, Maastricht, The Netherlands.

4Uniformed Services University of the Health Sciences, Bethesda, Maryland, USA.

PMID: 35851965

DOI: 10.1111/medu.14882

Abstract

Introduction: Many health professions education (HPE) scholars frame assessment validity as a form of argumentation in which interpretations and uses of assessment scores must be supported by evidence. However, what are purported to be validity arguments are often merely clusters of evidence without a guiding framework to evaluate, prioritise, or debate their merits. Argumentation theory is a field of study dedicated to understanding the production, analysis, and evaluation of arguments (spoken or written). The aim of this study is to describe argumentation theory, articulating the unique insights it can offer to HPE assessment, and presenting how different argumentation orientations can help reconceptualize the nature of validity in generative ways.

Methods: The authors followed a five-step critical review process consisting of iterative cycles of focusing, searching, appraising, sampling, and analysing the argumentation theory literature. The authors generated and synthesised a corpus of manuscripts on argumentation orientations deemed to be most applicable to HPE.

Results: We selected two argumentation orientations that we considered particularly constructive for informing HPE assessment validity: New rhetoric and informal logic. In new rhetoric, the goal of argumentation is to persuade, with a focus on an audience's values and standards. Informal logic centres on identifying, structuring, and evaluating arguments in real-world settings, with a variety of normative standards used to evaluate argument validity.

Discussion: Both new rhetoric and informal logic provide philosophical, theoretical, or practical groundings that can advance HPE validity argumentation. New rhetoric's foregrounding of audience aligns with HPE's social imperative to be accountable to specific stakeholders such as the public and learners. Informal logic provides tools for identifying and structuring validity arguments for analysis and evaluation.

© 2022 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.