호환가능성 원칙: 임상역량 평가의 철학에 관하여(Adv Health Sci Educ Theory Pract. 2020)

호환가능성 원칙: 임상역량 평가의 철학에 관하여(Adv Health Sci Educ Theory Pract. 2020)
The compatibility principle: on philosophies in the assessment of clinical competence
Walter Tavares1,2 · Ayelet Kuper1,3,4 · Kulamakan Kulasegaram1,5,6 · Cynthia Whitehead1,5

 

도입
Introduction

종종 암묵적인 철학적 입장은 [역량의 본질(즉, 온톨로지)], [사람들이 역량을 어떻게 알고 이해하고 평가하게 되는지(즉, 인식론)], 그리고 [이것들이 어떻게 집합적으로 정당화될 수 있는지]에 대한 인식을 뒷받침한다. [철학적 위치]란 [평가 연구자에게 평가 문제와 해결책을 검토하기 위한 렌즈를 제공하는 일련의 인정된 가정과 헌신 또는 지적 프레임워크]를 의미합니다. 예를 들어, 평가 모델과 관련된 오류의 정도에 대한 지표로서 신뢰성을 강조하는 것은 실증주의나 사후 긍정주의와 밀접하게 일치하는 심리측정학 또는 측정 모델에 의해 영향을 받는다. 
A range of often implicit philosophical positions have come to underlie perceptions of the nature of competence (i.e., ontologies), how people come to know, understand and assess competence (i.e., epistemologies), and how these can be collectively justified. By philosophical positions we mean sets of recognized assumptions and commitments or intellectual frameworks that provide assessment scholars with lenses for examining assessment problems and solutions. For example, emphasizing reliability as an indicator of the degree of error associated with an assessment model is influenced by a psychometric or measurement model that is closely aligned with positivism or post-positivism.

철학적인 입장이 한때 평가 공동체 내에서 암묵적으로 공유된다고 가정할 수 있었던 경우, 평가 과학의 발전은 더 넓은 범위를 고려해야 한다고 제안했다(Govaerts et al. 2007; Govaerts and Vleuten 2013; Hodges 2013). 이로 인해 서술형 코멘트 이용의 증가(Brutus 2010; Hanson 등 2013; Ginsburg 등 2015)와 평가자 변동성을 그저 노이즈가 아니라 시그널로 처리해야한다는 것과 같은 혁신이 이루어졌다. 

Where philosophical positions could once have been reasonably assumed to be shared implicitly within the assessment community, advances in assessment science have suggested that a wider range be considered (Govaerts et al. 2007; Govaerts and Vleuten 2013; Hodges 2013). This has led to such innovations as the increased use of comments (Brutus 2010; Hanson et al. 2013; Ginsburg et al. 2015) and the treatment of rater variability as signal as well as noise (Gingerich et al. 2014).

존재론적 및 인식론적 입장을 정의하고 그 정렬을 보장하는 것의 중요성은 보건 직업 교육 연구 영역 내에서 명확하게 확립되었다. 그러나, 무엇이 진실이고 알 수 있는가에 대한 믿음의 범위와 사람들이 어떻게 알게 되고 이해하게 되는지에 대한 그러한 명백한 인정은 평가에서 대부분 간과되어 왔다. 이는 역량, 평가 및 정당성에 대한 평가 설계자의 신념 사이의 무의식적인 모순과 부조화로 인해 평가 학문과 실습을 훼손할 가능성이 있다. 다양한 철학적 입장을 바탕으로 한 더 넓은 범위의 평가 전략의 사용이 평가 과학을 발전시킬 것을 약속하지만, 이는 또한 실제로 그러한 전략의 호환성과 관련된 새로운 논리적이고 경험적인 문제를 제기하고 있다.

The importance of defining ontological and epistemological stances and ensuring their alignment has been clearly established within the health professions education research domain. However, such explicit acknowledgement of the range of beliefs about what is real and knowable and about how people come to know and understand has largely been overlooked within assessment. This has the potential to undermine assessment scholarship and practice due to unwitting contradictions and incongruence between assessment designers’ beliefs about competence, its assessment, and justifications. While the use of a wider range of assessment strategies drawing on a variety of underlying philosophical positions promises to advance assessment science, this is also raising new logical and empirical challenges related to the compatibility of those strategies in practice.

평가 프로그램 설계에서 철학적인 입장을 신중하게 고려하지 않을 때 적어도 세 가지 잠재적 실제 문제가 발생할 수 있다. 이는 평가 프로그램의 주요 구성 요소들, 특히 아래의 구성 요소들 사이에 오정렬이 존재할 때 도출된다.

• (a) 역량이란 무엇인가(존재론),
  
• (b) 특정 전략과 활동을 결정하는 방법(인식론)
  
• (c) 평가 프로그램으로부터 도출된 주장 또는 추론이 정당화될 수 있는 방법

At least three potential practical problems can emerge when philosophical positions are not carefully considered in the design of assessment programs. These are derived when misalignment between major components of an assessment program exist, specifically between

(a) what competence is (ontology),

(b) how specific strategies and activities are used to determine it (epistemology) and

(c) how claims or inferences derived from the assessment program can be justified.

첫째, 이러한 세 가지 평가 프로그램 구성요소에 대한 상충되는 가정과 약속과 관련된 철학적 입장의 암묵적 연결은 결과의 가능한 다중적 해석과 함께 혼란스럽고 제대로 뒷받침되지 않는 관행으로 이어질 수 있다.

둘째로, 양립가능성의 문제가 무시될 때, 철학적 입장이 행해지는 작업의 손해에 얼마나 중요한지를 무시하는 "뭐든 되는대로" 접근법이 평가를 지배할 수 있다.

셋째로, 그들의 근본적인 철학적 입장에 대한 명확성 없이 능력, 평가, 정당성에 대해 생각할 수 있는 방법들의 수가 증가하면서, 교육자들은 이러한 [철학적 위치 각각이 언제, 어떻게, 왜, 어떤 맥락에서 적절할 수 있는지], 그리고 [서로 다른 위치에 뿌리를 둔 관행이 동시에 통합될 수 있는지 또는 존재할 수 있는지]에 의문을 갖지 않게 된다.

First, the implicit linkages of philosophical positions associated with conflicting assumptions and commitments to these three assessment program components can lead to confusing and poorly supported practices with multiple possible interpretations of results. 

Second, when issues of compatibility are ignored, an “anything goes” approach can dominate assessment ignoring how philosophical positions matter to the detriment of the work being done.

Third, the increasing number of possibilities for ways to think about competence, assessment and justification without a clarification of their underlying philosophical positions leaves educators questioning when, how, why, and in what contexts each of these philosophical positions may be appropriate, and whether practices rooted in different positions can be merged or exist simultaneously.

잠재적인 발전 방법으로, 우리는 평가 과정과 그것의 정당성에 대한 근본적인 논리를 제공하는 [호환성 원칙compatibility principle] 을 제안한다. 이러한 [호환성]의 개념은 연구자들이 서로 다른 철학 지향적인 접근법들을 병합하는 것의 적합성에 대해 논의한 혼합 방법 연구의 [비호환성(비호환성)incompatibility (incommensurability)] 논문에서 채택되었다. (Howe 1988; Johnson and Onwuegbuzie 2004; Hathcoat and Meixner 2017) 

As a potential way forward, we propose a compatibility principle which provides a fundamental logic in the process of assessment and its justification. This notion of compatibility is adapted from an incompatibility (incommensurability) thesis in mixed methods research in which researchers have debated the suitability of merging different philosophically-oriented approaches (Howe 1988; Johnson and Onwuegbuzie 2004; Hathcoat and Meixner 2017).

평가에서, [호환성 원칙]은 [평가 계획 간] 및 [평가 계획 내]에 [서로 다른 철학적 입장]이 존재할 수 있다는 것을 인식해야 하는 의무를 의미하며, 이러한 입장이 평가 설계자를 특정 아이디어, 가정 및 약속에 commit하게 함을 의미한다. 이는 다음에 대한 개념화에 적용된다. 

• 역량(즉, 구인)
  
• 평가 전략(즉, 프로세스에 informing하는 guiding principle) 및
  
• 활동(예: 도구, 데이터 수집 및 분석),
  
• 정당화(예: 타당성 프레임워크의 적용) 및 해석.

In assessment, we propose that the compatibility principle refers to the obligation to recognize that different philosophical positions can exist between and within assessment plans and that these positions commit assessment designers to particular ideas, assumptions and commitments. This applies to conceptualizations of

• competence (i.e., constructs),
• assessment strategies (i.e., guiding principles informing processes) and
• activities (e.g., tools, data collection and analyses), as well as
• justification (e.g., application of validity frameworks) and interpretation.

 

우리의 주요 관심사는 (여러 다른 위치 내에서 데이터를 생성하는 데 종종 사용될 수 있기 때문에 사용되는) 평가 도구나 역학보다는, [철학적으로 정보에 입각한 평가의 논리, 가정 및 그 약속]이다. 우리는 이러한 근본적인 철학적 입장과 그들의 제정법이 평가 계획/프로그램의 적절성을 결정한다고 주장한다. 

Our primary concern is the logic of a philosophically-informed assessment, its assumptions, and its commitments, rather than with the assessment tools or mechanics being used, as the latter can often be used to produce data within multiple different positions. We argue that it is these underlying philosophical positions and their enactment that determines the appropriateness of an assessment plan/program.

여기서 우리는 주로 [평가 과학assessment science]의 현재 상태와 관련이 있다(실체론적 및 인식론적 정렬에 대한 유사한 초점은 평가에 대한 연구를 포함하여 연구 과정에서 엄격성에 대해 연구하고 가르치는 사람들에게 다소 오래된 개념이라는 것을 인지하고 있다). 우리의 프레임이 이와 다른 것은, 비록 평가 과학에서 연구 프로세스를 차용하였음에도, [(현재) 평가와 그 구성 요소 부분에서의 위치position의 다양성이 증가하는 맥락]에서, [철학적 위치의 역할과 관련성]이 아직 [좋은 평가를 위한 기준]을 구체화할 때 기본적인 것으로 인식되지 않았다는 점에서 다르다. 
Here we are primarily concerned with the state of assessment science (while recognizing that an analogous focus on ontological and epistemological alignment is a rather old concept to those who study and teach about rigor in the research process, including for research about assessment). However, while borrowing from the research process, our framing is different in that the role and relevance of philosophical positions in the context of a growing diversity of positions in assessment and its component parts has yet to be recognized as fundamental when specifying criteria for good assessment (Norcini et al. 2011; Eva et al. 2016; Norcini et al. 2018).

 

평가 프로그램의 구성요소에 정보를 제공하는 철학적 위치의 복수성
Plurality in the philosophical positions informing components of assessment programs

역량
Competence

[역량의 개념화]가 풍부한 이유는 부분적으로 그들에게 정보를 주는 철학적 위치 때문이다.

Conceptualizations of competence are plentiful in part because of the philosophical positions that inform them. 

[역량]이 [존재하며, 잠재된 특성latent trait으로 볼 수 있으며, 제한된 수의 대표 차원을 사용하여 측정할 수 있다]고 여기는 존재론적 위치를 고려하십시오.(Kane 1992; Epsein and Hundert 2002) (적용된 예로서 Fletcher 외 2003; Norcini 외 2003; Kim 외 2006; Tavares 외 2012 참조). 이러한 견해는 비록 사회적 맥락에 따라 다소 다르게 집행되더라도 진리의 개념인 실증주의, 후기 실증주의의에 대해 말하는 철학적 입장과 일치한다.

Consider the ontological position that competence exists, can be viewed as latent traits, and can be measured using a limited number of representative dimensions.(Kane 1992; Epstein and Hundert 2002) (see Fletcher et al. 2003; Norcini et al. 2003; Kim et al. 2006; Tavares et al. 2012 as applied examples). This view aligns with philosophical positions that speak of concepts of truth—positivism, post-positivism—even if enacted differently across social contexts. 

그러나 이러한 존재론적 입장은 더 이상 보건 직업 교육 내에서 보편적으로 유지되지 않는다. 일부는 후기 실증주의가 역량의 복잡성을 과소평가할 수 있다고 주장하며, 다른 철학적 입장에 의해 informed된 대안적 이해를 요구한다(Govaerts et al. 2007; Hodges 2013; Bartels et al. 2017). 그들은 [역량이 대인관계적이고, 사회적 위치에 있으며, 공동 구성되며, 직접적으로 측정할 수 없는 구조가 있다]고 제안한다. 이러한 관점에서 [제한된 수의 차원]만으로는 역량을 이해하는 데 필요한 모든 관련 속성이나 요소를 잘 나타내지 못한다.

• 예를 들어, 쿠퍼 외 연구진. (2007) 해석론자/구성론자 온톨로지를 보유하고, 역량이 문맥에 얽매이고, 상황적, 대인관계 및 사회적으로 구성되었다고 기술했다(Kuper 등 2007).
• 마찬가지로, 호지스와 링가드(2013)는 [특정한 시간과 장소에서 유능한 전문가가 되는 것이 무엇인지]에 대한 문화적, 정치적, 사회적, 행동적, 경제적 표현에 의해 "역량"이 형성되는 방식을 설명했다. 

However, these ontological positions are no longer universally-held within health professions education. Some have argued instead that post-positivism may underestimate the complexities of competence, calling for alternative understandings informed by different philosophical stances (Govaerts et al. 2007; Hodges 2013; Bartels et al. 2017). They suggest there are constructs for which competence is interpersonal, socially situated, co-constructed, and not directly measurable. In this view, a limited number of dimensions fails to represent well all the relevant attributes or factors necessary to understand competence.

• For instance, Kuper et al. (2007) holding an interpretivist/constructivist ontology, described competence as context-laden, situational, interpersonal and socially constructed (Kuper et al. 2007).
• Similarly, Hodges and Lingard (2013) described how “competence” is shaped by cultural, political, social, behavioral and economic representations of what it is to be a competent professional at a particular time and place (Hodges and Lingard 2013). 

종합하면, 역량은 [측정 가능한 대표 차원을 갖는 진실하고 잠재된 속성]을 반영하거나, [사회적 상호작용에서 파생되고 매개되어 공동 구성되는 것]으로 사용될 수 있다.

Competence can therefore be both as reflective of true, latent attributes with measurable representative dimensions and/or as co-constructions derived from and mediated by social interactions.

평가 전략
Assessment strategies

다른 철학적 입장은 또한 [역량이 어떻게 평가되어야 하는지]에 대해 우리를 다르게 인도한다. 이것은 기초적인 존재론적 가정과 구조와 그것의 평가를 알리는 약속 사이의 인식론적 짝짓기 또는 정렬의 유형을 포함한다. 예를 들어, 우리가 가지고 있는 근본적인 철학적 입장에 따라, 다중 샘플링의 목적, 의미 있는 데이터 출처, 평가자가 평가 과정에 참여하는 방법 및/또는 평가 프로그램의 방법이나 품질을 해석하는 방법에 대해 서로 다를 수 있다. [하나의 존재론적 및 인식론적 쌍]에서 높은 수준의 측정 오류를 발생시키는 것으로 볼 수 있는 평가 전략은, 정확히 [다른 존재론적 및 인식론적 쌍]에서 가장 유용한 유형의 활동일 수 있다. 즉, 교육자/연구자가 역량을 근본적으로 다른 방식으로 이해한다면, 어떤 평가 활동은 둘 중 하나 또는 다른 것과 더 잘 연계될 수 있다.

Different philosophical positions also guide us differently as to how competence should be assessed. This involves a type of epistemic pairing or alignment between the underlying ontological assumptions and commitments informing a construct and its assessment. For instance, depending on the underlying philosophical position(s) we hold, we may disagree on the purpose of multiple sampling, what data sources serve as meaningful, how raters are to engage in the assessment process, and/or how we should interpret the methods or quality of an assessment program. Assessment strategies that may be viewed as generating high levels of measurement error under one ontological and epistemological pairing may be precisely the kinds of activities that would be most informative in another. In other words, if educators/researchers understand competence in fundamentally different ways, it follows that some assessment activities may be better aligned with one or the other.

예를 들어, Whitehead 등(2015)은 역량을 존재론적으로 [사회적으로 구속되고 공동 구성된 것]으로 포지셔닝했다(즉, 구성주의와 일치한다). 따라서 민족지적 평가 활동을 사용하기 위한 후속 권고는 맥락상 일련의 복잡한 사회 구조로서 역량을 평가해야 하기 때문에 [논리적으로 인식론적 호환성]을 충족한다(Whitehead et al. 2015). 그러나 선택된 평가 활동과 관련된 [중립성neutrality의 정도]를 고려할 때 인식론적 쌍에 약간의 유연성이 존재한다. 
For example, Whitehead et al. (2015) positioned competence ontologically as socially bound and co-constructed (i.e., consistent with constructionism). Their subsequent recommendations to use ethnographic assessment activities therefore meets logical epistemic compatibility because of a need to assess competence as a series of complex social constructs in context (Whitehead et al. 2015). However, some flexibility in epistemic pairings exists when one considers the degree of neutrality associated with selected assessment activities.

예를 들어, [텍스트의 사용]은 인식론적으로 중립적인 것으로 간주될 수 있다. [역량을 포착하거나 반영하기 위하여 단어를 수집하는 기능적 활동]이 두 가지 이상의 방식으로 분석될 수 있기 때문이다: 가능한 분석 방법으로는 고전적인 콘텐츠 분석(즉, 단어 사용 횟수 계산)도 있지만 theory-informed 귀납적 및 해석적 비판적 접근법(Lincoln 및 Guba 1985)도 가능하다. 따라서 텍스트 데이터 자체가 어느 정도의 중립성을 허용한다. 따라서 평가 활동과 전략이 역량과 "중립성"의 정도에 대한 존재론적 위치와의 조정은 모두 관련이 있다.

For example, the use of text might be regarded as epistemologically neutral because the functional activity of gathering words intended to capture or reflect notions of competence may be analyzed in more than one way: analytic possibilities range from classical content analysis (i.e., counting how many times a word is used) (Neuendorf 2016) to theory-informed inductive and interpretive critical approaches (Lincoln and Guba 1985), thus allowing the textual data itself a degree of neutrality. The alignment that assessment activities and strategies have with ontological positions on competence and the degree of their “neutrality” therefore both become relevant. 

 

정당성으로서의 타당성
Validity as justification

평가의 또 다른 주요 구성요소는 타당성 프레임워크를 사용하여 평가 프로그램 데이터(즉, 정당성)에 적용되는 추론, 결정 또는 의미에 대한 논리적 및/또는 경험적 지원을 확립하는 것이다. 타당성의 많은 측면에 대한 합의가 있지만, 한 가지 핵심 의견 불일치는 근본적인 철학적 위치에 있다. 즉, [특정 타당성 프레임워크]를 사용한다는 것 자체만으로는 [특정 철학적 위치]를 본질적으로 나타내거나 자연스럽게 연관되지 않는다. 여전히 역량과 평가 활동에 대한 다양한 위치에 따라 coherence가 flexible하고 uncertain하다.

Another major component of assessment is the establishment of the logical and/or empirical support for inferences, decisions or meanings applied to assessment program data (i.e., justifications) using validity frameworks. While there is consensus on many aspects of validity Cizek 2012, 2016) one key disagreement is in the underlying philosophical position. That is, the inclusion of a validity framework in and of itself is neither inherently indicative of, nor naturally associated with, a particular philosophical position, making coherence with varied positions on competence and assessment activities flexible but also uncertain. 

• 예를 들어, 메식(Messick)은 속성을 특성화하려는 우리의 시도와는 무관하게 "구성주의적-현실주의" 방식으로 타당성을 기술하고 있으나, 실제로는 counterpart가 되는 구인이 있다고 여겨지곤 한다. 그러나 다른 이들은 메식(Messick)의 타당성 모델은 "[측정되고 있는 속성의 존재]에 대한 헌신을 필요로 하지 않는다"며 이 모델은 존재론적으로 자유롭거나 현실주의와 일치할 수 있다고 주장한다(후드 2009).
• 좀 더 최근에. Kane (2013)은 타당성을 실용적이고 과학적인 활동으로 설명합니다(Kane 2013). 철학적 입장에 대한 우려는 타당성과 검증이 단지 주장에 달려있다는 견해 대신에 경시된다. 케인(2013)은 '진실'을 대변하는 것에 대해 어떠한 주장도 하지 않으며, 그보다는 진실을 뒤에 배경에 두고, 필요한 모든 수단을 사용하여 얻은 정당화한 믿음을 주장한다.
• 그러나 Borsboom은 진실은 타당성 프레임워크의 중요한 특징이라고 주장한다. 진리와 명분이 분리될 수 있기 때문에 'justified true belief'이 'justified belief'을 대체해야 한다는 것이다. 

 

• For example, Messick claimed to be describing validity in a “constructive-realist” way, arguing that attributes are real, independent of our attempt to characterize them, but that there may also be constructs for which there is no counterpart in reality (Hood 2009; Messick 1989). Others have argued that Messick’s validity model “does not require a commitment to existence of the attribute purportedly being measured” and that the model is ontologically free or possibly aligned with realism (Hood 2009).
• More recently. Kane (2013) describes validity as a pragmatic, scientific activity (Kane 2013). Concerns over philosophical positions are downplayed in place of the view that validity and validation are simply contingent on the claims being made. Kane (2013) makes no claims about representing a “truth”, and instead argues for a justified belief obtained using whatever means necessary, leaving truth in the background. (Kane 2013)
• Borsboom, however, argues that truth is an important feature of validity frameworks and that ‘justified true belief’ should replace ‘justified belief’ because truth and justification can come apart (Borsboom and Markus 2013; van Heerden Gideon and Mellenbergh 2013).

따라서 타당한 신념을 주장하는 많은 다른 방법들을 통합하기 위해 다른 철학적 관점을 활용하는 연구자들에 의해 타당성이 점점 더 많이 사용되고 있지만, 불행하게도 너무 자주 [관련 철학적 이슈와 그들의 함축에 대한 설명 없이] 채택되고 있다. 보건직업 교육에서 타당성을 탐구하는 최근의 검토에서도, 연구자들이 "사이코메트리", "대부분 사이코메트리" 또는 "대부분 전문가 판단"에 초점을 맞춘 검증 전략을 사용했다고 제안하는 것 말고는, 대부분 연구자들의 철학적인 입장을 식별하지 못했다.

Thus validity is increasingly used by researchers leveraging different philosophical perspectives to incorporate many different ways of arguing for a justified belief, but it is unfortunately too often adopted without explication of the relevant philosophical issues and their implications. Evan a recent review exploring validity in health professions education did not identify philosophical positions as a main finding other than suggesting researchers used validation strategies that focused on “psychometric”, “mostly psychometric” or “mostly expert judgment”. (St-Onge et al. 2017). 

요약하자면, 현대의 다양한 철학적 입장의 결과로 역량의 본질/정의에 가변성과 (암묵적으로 남겨진다면) 불확정성이 모두 존재하며, 역량의 평가에 사용되는 전략과 활동, 그리고 그 타당성/검증: 이들 사이의 논리적 일관성은 더 이상 (당연한 것으로) 가정될 수 없다. 
In summary, as a result of the variety of contemporary philosophical positions there is both variability and (when left as tacit) indeterminacy in the nature/definition of competence, the strategies and activities used to assess that competence, and their validity/validation: logical coherence between these can no longer be assumed.

[평가의 주요 구성요소에 대한 철학적인 입장]에 따라 [평가 프로그램의 품질과 적절성에 대한 해석]을 달리 해야 할 뿐만아니라, 서로 다른 [실용적인 선택]으로 해석되어야 한다. 기저의underlying 타당성을 포함하여 철학적 입장이 잘못 정의되거나 제대로 고려되지 않는 경우, 평가 프로그램을 개발하고 평가하는 사람들은 결국 다른 방식으로 의미를 부여하게 될 수 있다(Wiliam 2017). 혼합 방법 문헌의 토론을 바탕으로, 우리는 평가 구성 요소 간의 철학적 일치성에 주의를 기울임으로써 평가 프로그램을 훼손할 위험을 완화하는 방법으로 호환성 원칙을 제안한다.

The philosophical positions held about the major components of assessment should translate into different practical choices as well as different interpretations of the quality and appropriateness of assessment programs. When philosophical positions are ill-defined or poorly considered, including those underlying validity, then those who develop and evaluate assessment programs may end up ascribing meaning in different ways (Wiliam 2017). Drawing on debates in the mixed methods literature, we therefore propose a compatibility principle as a way of mitigating the risk of undermining assessment programs by giving attention to philosophical congruence between assessment components. 

Fig. 1

호환성 원칙: 철학적 일치성에 주의를 기울여 평가 프로그램의 훼손 위험 극복
The compatibility principle: overcoming the risk of undermining of assessment programs with attention to philosophical congruence

쿤(1970)에 의해 처음 소개된 철학적 입장의 [양립가능성Compatibility (or commensurability)]은 [혼합 방법 연구]가 진화하면서 강력한 주제가 되었다. 이러한 맥락에서 연구자들은 동일한 연구 내에서 [서로 다른 철학적 입장의 양립불가능성]에 대해 논의하였다. 부분적으로 논쟁은 문제가 반드시 실천 수준(예: 데이터 수집)이나 방법에서 발생하는 것은 아니며, [철학적 입장과 방법 사이에 일대일 대응은 없지만], 철학적 입장과 가정, 약속 및 해석 수준에서 문제가 발생한다는 것이다. 
Compatibility (or commensurability) of philosophical positions, introduced initially by Kuhn (1970), became a strong theme as mixed methods research evolved (Howe 1988). In that context researchers debated the incompatibility of different philosophical positions within the same study (Howe 1988). The argument in part was that problems emerge not necessarily at the level of practice (e.g., data collection) or methods—there is no one-to-one correspondence between philosophical positions and methods (Denzin and Lincoln 2011; Ghiara 2019) but at the level of philosophical positions and the assumptions, commitments and interpretations they impose.

이 논쟁은 소위 정량적 연구가 질적 방법과 더 존재론적으로 양립할 수 있는 개념을 포함할 수 있고(그 반대도 마찬가지), 각각의 기초가 되는 철학적 입장이 논리적으로 독립적이라는 것을 제시하면서 일부 [실용적인 관점]으로 이어졌다(존슨과 온웨그부지 2004).

• 어떤 사람들은 논쟁은 [방법이나 현실의 본질 수준]을 다룰 것이 아니라, [질문의 수준]과 [합리적인 조사와 주장을 제공하기 위해 필요한 모든 것]이 되어야 한다고 느꼈다(Hathcoat and Meixner 2017).
• 그러나, 다른 사람들은 [혼합 방법]이, 방법이 아니라, [철학적 일관성을 유지하는 것]에 달려 있다고 주장했고, 실용적인 "무엇이 효과가 있는가" 격언은 사회적 탐구social inquiry에서 피해갈 수 없는 철학적 측면을 무시했다고 주장했다. 이 프레임에서 보자면, (비)호환성은 연구원들이 가정이 모순되거나 충돌하는 철학적 입장을 가진 문제에 접근할 때 나타날 수 있다. 이 호환성 문제는 혼합 방법 연구 커뮤니티(Ghiara 2019)에서 계속 논의되고 있다.

This debate led to some pragmatic views, suggesting that so-called quantitative studies could include concepts that were more ontologically compatible with qualitative methods (and vice versa), and that the philosophical positions underlying each were logically independent (Johnson and Onwuegbuzie 2004).

• Some felt that the debate should not be at the level of the methods or of the nature of reality, but at the level of the question and whatever it took to provide reasonable inquiries and assertions (Hathcoat and Meixner 2017).
• However, others argued that mixing methods depended on maintaining philosophical consistency, as opposed to methods, and that the pragmatic “what works” maxim neglected the unavoidable philosophical aspects of social inquiry (Hathcoat 2013) In this framing, incompatibility can emerge when researchers approach problems with philosophical positions whose assumptions are contradictory or in conflict. This issue of (in)compatibility continues to be argued in the mixed methods research community (Ghiara 2019).

우리가 설명한 바와 같이, 보건 직업에서의 평가에서는 [역량, 평가 전략 및 정당성 수준에서 다양한 철학적 입장]이 존재합니다. 이러한 각 요소에 대해서 혹은 전반적으로, 일단 어떤 위치가 채택되면, 그 관점의 경험적 결과에 전념하게 된다. 이것들이 충돌할 때, 논리적, 경험적 비호환성의 위험이 나타난다. 그 결과, 정당성 주장은 결함이 있을 수 있고, 동일한 데이터에 대한 다중 해석이 존재할 수 있으며, 근본적인 가정을 무시하는 전략이 맹목적으로 영구화될 수 있으며, 평가에 새로운 학문을 가장 잘 활용하거나 통합하는 방법이 불분명해질 수 있다. 반면에 [평가의 호환성 원칙]은 (어떤 평가를 선택할지 유도하고, 주어진 맥락에 대해 허용되는 평가 전략의 경계를 결정하는) 철학적으로 정보에 입각한 평가의 논리를 촉진한다.
As we have described, within assessment in health professions education different philosophical positions now exist at the levels of competence, assessment strategies, and justification. For each of these components and overall, once a position is adopted, one is committed to the empirical consequences of that perspective. When these are in conflict, a risk of logical and empirical incompatibility emerges. As a result, justification arguments may become flawed, multiple interpretations of the same data can exist, strategies that ignore underlying assumptions may be blindly perpetuated, and the ways to best utilize or integrate new scholarship in assessment become unclear. A compatibility principle in assessment, on the other hand, promotes a logic of philosophically-informed assessment that drives assessment choices and determines the boundaries of acceptable assessment strategies for a given context.

호환성 원칙의 적용
The compatibility principle applied

이어지는 예에서, 우리는 [실증주의/후기 실증주의]와 관련된 가정과 약속을 평가 프로그램의 맥락에서 [구성주의]의 가정과 대조적으로 위치시킬 것이다. 우리는 건강 직업 교육의 최근 권고를 바탕으로 전자(Govaerts et al. 2013)의 한계에 대응하여 후자를 활용하기 위해 이러한 직책을 선택했다. 우리는 이러한 두 가지 철학적 입장이 양립할 수 없다는 것을 발전advancing시키는 데 있어 새로운 것은 없다는 것을 인식하지만, 역량, 평가 전략, 정당성 및 상호 작용을 고려할 때 평가에서의 적용은 덜 명확하다. 둘째로, 우리는 고려해야 할 철학적 입장이 더 많고 여기서 설명하는 것보다 선이 더 흐릿하다는 것을 인지한다. 주목하고자 하는 것은 (질적 대 정량적 토론이 아니라) 평가 설계자가 사용하고자 하는 [철학적 입장의 가정과 약속]이 중요하다는 것이다. 우리의 논지는 [입장이 서로 다른 경우]에는 [평가의 각 구성 요소에 대해 서로 다른 의무와 해석을 요구한다]는 것이다. 따라서 이러한 구성 요소들 사이에 평가 작업을 저해할 수 있는 방치된 부조화가 발생할 수 있다.

In the examples that follow, we position the assumptions and commitments associated with positivism/post-positivism in contrast with those of constructivism in the context of assessment programs. We selected these positions based on recent recommendations in health professions education to leverage the latter in response to the limitations of the former (Govaerts et al. 2013). We recognize that there is nothing new in advancing that these two philosophical positions are incompatible, but their application in assessment is less obvious when considering conceptualization of competence, assessment strategies, justifications, and their interactions. Second, we recognize that there are many more philosophical positions to consider and that lines are likely more blurred than we illustrate here. It is the attention to the assumptions and commitments of any philosophical position (as opposed to a qualitative vs. quantitative debate) that assessment designers intend to use that is of importance here. Our thesis is that different positions mandate different obligations and interpretations for each component of assessment. As such, left unattended, incongruencies can emerge between these components that can undermine assessment work.

예 1: 평가에 관찰자 사용
Example 1: the use of observers in assessment

가상의 예로서, [평가자의 판단과 관찰 결과를 샘플링하는 것]의 중요성에 기초한 임상 역량의 평가를 고려한다. 필연적으로 근본적인 철학적 입장과 연관된 많은 결정들이 내려진다. 예를 들어, 후기 실증주의적 위치(필립스와 버불즈 2000)를 채택하는 것은

• 역량을 [어느 정도의 불완전성을 동반한다면, 측정이 가능한 개인(또는 팀/그룹) 내에 존재하는 잠재 속성의 집합]으로서 포지셔닝할 수 있다.
• 후기 실증주의자들은 임상 자극에 대응하여 나타난 후보 행동에 기초하여 객관적이고 정확하게 정보를 전달할 수 있는 기회로 평가자와 평가자의 기여도를 위치시킬 수 있지만, 어느 정도의 [편향 또는 인간 영향]이 존재하고, 이는 제거되어야 할 소음이나 오류로 간주된다는 것도 인정한다.
• 평가자에 의한 오류의 정도를 더욱 완화하기 위해 [평가자 교육]이 적용된다.
• 평가 도구는 텍스트 유무와 관계없이 (평가자를 돕고 오류를 최소화하기 위해) 고도로 [구조화]될 수 있다. 텍스트가 사용되는 경우, 잠재 속성에 대해 더 자세히 설명하는 것입니다. 이 맥락에서 [샘플링]은 평가자에 기인하는 오류를 (수학적으로) 줄이기 위한 방법이다.
• 마지막으로, 정당화 프로세스는 [신뢰성, 평가자 간 신뢰도, 항목 분석]과 같은 측정 기준을 포함하는 타당성 프레임워크를 사용하여 평가자 행동과 관련된 가정을 탐구할 수 있다.

Consider, as a hypothetical example, assessments of clinical competence based on assessors’ judgments and the importance of sampling their observations. A number of decisions are made that are unavoidably linked to underlying philosophical positions. For example, adopting a post-positivist position (Phillips and Burbules 2000) might include

• positioning competence as a collection of latent attributes existing within individuals (or teams/groups) that are measurable but with some degree of imperfection.
• Post-positivists may position assessors and their contributions as opportunities to objectively and accurately transfer information based on candidate behaviors exhibited in response to clinical stimuli, but with a recognized degree of bias or human influence that is considered noise or error to be eliminated.
• Rater training is applied to further mitigate the degree of error attributable to assessors.
• Rating tools may be highly structured (to assist raters and minimize error) with or without text. Where text is used, it is to further elaborate on latent attributes. Sampling in this context is a method for reducing error (mathematically) attributable to raters.
• Finally, justification processes may use validity frameworks that include metrics such as reliability, inter-rater reliability, and item analyses to explore assumptions related to (and eventually to correct) rater behaviors.

 

그러나, [해석주의/구성주의] 관점에서 본다면, 역량은 [협상된 사회문화구조]에 더 가까울 수 있다. 

• [평가자]는 주관적이고, 의미 있게 독특하고(더 좋을수록), 가치 중심적이며, 사회적 규칙과 맥락(예: 환경, 사회, 직업 문화)에 의해 수용될 수 있는 관점과 기여를 가지고 있다고 인식되고 평가된다. 
• [평가자 교육(Rater Orientation)]은 행동을 교정하기 위한 것이 아니라 평가자가 자신의 역할과 기여가 어떻게 사용될 수 있는지를 이해하도록 하기 위한 것이다. 
• [등급 척도]는 덜 체계적일 수 있으며, [텍스트 데이터]가 우선된다. 여기서 텍스트는 충분히 다양하고 여러 의미 있는(즉, 풍부하고 다양한) 데이터 소스 중 하나로 인식될 때 가장 가치가 있다. 
• [표본 추출]은 평가자들의 수집이, 평가자 개개인의 고유한 기여도를 통해 구조를 충분히 대표할 수 있도록 하기 위한 의도일 수 있다. 
• 정당화에는 타당성 프레임워크도 포함될 수 있지만(Cook et al. 2016), 정당화된 믿음에 대한 주장은 평가자의 성찰성, 평가자 기여의 다양성 및 생성되는 데이터의 신뢰성과 신뢰성에 대한 고려를 이끌어낼 수 있다. 

However, if viewed from an interpretivist/constructivist perspective, competence may be more of a negotiated sociocultural construction.

• Raters are recognized and valued as subjective, meaningfully idiosyncratic (the more the better), values-driven, and having views and contributions that are acceptably shaped by social rules and contexts (e.g., environment, society, professional culture).
• Rater orientation—rather than rater training intended to correct behavior—is intended to have assessors understand their role and how their contributions may be used.
• Rating scales may be less structured and textual data is prioritized. Here text is most valuable when it is sufficiently varied and is recognized as one of multiple meaningful (i.e., rich and diverse) source of data.
• Sampling may be intended to ensure that the collection of raters, in their unique contributions, sufficiently represent the construct.
• Justification may also involve validity frameworks (Cook et al. 2016), but the arguments for a justified belief may draw on considerations of rater reflexivity, the diversity of rater contributions, and the credibility and trustworthiness of the data being generated. 

 

예 2: 텍스트 데이터의 사용 및 변환
Example 2: the use and conversion of textual data

한편, 수치numeric 대 서술narrative 평가의 사용을 탐구하는 최근 연구를 고려한다(Bartels et al. 2017). 저자들의 존재론적 및 인식론적 입장은 불분명하지만, 우리는 대안적 입장의 철저한 검토와 공정한 비판을 바탕으로 구성주의적 입장을 취하게 된다. 저자들은 ITER에서 수치 및 서술적 데이터를 소급하여 수집하고, 전문가들이 텍스트 데이터에 번호를 할당하도록 한 다음, 계산된 상관관계 및 신뢰성 분석을 실시했다. 이 시점에서, (만약) 우리의 가정이 정확하다면, 온톨로지와 인식론 사이의 호환성은 저자들의 철학적 위치는 문제가 된다.

Alternatively, consider a recent study exploring the use of numeric versus narrative evaluations (Bartels et al. 2017). The authors’ ontological and epistemological positions are unclear, but we are left to assume a constructivist stance—though we cannot be certain—based on their thorough review and fair criticism of alternative positions. The authors retrospectively collected numerical and narrative data from in-training evaluation reports, had experts assign numbers to the textual data, then calculated correlation and reliability analyses. At this point, compatibility between ontology and epistemology becomes a concern if our assumption about the authors’ philosophical position is accurate.

저자들은 통계 데이터를 정당성의 원천으로 사용하여 [변환된 서술형 평가]가 [숫자 점수만큼 신뢰할 수 있다]고 결론짓는다. 저자들은 암묵적인 견해 때문에 연구를 받아들일 수 있다고 생각한다. 그러나 이제는 다음을 포함한 여러 해석이 가능하다.

• (a) 텍스트에서 숫자 데이터로 신뢰성으로의 변환이 적절한 경우
  
• (b) 의미 있는 변화를 포착하기 위한 텍스트 사용이 이 접근법과 모순되는 경우
  
• (c) 우리(지식 사용자)가 잠재적 호환성 문제를 해결하는 데 어려움을 겪고 있으며 연구를 잘못 이해한 경우

Using the statistical data as a source of justification, the authors conclude that converted narrative evaluations are as reliable as numeric scoring. The authors, we assume, found the study acceptable because of an implicit set of views. However, multiple interpretations are now possible including:

• (a) that the conversion from text to numerical data to reliability was appropriate;
• (b) that the use of text for the purposes of capturing meaningful variation is inconsistent with this approach; or
• (c) that we (as knowledge users) are having difficulty resolving a potential compatibility issue and have misinterpreted the study.

따라서 많은 대안적 해석이 가능하며, (무엇이 증거로 간주되고 무엇이 문제인지 등) 사용자의 철학적 입장에 해석이 남겨져있다. 더욱이, [이 연구가 그 분야를 발전시킬 평가에 관한 더 넓은 대화 내에서 배치될 수 있는 방법]은, 저자들에게는 아닐지 몰라도, [(자신의 입장을 결정해야 하는 처지에 있는) 논문의 사용자들]에게 덜 확실해 보인다. 이 단락에서 논의한 논문이 있는 저자에 대한 공정성을 위해, 우리도 평가 관련 논문에서 우리 자신의 철학적 입장에 대해 명시적이지 않은 것에 대해 죄책감을 느껴왔다. 예를 들어 Tavares 외 2016을 참조하라. 또한, 논문에 철학적 입장이 명시적으로 드러나지 않는 문제는 결코 특이하거나 현재 이 분야의 실천기준에 못 미치는 것이 아니다; 오히려 이는 매우 일반적인 현상이며, 그렇기 때문에 우리는 이 논문을 쓰고자 하는 자극을 받은 것이다.

Many alternative interpretations are thus possible, leaving the interpretation to be guided by the philosophical positions of the user, including what counts as evidence and what is problematic. Further, the ways in which this work can be positioned within broader conversations about assessment that would advance that field become less certain, not necessarily to the authors, for whom these may seem clear, but to users of their contribution who are left to impose their own positions. In fairness to the authors whose paper we have discussed in this paragraph, we note that we too have been guilty of not being explicit about our own philosophical positions in assessment-related papers; see for example Tavares et al. 2016. Also, the lack of explicit philosophical positioning in their paper is in no way unusual or below the current standard of practice in the field; indeed, it is illustrative of the extremely common phenomenon that provided part of the impetus to write this article.

위의 예시들은 [표면적으로는 동일하게 보이는 평가 전략(예: 표본 추출, 평가자 기여)]이 [특정한 방식의 역량 개념화]와는 다소간 일치하거나 불일치할 수 있는 [다른 의미와 역할]을 가질 수 있음을 보여준다. 또한 서로 다른 방법과 철학적인 입장이 하나의 평가 프로그램 내에서 혼합될 경우, 그 결과에 대한 상반된 해석이 가능하다는 것을 명확히 보여준다. 이로 인해 교육자와 평가 연구원 모두 향후 평가 계획 또는 표준을 어떻게 진행해야 할지 불확실한 입장에 놓이게 됩니다. 서로 다른 철학적 입장을 사용하는 평가 프로그램이 서로 다른 방식으로 평가의 유사한 특징에 접근할 수 있는 방법에 대한 나란히 요약은 표 1을 참조한다.

These examples illustrate how assessment strategies that appear the same on the surface (e.g., sampling, rater contributions) can hold different meanings and roles that may align more or less with certain conceptualizations of competence: this is parallel by differences in how validity and validation are applied. They also make clear that if philosophical positions, as opposed to methods, are mixed within an assessment program, conflicting interpretations of its results are possible. This places both educators and assessment researchers in a position of uncertainty about how to proceed with future assessment plans or standards. See Table 1 for a side by side summary of the ways in which assessments programs using different philosophical positions could approach similar features of assessment in different ways.

표 1 서로 다른 철학적 입장을 사용하는 평가 프로그램이 서로 다른 방식으로 평가의 유사한 특징에 접근할 수 있는 다양한 방법에 대한 나란히 요약
Table 1 A side by side summary of the different ways in which assessments programs using different philosophical positions could approach similar features of assessment in different ways

[철학적 가정을 고려하지 않고] 매우 다른 평가 전략을 단일 프로그램에서 결합하려고 시도할 때, 추가적인 호환성 문제가 발생한다. 예를 들어, 역량에 관한 보다 강력한 종합 의사결정 프로세스를 위해 [시뮬레이션]과 [근무지 기반 평가WBA]를 결합하려고 노력하는 상황을 생각해보자.

• [시뮬레이션 맥락]에서 역량은 종종 명확하게 정의되며 평가는 표준화, 일관성, 신뢰성 및 객관성을 촉진한다. 이것들은 후기 긍정주의 철학적 입장과 밀접하게 일치하는 공통 속성들입니다.
• 그러나, [근무지 환경]에서, 어떤 사람들에게는 역량이 역동적이고, 문맥적으로 구속되고, 건설되고, 공식적이고 비공식적인 차원으로 사회적으로 위치하는 것으로 개념화 될 수 있다.

Further compatibility issues arrive when attempting to combine very different assessment strategies in a single program without considering their philosophical assumptions. Consider, for example, the effort to combine both simulation and workplace based assessments for a more robust summative decision making process regarding competence.

• In a simulation context, competence is often clearly defined and assessments promote standardization, consistency, reliability and objectivity. These are common attributes closely aligned with a post-positivist philosophical position.
• However, in workplace contexts, for some, competence may be conceptualized as dynamic, contextually bound, constructed and socially situated with formal and informal dimensions.

평가 프로그램을 구조화한다는 것은 다양성, 풍부성, 포괄성 및 주관성을 촉진하는 것을 의미할 수 있다. 이것은 구성주의 철학적 입장과 더 밀접하게 일치한다. 그 두 가지가 결합되면, 우리는 개념적인 투쟁을 하게 될지도 모른다. 예를 들어, 어떤 철학적 위치에서 정당화 전략을 알려야 하며, 다른 "경쟁" 위치에서 수집된 데이터가 어떤 방식으로 중요한가? 이러한 이슈는 특히 평가 결정이 엄격하게 정당화되어야 할 때 하찮지 않다.

Structuring assessment programs may mean promoting diversity, richness, comprehensiveness and subjectivity. This is more closely aligned with a constructivist philosophical position. When the two are combined, we might find ourselves in a conceptual struggle. For instance, under which philosophical position are we to inform justification strategies and in what way does data collected under a different “competing” positions matter? These issues are not inconsequential, particularly when assessment decisions have to be rigorously justified.

 

논리적 확장: 실용주의 및 기타 고려사항
Logical extensions: pragmatism and other considerations

실제 작업을 진전시키기 위해(평가 활동을 수행하고 정당화하는 업무를 계속하기 위해) 일부는 다양한 반대 입장을 취했습니다. [철학적 호환성]에 대한 우리의 주장의 약점 중 하나는 [평가 과학을 가이드하는 이상적인 철학적 위치]로서 [실용주의]의 역할과 적합성이다. 우리는 평가를 [사회적 탐구 과정]으로 설명했으며, 이 과정은 우리가 무엇을 이해하고, 예측하고, 그리고/또는 주장을 하는지에 대한 기본적인 철학적 입장에 의해 형성된다.
In order to move their practical work forward—to get on with the business of doing and justifying assessment activities—some have taken up various counter-positions. One of the claims to which our argument for philosophical compatibility may be vulnerable is the role and suitability of pragmatism as the ideal philosophical position to guide assessment science (recognizing that other positions, such as realism or philosophical pluralism, may be of equal interest). We have described assessment as a social process of inquiry, shaped by fundamental philosophical positions about what we are interested in understanding, predicting, and/or making claims.

일부에서는 [실용주의]가 오늘날 평가에서 [가장 적절한 철학적 위치]라고 주장할 수 있다. 왜냐하면 건강 직업에서의 평가가 정의하기 어려운 사회적으로 집행되는 주관적이고 추상적인 구조와 관련이 있기 때문이다. (Guon et al. 2018). 또한, [타당성/자원, 기회, 비용, 수용성, 평가자 행동, 교육적 영향 등의 균형을 유지해야 하는 필요성을 포함하여 많은 압박]이 평가 계획에 작용한다. 이것들은, 적어도 누군가에게는, 실용주의가 해결책이 될 수 있는 중요한 실용적인 질문들이다. 

Some may argue that pragmatism, as one such position, is the most appropriate philosophical position in assessment today in part because assessment in the health professions involves socially enacted subjective and abstract constructs that are difficult to define (Guyon et al. 2018). Further, a number of pressures act on assessment plans, including the need to balance feasibility/resources, opportunities, cost, acceptability, rater behaviors, educational impact, etc. These are important practical questions to consider of which pragmatism, for some, may be a solution.

실용주의는 어느 정도의 유동성과 개방성을 나타내며, 철학적 논쟁을 명확히 하는 방법을 제공할 수 있다. 여기에는 하나의 철학적 입장과 다른 철합적 입장사이에 무엇을 선택할지에 대한 문제의 해소, 또는 상충되거나, 알 수 없거나, 평가에 영향을 미치지 않는 "진실"과의 긴장 문제 해소 등이 포함될 수 있다(Bernstein 1989; Morgan 2014).

Pragmatism does represent a degree of fluidity and openness and may provide a way of clarifying philosophical disputes (Bernstein 1989). These may include resolving issues related to how to choose one philosophical position over another, or tensions with “truths” that are in conflict, are unknowable, or have no impact on assessment (Bernstein 1989; Morgan 2014).

그러나 우리는 [운영을 위한 접근법으로서 실천적practical이거나 실용적pragmatic이라는 평준한 정의("무엇이 효과가 있는가")]와 [긴 지적 역사를 가진 명시적이고 의도적인 철학적 위치로서의 실용주의] 사이에서 명확한 구분을 하고자 한다. (Dewey 2018; James 1907). 후자는 평가 문제에 대한 실행 가능한 접근 방식으로 제공할 수 있는 것이 많다.

However, we draw a clear distinction between

• the lay definition of being practical or pragmatic as an operational approach (“what works”), which may be what is most commonly meant by pragmatism within assessment science, versus
• pragmatism as an explicit and deliberate philosophical position with a long intellectual history (Dewey 2018; James 1907) that has much to offer as a workable approach to assessment problems.

호환성 원칙에 도전하는 다른 아이디어도 고려할 가치가 있다. 

• 예를 들어, 평가 과학은 평가의 성격과 수행에 대한 공통된 믿음을 나타내는 많은 예시를 가질 수 있다(예: 프로그램 평가). 실용주의나 철학적 입장의 혼합에 근거한 평가는 양립원칙의 필요성에 도전할 수 있는 예로 제시될 수 있다. 
• 유사한 개념은 [혼합 방법 연구]에서 [모범으로서의 패러다임]으로 설명되었으며 평가 작업의 뉘앙스와 평가 필드를 채울 가능성이 높은 수많은 철학적 입장을 수용하는 방법을 제공한다고 주장될 수 있다. 
• 또한 [서로 다른 존재론적, 인식론적 경로 또는 이들의 pairing]을 통해 평가 프로그램을 수행함으로써, [서로 다른 관점을 촉진]하고, [기존에 당연하게 여겨왔던 것]에 대한 검토를 촉진할 수 있는 경우도 있을 것이다. (Greene 2006; Uprichard and Dawney 2016; Ghiara 2019) 

Other ideas challenging a compatibility principle are also worth considering.

• For instance, assessment science may have a number of exemplars that represent a shared belief about the nature and conduct of assessments (e.g., programmatic assessments). Assessments grounded in pragmatism or in the mixing of philosophical positions may be presented as exemplars that may challenge the need for a compatibility principle.
• A similar concept has been described in mixed methods research as paradigms-as-exemplars and may be argued to provide a way of accommodating nuances in assessment work and the numerous philosophical positions that are likely to populate the assessment field.
• In addition, there are likely to be instances in which assessment programs can be conducted through different ontological and epistemological pathways or pairings thereby facilitating different points of view and promoting helpful examination of taken for granted understandings. (Greene 2006; Uprichard and Dawney 2016; Ghiara 2019).

앞으로 가는 길
Ways forward

[평가 설계]와 [평가 품질의 결정]은 [지표를 만들고 관행을 평가하는 사람들]의 신념과 기준의 적용을 받는다. 이러한 신념과 기준은 결국 수많은 철학적 위치에 의해 형성되고 정보에 의해 형성되는 사회적 과정을 적용한다. 우리는 HPE에서 평가에 대한 철학적 관점의 다양성이 증가하였다는 것에 encourage되었지만, 동시에 [다양한 철학적 위치의 적용]과 관련된 가정과 헌신은 새로운 영역에 초점을 둘 필요를 요구함을 인지하고 있다. 예를 들어, 우리는 결과와 정당성의 다중적인 의미 또는 상충되는 해석을 피하려면, [다양한 포지션]이 어떻게 [구조의 개념화]로 변환되는지, 그리고 그것들이 특정 평가 활동과 어떻게 정렬(또는 정렬되지)되는지에 주목해야 한다. 
Assessment design and the determination of assessment quality are subject to the beliefs and standards of those who create indicators and evaluate practices. These beliefs and standards are, in turn, applied social processes shaped and informed by numerous philosophical positions. We are encouraged by the growing diversity of philosophical views on assessment in health professions education but also recognize that assumptions and commitments associated with the application of different philosophical positions require new areas of focus. For example, we now must attend to how various positions translate into conceptualizations of constructs and how those are aligned (or not) with specific assessment activities in order to avoid the multiple meanings or conflicting interpretations of results and justifications.

건강직업 평가를 알리는 철학적 입장의 범위가 넓어지면서 [평가 실천의 논리와 정당성]에 대한 관심이 필요하다. 이런 식으로, [특정한 방법이 특정한 철학적 입장과 반드시 연관되지는 않기 때문에], 방법들에 대한 논쟁이나 경계 작업은 피할 수 있고, 철학적인 입장은 몇몇 유사한 방법과 일치할 수 있고, 연구자들은 하나의 철학적 입장을 채택하면서 방법들을 혼합할 수 있다. 더불어, 철학적 지위의 우월성에 대한 논쟁은 덜 강조될 수 있다. 흥미로운 것은 평가 학문과 실천에서 철학적인 입장이 어디서 그리고 어떻게 명확성, 일치성, 모순을 보이는가이다.

As the range of philosophical positions informing health professions assessment broadens, attention to the logic of assessment practice and justification is needed. In this way, debates or boundary work over methods can be avoided, since methods are not associated with a specific philosophical position, a philosophical position can be congruent with several similar methods, and researchers can mix methods while adopting one philosophical position. Also, debates over the superiority of philosophical positions can be deemphasized. What is of interest is where and how philosophical positions exhibit clarity, congruence, and contradictions in assessment scholarship and practice.

우리는 철학적 입장 사이의 경계가 항상 매우 뚜렷하거나 양립할 수 없다고 제안하지는 않는다. 이들을 가로지르는 투과 가능한 경계는 많은 경우에 [호환성 제약]을 완화한다. 교육 연구의 개념 및 이론적 프레임워크(Bordage 2009) 또는 혼합 방법 연구의 발전(Teddlie 및 Tashakkori 2012)에 적용되는 가치와 마찬가지로, 평가 분야에서도 철학적 다원주의의 여지가 있다. 쿤은 의사소통의 붕괴를 피하기 위해서 중요한 것으로 [(하나의 특정 입장이 아니라) 공통적으로 합의된 어휘와 원칙의 집합의 가치]를 설명했다.(Kun 2012; Morgan 2007) 이 시점에서 더 이상의 조직을 장려하는 것은 시기상조이며 불분명한 경계나 통일성을 확립하려는 잘못된 시도이거나, 더 나쁜 것은 다양한 관점과 이해의 기회를 침묵시키려는 잘못된 시도일 수 있습니다.
We do not suggest that the boundaries between philosophical positions are always highly distinct or incompatible. The permeable boundaries across them loosen compatibility constraints in many cases. Much like the value applied to conceptual and theoretical frameworks in education research (Bordage 2009), or advances in mixed methods research (Teddlie and Tashakkori 2012), there is room for philosophical pluralism in the field of assessment. Kuhn described the value of a commonly agreed upon vocabulary and set of principles (not a specific position) to avoid breakdowns in communication.(Kuhn 2012; Morgan 2007) Encouraging any more organization at this point may otherwise be premature and a misguided attempt to establish unclear boundaries or uniformity or, worse, to silence diverse perspectives and opportunities to further understanding.

다음 방법을 사용하는 것이 좋습니다.
As a way forward, we recommend the following:

a. 철학적 입장(그것이 혼합된 경우에도)을 명확하게 표현하고 합리화합니다. 그래야 지식 사용자가 가정을 이해하고 명시된 입장과 관련하여 정당성을 이해하고 검토할 수 있다. 예를 들어, 교육자는 관찰자의 철학적 위치 선택에 따라 다르게 지침을 구성할 수 있다(예: 주관성을 최소화하거나 촉진한다). 동일한 평가 계획 내에서 그리고 지식 사용자에게 적용되는 철학적 입장에 따라 적절하거나 결함이 있는 전략이 될 수 있다.
a.Clearly articulate and rationalize philosophical positions—including when they are mixed—so that knowledge users may understand assumptions and make sense of and examine justifications in relation to the stated position(s). For example, an educator may structure guidance for observers differently depending on their choice of philosophical position (e.g., minimize or promote subjectivity). Within the same assessment plan and to the knowledge user, either could be an appropriate or flawed strategy depending on the applied philosophical position(s).

b.한 철학적 입장이 다른 것보다 낫다는 섣부른 주장을 피하고 대신 각각의 장점, 경계, 관계, 혼합 및 양립성을 개발하는 데 초점을 맞춘다. 많은 철학적인 입장이 몇 가지 유사한 방법을 채택할 수 있기 때문에, 여기에는 데이터 수집(예: 양적 대 질적 또는 기타 유사한 산만 요소)이 저하되는 논의로부터 보호하는 것이 포함된다.

b.Avoid premature claims that one philosophical position is better than another and instead focus on developing the merits, boundaries, relationships, mixing and compatibility within and/or between each. This includes guarding against discussions that degrade to data collection (e.g., quantitative vs. qualitative or other similar distractors), as many philosophical positions can employ several similar methods.

c. 평가 맥락에서 [철학적 입장의 역할과 관련성 및 여러 철학적 입장의 양립가능성]과 관련하여, 추가적인 핵심 가치나 원칙에 대해서 의문을 가지고, 반박하고, 세분화하고, 확장하고 또는 결정한다. 예를 들어, 철학적 다원주의를 위해서는 호환가능성이 거부되어야 하는가?
c.Question, refute, refine, extend and/or determine further a core set of values/principles related to the role and relevance of philosophical positions and their compatibility in an assessment context. For example, should compatibility be rejected for philosophical pluralism?

d.이분법이 아니라 '호환성'에서 '비호환성'에 이르는 연속체로 기술하는 전략과 기준을 수립합니다. 실증주의를 구성주의로부터 묘사하는 것은 현실주의, 상대주의, 포스트 구조주의, 실용주의, 또는 철학적 다원주의를 고려할 때 존재할 수 있는 것보다 덜 복잡할 수 있다.

d.Establish strategies and criteria to delineate along a continuum (as opposed to a dichotomy) from ‘compatible’ to ‘incompatible’. Delineating positivism from constructivism may be less complex than what might exist when considering realism, relativism, post-structuralism, pragmatism, or philosophical pluralism.

e.평가를 제공하는 철학적 위치가 넓어짐에 따라, 설계자(및 연구자)는 이러한 문제와 관련된 광범위한 지식 기반과 역량 세트를 갖춰야 할 수도 있다. 예를 들어, HPE의 평가에 대한 전통적인 텍스트를 다양한 적용 가능한 철학적 위치와 관련된 내재된 가정과 의무에 대해 상세히 설명하는 텍스트로 보완하는 것이 포함될 수 있다.
e.Given the broadening philosophical positions informing assessment, designers (and researchers) may require a broadened knowledge base and set of competencies related to these issues. This may include for example, complementing traditional texts about assessment in the health professions with texts elaborating on the inherent assumptions and commitments associated with various applicable philosophical positions.

평가 과학의 발전을 지원하기 위한 시사점 및 프로세스의 추가 예는 박스 1을 참조하십시오.
See Box 1 for additional examples of implications and processes that are intended to support the advancement of assessment science.

Box 1 Examples of implications and processes informed by our recommendations

결론들
Conclusions

보건 직업 교육자들은 임상 역량의 여러 미묘한 측면을 평가하는 임무를 맡고 있다. 이는 평가 커뮤니티가 [(종종 암묵적으로) 기본 철학적 입장의 범위를 넓히는 방식]으로 역량, 평가 및 정당성을 탐구하도록 이끌었다. 이러한 다양한 철학적 입장은 이러한 구성 요소에 대한 이해와 사용을 새로운 방식으로 확장하는 데 도움이 되지만, 동시에 평가 프로그램을 저해할 수 있는 두 구성 요소 간의 비호환성의 위험을 초래한다. 여기에는 추론, 품질 및/또는 방어성이 어렵거나 불확실하거나 의도하지 않은 해석을 남기는 것이 포함된다. 이 성찰에서 우리는 임상 역량 평가에 철학적으로 정통한 탐구 논리를 적용하는 것의 가치를 입증한다.
Health professions educators are tasked with assessing multiple nuanced aspects of clinical competence. This has led the assessment community to explore competence, assessment and justifications in ways that involve broadening the range of (often implicit) underlying philosophical positions. This variety of philosophical positions helps to expand our understanding and uses of these component parts in new ways but also introduces a risk of incompatibility between them, that can undermine assessment programs. This includes leaving interpretations of inferences, quality, and/or defensibility difficult, uncertain, or unintended. In this reflection we demonstrate the value of applying a philosophically informed logic of inquiry in the assessment of clinical competence.

철학적 입장은 궁극적으로 우리가 평가에서 어떻게 행동하고 우리가 주장하는 것에 영향을 미칩니다. 비트겐슈타인의 조사 철학에 따른 규칙에 대해 부르불레스(1993)는 다음과 같이 썼다: "규칙(존재론과 인식론)이 실천을 guide하지만, 실천을 지배rule하지는 않는다; 규칙들은 내재되어 있으며, 행위자actor의 "상황state of play"와 그들의 가치에 무의식적으로 영향을 미친다. 선택이 아니라 성향disposition이다(Burbules 1993)." 평가 과학을 발전시키기 위해서, 우리는 우리가 하는 일에 그러한 [성향]들을 분명히 할 필요가 있습니다.

Philosophical positions ultimately influence how we act in assessment and the claims we make. As Burbules (1993) wrote about rules according to Wittgenstein’s philosophy of investigations: “Like rules [ontologies and] epistemologies guide practice but do not rule it; they are embedded and unconsciously affect the “state of play” of the actors and their values. Not so much a choice as it is a disposition”(Burbules 1993). In order to advance assessment science, we need to make those dispositions explicit in the work that we do.

 

 

 

---

Adv Health Sci Educ Theory Pract. 2020 Oct;25(4):1003-1018.

 doi: 10.1007/s10459-019-09939-9. Epub 2019 Nov 1.

The compatibility principle: on philosophies in the assessment of clinical competence

Walter Tavares 1 2, Ayelet Kuper 3 4 5, Kulamakan Kulasegaram 3 6 7, Cynthia Whitehead 3 6

Affiliations expand

• PMID: 31677146
• DOI: 10.1007/s10459-019-09939-9AbstractKeywords: Assessment; Clinical competence; Educational measurement; Performance based assessment; Philosophy; Rating process; Validity.
• The array of different philosophical positions underlying contemporary views on competence, assessment strategies and justification have led to advances in assessment science. Challenges may arise when these philosophical positions are not considered in assessment design. These can include (a) a logical incompatibility leading to varied or difficult interpretations of assessment results, (b) an "anything goes" approach, and (c) uncertainty regarding when and in what context various philosophical positions are appropriate. We propose a compatibility principle that recognizes that different philosophical positions commit assessors/assessment researchers to particular ideas, assumptions and commitments, and applies ta logic of philosophically-informed, assessment-based inquiry. Assessment is optimized when its underlying philosophical position produces congruent, aligned and coherent views on constructs, assessment strategies, justification and their interpretations. As a way forward we argue that (a) there can and should be variability in the philosophical positions used in assessment, and these should be clearly articulated to promote understanding of assumptions and make sense of justifications; (b) we focus on developing the merits, boundaries and relationships within and/or between philosophical positions in assessment; (c) we examine a core set of principles related to the role and relevance of philosophical positions; (d) we elaborate strategies and criteria to delineate compatible from incompatible; and (f) we articulate a need to broaden knowledge/competencies related to these issues. The broadened use of philosophical positions in assessment in the health professions affect the "state of play" and can undermine assessment programs. This may be overcome with attention to the alignment between underlying assumptions/commitments.