프로그램평가 데이터를 질적연구에 활용하기 (J Grad Med Educ, 2016)

프로그램평가 데이터를 질적연구에 활용하기 (J Grad Med Educ, 2016)

Using Data From Program Evaluations for Qualitative Research

Dorene F. Balmer, PhD Jennifer A. Rama, MD, MEd Maria Athina (Tina) Martimianakis, PhD Terese Stenfors-Hayes, PhD

도전

The Challenge

질적 연구자들에게 제기되는 일반적인 질문은 ''우리 프로그램의 평가에서 수집한 자유 텍스트 항목으로 질적 연구를 할 수 있는가? 거기에는 좋은 피드백이 있다!'라고 말했다. 하지만, 과정 종료 또는 로테이션 종료 평가에 자유 텍스트 항목으로서 풍부하고 건설적인 데이터가 있을 수 있지만, 그 텍스트를 연구를 위한 데이터로 사용하는 것은 프로그램 평가 목적으로 수집될 때 문제를 일으킬 수 있다.

A common question posed to qualitative researchers is, ‘‘Can I do qualitative research with the free-text entries from our program’s evaluations? There’s good feedback in there!’’ While there may be rich, constructive data as free-text entries on end-of-course or end-of-rotation evaluations, using that text as data for research can present problems when it is collected for program evaluation purposes.

알려진 내용(또는 토론된 내용)

What Is Known (or Debated)

연구와 프로그램 평가 모두 철저하고 체계적인 질의지만, 다음과 같은 오랜 논쟁이 있다. 연구와 프로그램 평가는 이론적으로 구별되는가, 실질적으로 구별되는가, 아니면 같은 것인가? 이 둘의 구분은, (만약 이 둘의 구분이 존재한다면) 프로그램 평가를 위한 설문조사에 대한 주관식 서술 항목과 같이 질적인 데이터를 이용가능한 상황에서 이 둘의 구별은 덜 명확해진다. 교육 프로그램은 일반적으로 동적 구성요소로 구성되며 복잡하고 예측 불가능한 맥락에서 펼쳐지기 때문에, 프로그램 평가는 프로그램 목표가 명확해지거나 개입이 새로운 학습에 길을 내줄 때 시간이 지남에 따라 적응해야 할 수 있다.2,3

Although research and program evaluation are both thorough, systematic inquiries, there is a long-standing debate: Are research and program evaluation theoretically distinct, practically distinct, or one-and-the-same?1 The distinction, if it exists, becomes less clear when available data are qualitative in nature, as when the data are free-text entries on surveys intended for program evaluation. Because educational programs typically consist of dynamic components and unfold in complex, unpredictable contexts, program evaluation may have to adapt over time as program goals are clarified or as interventions give way to new learning.2,3

그러나 연구와 프로그램 평가 사이에는 핵심적인 차이가 있다. 이 글에서 우리는 이러한 질의는 

(1) 이 둘이 다루는 문제, 

(2) 의도된 범위, 

(3) 일반적으로 Work의 질을 판단하기 위해 사용하는 표준(특히 데이터)

However, there are key differences between research and program evaluation. In this article, we propose that these inquiries are distinct in (1) the issues they address; (2) their intended scope; and (3) the standards they use to judge the quality of the work in general, and the data in particular.

이슈와 스콥

Issues and Scope

질적 연구는 대개 이론적인 문제를 다루며 "왜 이런 일이 생기는가?"와 같은 질문을 던진다.

Qualitative research usually addresses theoretical issues, asking questions such as, ‘‘Why is this happening?’’

반대로, 프로그램 평가는 대개 실제적인 문제를 다루고 "실제로 무슨 일이 일어나고 있는가?" 또는 "무슨 일이 일어나야 하는가?"와 같은 질문을 던진다. 이러한 질문에 대한 답은 [(연구 결과를) 다른 맥락으로 transfer할 수 있다는 엄격한 주장보다는], 프로그램 개선전략이나 프로그램의 가치에 대한 판단을 로컬하게 알리는 것을 목표로 한다.

Conversely, program evaluation usually addresses practical issues and asks questions such as, ‘‘What is actually happening’’ or ‘‘What should be happening?’’ Answers to these questions aim to inform strategies for program improvement or judgments about the worth of a program locally, without stringent claims for transferability to other contexts.

질적 연구에서도 때때로 "무슨 일이 일어나야 하는가?"라고 질문할 수 있고 프로그램 평가에서도 "왜 이런 일이 일어나는가?"를 다룰 수 있다. 그러나, 일반적인 문제들과 프로젝트의 범위는 다르다.

Qualitative research may occasionally ask, ‘‘What should be happening?’’ and program evaluation may address, ‘‘Why is this happening?’’ However, the general issues addressed and the project’s scope are different (TABLE).

품질판단기준

Standards for Judging Quality

정성적 연구의 방법론적 엄격성에 대한 표준은 다음을 포함한다. 

• 신뢰할 수 있는 데이터(내부 타당성을 위한 프록시), 

• 양도 가능한 데이터(외부 타당성을 위한 프록시), 

• 신뢰할 수 있는 데이터(신뢰성을 위한 프록시), 

• 확인 가능한 데이터(객관성을 위한 프록시)가 있는가?5

Standards for methodological rigor in qualitative research include the following: Are the data 

• credible (a proxy for internal validity), 

• transferable (a proxy for external validity), 

• dependable (a proxy for reliability), and 

• confirmable (a proxy for objectivity)?5

프로그램 평가(의 질 판단)를 위한 표준은 실제 관심사에 대한 방법론적 초점이 다르다. 데이터가 의사결정에 유용한가?, 데이터를 수집할 수 있는가?, 이해관계자 관점을 정확히 대표하고 있는가?6

Standards for program evaluation have a different methodological focus on practical concerns: Are the data useful for informing decisions, feasible to collect, and accurate representations of stakeholder perspectives?6

연구에서 차이가 중요한 이유

Why Differences Matter in Scholarship

의학 교육자들은 프로그램 평가를 위해 수집된 자유 텍스트 질문에 대한 응답을 후향적으로 질적 연구 기준에 맞추려고 애쓸 수 있다. 이것은 보통 학술지에 논문을 출판하고자 하는 욕구와 함께 일어날 수 있다.

Medical educators may try, inadvisably, to retrospectively fit responses to free-text questions collected for program evaluation into rigorous standards for qualitative research. This may occur with the desire to disseminate their work in academic journals.

예를 들어, 로테이션 평가에 대한 자유 텍스트 항목의 정보가 교육 프로그램을 refine하기 위해 어떻게 사용되었는지 설명하기 보다는(프로그램 평가자가 관심이 있음), 그들은 데이터의 풍부함과 신뢰성에 초점을 맞춘다(연구자가 관심이 있음). 마찬가지로, 교수진과의 인터뷰를 통해 수집된 데이터가 평가자에게 중요한 온라인 CME 프로그램의 국지적local 가치를 확립하는 데 어떻게 도움이 되었는지에 대해 걱정하기보다는, 편의 샘플링 전략을 사용한 것이 다른 연구자들에게 어떻게 보여질지에 대해 걱정한다.

For example, rather than describing how information in free-text entries on end-of-rotation evaluations was used to refine an educational program, which would be of interest to evaluators, they focus instead on abundance and credibility of data, of interest to researchers. Similarly, rather than discussing how data collected from interviews with faculty members helped establish the local worth of an online continuing medical education program, which would be of concern to evaluators, they fret about their convenience sampling strategy, of concern to researchers.

그렇다고 해서 프로그램 평가가 연구보다 체계적이거나 생각적으로 덜 진행되어야 한다는 뜻은 아니다. 오히려, 요점은 각 프로젝트에 대한 초기 결정은 (비록 유일하진 않지만) 서로 다르다는 점이다: 주로 이론적인 문제를 다룰 것이냐(연구)나 실제적인 문제를 다룰 것이냐(프로그램 평가)

This is not to say that program evaluation should be conducted less systematically or thoughtfully than research. Rather, the point is that initial decisions about each project will be guided differently: primarily, although not solely, by theoretical issues (research) or by practical issues (program evaluation).

선을 흐리게 하는 것으로 돌아가기

Back to Blurring the Lines

최근 일부 의학 교육 학자들은 (학습자가 배우는 방법과 같은) 교육 과정을 뒷받침하는 메커니즘을 이해하는 것이 프로그램 평가와 유사하다고 제안했다.2 이러한 관점에서, 인간의 작용 과정human process을 이해하기 위해서는 연구의 방법론적 엄격성이 요구된다.

Recently, some medical education scholars have proposed that understanding mechanisms underpinning educational processes, such as how learners learn, is akin to program evaluation.2 From this point of view, methodological rigor of research is required to understand the human processes at play.

오늘 시작할 수 있는 것

How You Can Start TODAY

1. 프로젝트 시작 시 질적 데이터가 관련될 때(예: 자유 텍스트 항목) 그 목적에 대해 명확히 하십시오. 질적 연구를 위한 표준과 프로그램 평가를 위한 표준 중 어떤 표준을 제시하는가?

1. Be clear at the start of your project about its purpose when qualitative data are involved (eg, free-text entries). Which standards are indicated: those for qualitative research or those for program evaluation?

2. 프로젝트의 목적이 명확해지면 적절한 기준에 따르십시오.

2. Once the purpose of your project is clear, attend to the appropriate standards.

3. 질적 연구와 프로그램 평가가 충족시켜야 할 기준의 세트가 서로 다르다는 것을 안다.

3. Expect qualitative research to meet one set of standards and program evaluation to meet another.

장기적으로 할 수 있는 것

What You Can Do LONG TERM

1. 활용 중심의 평가, 개발 평가, 현실주의 평가 등 질적탐구에 잘 맞는 프로그램 평가 모델을 숙지한다.1–3

1. Become familiar with models of program evaluation that fit well with qualitative inquiry such as utilization-focused evaluation, developmental evaluation, or realist evaluation.1–3

2. 프로그램 평가 작업을 배포할 때, 청중에게 데이터의 품질을 판단하는 데 사용한 표준을 알려야 한다. 이 기준은 질적 연구와는 다르지만 여전히 중요하다.

2. When disseminating your program evaluation work, inform your audience of the standards you used to judge the quality of your data, standards which are as important as, but different from, qualitative research.

3. 의학교육에서 표준적합성 질적 연구와 표준적합성 프로그램 평가를 모두 보급할 수 있는 추가 장소를 지지한다.

3. Advocate for additional venues in which to disseminate both standard-conforming qualitative research and standard-conforming program evaluation in medical education.

---

. 2016 Dec;8(5):773-774.

 doi: 10.4300/JGME-D-16-00540.1.

Using Data From Program Evaluations for Qualitative Research

Dorene F Balmer, Jennifer A Rama, Maria Athina Tina Martimianakis, Terese Stenfors-Hayes

• PMID: 28018547
 
• PMCID: PMC5180537
 
• DOI: 10.4300/JGME-D-16-00540.1