연구-바탕 학습이 효과적인가? 사회과학에서 사전-사후 분석(STUDIES IN HIGHER EDUCATION, 2021)

연구-바탕 학습이 효과적인가? 사회과학에서 사전-사후 분석(STUDIES IN HIGHER EDUCATION, 2021)
Is research-based learning effective? Evidence from a pre–post analysis in the social sciences
Insa Wessels a,b, Julia Rueßa, Christopher Gessa, Wolfgang Deickea and Matthias Zieglerb

 

소개
Introduction

교육과 연구는 잘 정의된 다양한 교육 형식을 통해 연결될 수 있습니다. 그 중 하나는 학생이 지도 교수자의 도움을 받아 스스로 연구를 수행하는 연구 기반 학습(RBL)입니다. RBL은 현재 의미 있는 학습 경험의 부족과 자극적인 교육 형식의 필요성 등 고등 교육 분야의 다양한 요구를 해결하기 위한 만병통치약으로 여겨지고 있습니다. 따라서 몇몇 저자와 기관은 모든 학문적 연구 프로그램은 아니더라도 많은 학문적 연구 프로그램의 커리큘럼에 RBL을 통합해야 한다고 주장합니다(예: Healey와 Jenkins 2009). 실제로 미국 국립과학재단의 REU 프로그램과 같이 다양한 학문 분야와 형태로 RBL을 구현하려는 프로그램이 점점 더 많이 시도되고 있습니다. 이러한 노력의 주요 목표는 학생들에게 연구 참여를 경험할 수 있는 기회를 제공하는 것입니다. 과학, 기술, 공학 및 수학(STEM) 분야에서는 RBL이 실제로 그 약속에 부응하고 효과적인 학습 경험을 구성한다는 증거가 있습니다(Linn 외. 2015). 그러나 STEM 분야 외의 분야에서는 RBL이 어떤 연구 성향을 촉진하는지는 아직 불분명합니다. 따라서 본 연구는 다양한 인지적, 정의적 동기부여적 연구 성향의 습득에 관한 RBL의 효과를 사회과학 분야로 일반화할 수 있는지 살펴보고자 합니다. 
Teaching and research can be linked through a variety of well-defined instructional formats. One of these is research-based learning (RBL), in which students conduct their own research with the help of a supervisor. RBL is currently seen as a panacea for addressing a range of demands within higher education, e.g. a lack of meaningful learning experiences and the need for stimulating instructional formats. Accordingly, several authors and institutions claim that RBL should be incorporated into the curriculum of many if not every academic study programme (e.g. Healey and Jenkins 2009). Indeed, a growing number of programmes have attempted to implement RBL in a range of disciplines and forms, e.g. the REU programme by the US National Science Foundation. The main goal of these endeavours is to provide students with an opportunity to experience participation in research. In science, technology, engineering, and mathematics (STEM) disciplines, there is evidence that RBL does indeed live up to its promises and constitutes an effective learning experience (Linn et al. 2015). However, outside the STEM disciplines, it is still unclear which research dispositions RBL fosters. Thus, this study aims to examine whether RBL’s effectiveness regarding the acquisition of various cognitive and affective-motivational research dispositions can be generalised to the social sciences.

이론적 배경
Theoretical background

다른 형태의 연구 관련 교육과 관련하여 연구 기반 학습의 포지셔닝
Positioning research-based learning in relation to other forms of research-related teaching

교육과 연구는 다양한 방식으로 연결될 수 있습니다. 널리 사용되는 모델에서 Healey와 Jenkins(2009)는 두 가지 축을 따라 학생을 연구에 참여시키기 위한 다양한 교육 형식을 구분합니다.

• 첫 번째 축은 연구 결과 또는 연구 과정 중 어느 쪽을 강조하는지를 설명합니다.
• 다른 축은 학생이 참여자로서 능동적인 역할을 맡는지, 아니면 청중으로서 수동적인 역할을 맡는지를 설명합니다.

이 두 축은 네 가지 형식으로 결합할 수 있습니다: 연구-지도형, 연구 주도형, 연구 중심형, 연구 기반 학습입니다. RBL에서는 교수자가 연구 과정에 초점을 맞추고 학생은 능동적으로 연구와 탐구를 수행합니다. 그러나 이러한 설명은 학생의 연구 참여의 정확한 본질을 설명하지 못합니다. Huber(2014)는 RBL을 학생이 자신의 연구 질문에 따라 자율적인 방식으로 전체 연구 과정을 진행하는 교육 형식으로 정의합니다. 교수자는 촉진자 역할을 맡습니다. 이론적으로 도출된 이 정의는 연구 관련 형식의 경험적 분류(Rueß, Gess, Deicke 2016)에서 재현되었으며, 현재 연구에서 RBL의 기본 정의로 사용됩니다.각주1 
Teaching and research can be linked in different ways. In a popular model, Healey and Jenkins (2009) distinguish among different instructional formats for engaging students in research along two axes. The first axis describes whether the research results or the research process is emphasised. The other axis describes whether students take on an active role as participants or a passive role as audience. These two axes can be combined into four different formats: research-tutored, research-led, research-oriented and research-based learning. In RBL, teaching focuses on the research process, and students actively conduct research and inquiry. However, this description fails to describe the exact nature of students’ involvement in research. Huber (2014) further defines RBL as an instructional format in which students work through the entire research process in a self-regulated manner, guided by their own research questions. The instructor takes on a facilitating role. This theoretically derived definition was replicated in an empirical classification of research-related formats (Rueß, Gess, and Deicke 2016) and serves as the underlying definition of RBL in the current study.Footnote1

연구 기반 학습의 효과
The effectiveness of research-based learning

자신의 연구 프로젝트를 수행하는 것은 다양한 인지적, 행동적, 정서적 경험을 수반하며(Lopatto, 2009, 29), 이는 결과적으로 RBL과 관련된 다양한 이점으로 이어집니다. 
Conducting one’s own research project involves various cognitive, behavioural, and affective experiences (Lopatto, 2009, 29), which in turn lead to a wide range of benefits associated with RBL.

RBL은 과학적 커리어를 육성할 수 있기 때문에 장기적인 사회적 혜택과 관련이 있습니다: RBL에 참여한 학생들은 대학원 교육 또는 박사 학위 취득에 더 큰 관심을 보였으며(Lopatto 2007; Russell, Hancock, McCullough 2007), 졸업 후 6년 후에도 과학 관련 직업에 종사할 가능성이 더 높았습니다(Hernandez et al. 2018). 
RBL is associated with long-term societal benefits because it can foster scientific careers: Students participating in RBL reported a greater interest in pursuing postgraduate education or PhDs (Lopatto 2007; Russell, Hancock, and McCullough 2007) and were more likely to be engaged in scientific careers six years after graduation (Hernandez et al. 2018).

또한 RBL은 학계 밖의 직업에도 필요한 연구 기술을 육성합니다(British Academy 2012). RBL은 데이터나 상황을 객관적으로 검토하고 문제 해결의 즐거움을 찾는 능력, 즉 '연구자적 사고방식'을 개발하는 데 도움이 된다고 합니다(Wood 2003). 연구자의 사고방식은 다양한 직업 활동에서 효과적일 수 있습니다. 예를 들어 심리 치료 분야에서 치료사는 연구 지식을 활용하여 새로운 치료 접근법에 대한 증거를 참조할 수 있습니다(Levant 외. 2006). 따라서 연구 관련 지식과 기술을 습득하는 것은 과학 및 비과학 분야 모두에서 성공적으로 커리어를 쌓기 위한 전제 조건이며, 이는 이 글의 적절한 초점입니다. 
In addition, RBL fosters research skills that are also necessary for occupations outside academia (British Academy 2012). RBL is said to facilitate the development of a ‘researcher’s mindset’ – the ability to objectively examine data or a situation and finding enjoyment in solving problems (Wood 2003). A researcher’s mindset can be effective in a wide range of professional activities. For example, in the field of psychotherapy, therapists could draw upon their research knowledge to consult evidence on new therapeutic approaches (Levant et al. 2006). Hence, the acquisition of research-related knowledge and skills is a prerequisite for successfully engaging in both scientific and non-scientific careers – making it an appropriate focus for our article.

과제를 성공적으로 수행하려면 지식과 같은 인지적 성향과 이러한 지식을 실천에 옮기기 위한 정서적 동기 부여 성향이 모두 필요합니다(Blömeke, Gustafsson, Shavelson 2015). 성향은 특정 상황에서 개인이 일반적으로 어떻게 행동할지를 결정하는 다양한 잠재적, 개인적 자원(예: 태도, 특성 및 능력)을 나타내는 포괄적인 용어입니다(Schmidt-Atzert와 Amelang 2012, 63). 따라서 연구 영역에서 유능한 성과를 내기 위해서는 다양한 인지적(예: 지식) 및 정서적-동기적(예: 흥미) 연구 성향이 필요합니다. RBL이 다양한 인지적 및 정의적-동기적 연구 성향의 개발을 촉진하는 데 효과적인지 여부는 이전 연구의 초점이었습니다. 기존 증거는 다음 섹션에서 소개합니다. 
Successfully engaging in a task requires both cognitive dispositions, such as knowledge, and affective-motivational dispositions to put this knowledge into practice (Blömeke, Gustafsson, and Shavelson 2015). Disposition serves as an umbrella term to denote a range of latent, personal resources (e.g. attitudes, traits and abilities) that determine how an individual will normally act in a certain situation (Schmidt-Atzert and Amelang 2012, 63). Accordingly, competent performance in the research domain requires various cognitive (e.g. knowledge) and affective-motivational (e.g. interest) research dispositions. Whether RBL is effective at facilitating the development of different cognitive and affective-motivational research dispositions has been the focus of previous studies. The existing evidence will be introduced in the following sections.

인지적 이득
Cognitive gains

RBL의 효과에 대한 대부분의 경험적 연구는 인지적 연구 성향에 초점을 맞추고 있습니다. 그러나 이러한 연구의 대부분은 STEM 학생을 평가했으며(예: Linn 외. 2015; Seymour 외. 2004), 사회과학 분야에서 RBL의 효과를 조사한 연구는 소수에 불과합니다. 사회복지학 분야의 한 연구에서 학생들은 영역 전반의 연구 지식을 습득했습니다(Whipple, Hughes, Bowden 2015). 타라반과 로그(2012)는 심리학 학생들이 연구에 참여함으로써 연구 방법 기술 향상과 같은 다양한 인지적 이점을 얻을 수 있다는 증거를 발견했습니다. RBL에 참여하면 과학적 과정 전반에 대한 이해도도 높아질 수 있습니다(Lloyd, Shanks, Lopatto 2019). 
Most empirical studies on the effectiveness of RBL focus on cognitive research dispositions. However, the majority of these studies assessed STEM students (e.g. Linn et al. 2015; Seymour et al. 2004), with only a few studies investigating the effect of RBL in the social sciences. In a study from the field of social work, students gained domain-general research knowledge (Whipple, Hughes, and Bowden 2015). Taraban and Logue (2012) found evidence for a range of cognitive benefits of psychology students’ participation in research, such as improved research methods skills. Participation in RBL can also lead to increased understanding of the scientific process as a whole (Lloyd, Shanks, and Lopatto 2019).

다른 연구자들은 개별 연구 단계와 관련된 특정 기술, 예를 들어 통계 소프트웨어 사용 능력(Whipple, Hughes, Bowden 2015), 연구 결과의 전달 및 발표 능력(Stanford 외. 2017)을 조사했습니다. 또한 RBL은 비판적 사고(Hunter, Laursen, Seymour 2007; Kilgo, Ezell Sheets, Pascarella 2015)와 독립적으로 작업하는 능력(Stanford 외. 2017)과 같은 보다 일반적인 인지적 성향을 촉진하는 것으로 보입니다. 
Other researchers have examined specific skills pertaining to individual research steps, e.g. the ability to use statistics software (Whipple, Hughes, and Bowden 2015) and communicating and presenting one’s research (Stanford et al. 2017). RBL also seems to facilitate more general cognitive dispositions like critical thinking (Hunter, Laursen, and Seymour 2007; Kilgo, Ezell Sheets, and Pascarella 2015) and the ability to work independently (Stanford et al. 2017).

따라서 사회과학에서 RBL은 다양한 인지적 성향을 촉진하는 데 효과적인 것으로 보이지만, 이러한 결과는 예비적 증거로만 사용될 수 있습니다. 이 분야의 이러한 연구와 다른 연구들의 해석 가능성과 관련된 문제는 방법론적 설계에 있습니다: 대부분의 기존 연구는 주관적인 사후 평가와 스스로 평가한 기술 향상에 초점을 맞추고 있습니다(예: 스탠포드 외. 2017). 그러나 자기 평가는 종종 성격(John and Robins 1994) 또는 기술 수준 자체(숙련되지 않은 학생은 자신의 능력을 과대평가함, Kruger와 Dunning 1999 참조)에 의해 왜곡될 수 있습니다. 객관적인 척도를 사용한 대규모 조사는 보다 실질적인 결론을 제공하지만, 지금까지는 STEM 학생을 대상으로만 완료되었습니다(예: Russell, Hancock, McCullough 2007). Linn 등(2015)은 RBL의 효과를 객관적으로 조사할 수 있는 유효한 척도가 부족하다는 것이 근본적인 문제라고 지적합니다. 이 문제를 해결하기 위해 사회과학 분야의 인지적 연구 성향을 객관적으로 측정하는 사회과학 연구 역량 테스트가 Gess와 동료들에 의해 개발되었습니다(Gess, 가이거, 지글러 2018; Gess, 웨셀스, 블뢰메케 2017). 이 도구는 연구 과정의 중요한 단계를 수행하는 데 필요한 다양한 연구 지식 영역의 일관된 모델을 기반으로 합니다(부록 1, 온라인 보충 데이터 참조). 검증 연구에서 이 도구는 사회과학 연구 교육을 평가하는 데 적합한 것으로 나타났으며 RBL의 인지적 이점을 객관적으로 측정할 수 있는 도구로 사용될 수 있습니다. 
Thus, while RBL in the social sciences seems to be effective at facilitating a range of different cognitive dispositions, these results can only serve as preliminary evidence. A problem concerning the interpretability of these and other studies in the field lies in their methodological designs: Most existing studies focus on subjective ex-post assessments and self-evaluated skill gains (e.g. Stanford et al. 2017). However, self-assessments are often distorted by personality (John and Robins 1994) or skill levels themselves (unskilled students overestimate their abilities, see Kruger and Dunning 1999). Large-scale investigations using objective measures provide more substantial conclusions, but have so far only been completed for STEM students (e.g. Russell, Hancock, and McCullough 2007). Linn et al. (2015) note that the underlying problem is a lack of valid measures to objectively investigate the effectiveness of RBL. To address this problem, the Social-scientific Research Competency Test, an objective measure of cognitive research dispositions in the social sciences, was developed by Gess and colleagues (Gess, Geiger, and Ziegler 2018; Gess, Wessels, and Blömeke 2017). The instrument is based on a coherent model of different areas of research knowledge necessary to conduct critical steps in the research process (see Appendix 1, online supplemental data). In validation studies, the instrument has been shown to be suitable for evaluating social-scientific research education and could serve as an objective measure of the cognitive benefits of RBL.

정서적 동기 부여 효과
Affective-motivational gains

고등 교육 연구에서 학습에 대한 정서적 동기 부여 측면의 중요성을 점점 더 인정하고 있습니다(예: Postareff와 Lindblom-Ylänne 2011). 이러한 일반적인 추세를 반영하여 RBL에 대한 연구에서도 정서적 동기 부여에 대한 관심이 높아지고 있습니다. 
Higher education research is increasingly acknowledging the importance of affective-motivational aspects for learning (e.g. Postareff and Lindblom-Ylänne 2011). Reflecting this general trend, affective-motivational gains have also drawn increased attention in research on RBL.

RBL이 정서적 동기 부여 연구 성향을 변화시킬 수 있다는 증거는 여러 분야의 표본을 대상으로 한 연구에서 종종 발견됩니다. 연구 자기 효능감 향상(Deicke, Gess, Rueß 2014; Whipple, Hughes, Bowden 2015), 지적 호기심 증가(Bauer, Bennett 2003), 연구 과정의 장애물에 대한 높은 내성(Lloyd, Shanks, Lopatto 2019) 등의 이점이 입증되었습니다. 또한 STEM 학생을 대상으로 한 연구에서는 학습에 대한 열망이 더 크고 모호한 문제를 해결하려는 성향이 증가하는 것으로 나타났습니다(Ward, Bennett, Bauer 2003). 
Evidence on RBL’s potential to alter affective-motivational research dispositions often stems from studies with multidisciplinary samples. Demonstrated benefits include higher research self-efficacy (Deicke, Gess, and Rueß 2014; Whipple, Hughes, and Bowden 2015), increased intellectual curiosity (Bauer and Bennett 2003) and a higher tolerance for obstacles in the research process (Lloyd, Shanks, and Lopatto 2019). Furthermore, a study with STEM students demonstrated a greater desire to learn and an increased disposition towards working with ambiguity (Ward, Bennett, and Bauer 2003).

기존의 몇몇 연구는 모두 개인의 정서적-동기적 연구 성향을 조사했으며, 주로 탐색적인 방식으로 진행되었습니다. 그러나 연구를 수행하는 것은 학생들이 불확실성과 다양한 좌절을 처리해야 하는 특히 까다로운 작업입니다(John and Creighton 2011). 따라서 연구를 성공적으로 수행하려면 연구 과정의 어려움에 대처할 수 있는 다양한 정서적-동기적 성향이 필요하다고 가정할 수 있습니다. 사회과학 분야의 학생 연구에 필요한 정서적-동기적 연구 성향에 대한 일관되고 경험적으로 근거한 모델이 최근에 개발되었습니다(Wessels 외. 2018). 예를 들어, 연구 과정을 시작하고 유지하는 데 필요한 성향은 연구 흥미가 필요하며, 연구 과정을 지속하려면 불가피한 좌절에 대처할 수 있는 좌절 내성이 필요합니다. RBL이 이러한 연구 성향을 개발하는 데 효과적인지 여부는 불분명합니다.  
The few existing studies all examine individual affective-motivational research dispositions, often in an exploratory manner. However, conducting research is an especially demanding task that requires students to handle uncertainties and manifold frustrations (John and Creighton 2011). Thus, it can be assumed that successfully conducting research requires a range of different affective-motivational dispositions to cope with the challenges of the research process. A coherent, empirically grounded model of the affective-motivational research dispositions necessary for student research in the social sciences has been recently developed (Wessels et al. 2018). It encompasses dispositions that are necessary to begin and to sustain the research process: for example, research interest is needed to initiate a research process, while sustaining it requires frustration tolerance to cope with inevitable setbacks. It is unclear whether RBL is effective in developing these research dispositions.

전반적으로 사회과학에서 RBL의 본질과 효과에 대한 연구는 다른 분야의 연구와 달리 일반적으로 부족하고 취약한 방법론적 설계에 기반하는 경우가 많습니다. 그러나 STEM 학생을 대상으로 한 연구에서 얻은 증거가 사회과학에 쉽게 적용된다고 가정할 수는 없습니다.

• 첫째, 연구는 사회과학보다 자연과학 분야의 대학 프로그램에서 더 중요해 보입니다(Taraban and Logue 2012 참조).
• 둘째, STEM 분야의 연구 경험은 대부분 교육적 문화가 다를 수 있는 구조화된 실험실 환경에서 이루어집니다(Rand 2016).
• 셋째, 학문 분야별 결과 변수를 조사하려면 해당 학문 분야에서 연구를 수행해야 합니다. 

Overall, studies on the nature and effectiveness of RBL in the social sciences are generally scarce and often based on weak methodological designs – in contrast to studies from other disciplines. However, one cannot assume that the evidence gained in studies with STEM students easily translates to the social sciences.

• First, research seems more important to university programmes in the natural sciences than in the social sciences (cf. Taraban and Logue 2012).
• Second, most research experiences within STEM disciplines occur in structured lab environments that might have a different pedagogical culture (Rand 2016).
• Third, if discipline-specific outcome variables are to be investigated, a study needs to be conducted in that specific discipline.

또 다른 미해결 질문은 사회과학에서 RBL이 다양한 연구 성향의 변화에 영향을 미치는 과정에 관한 것입니다. STEM 학생을 대상으로 한 연구에서 학습 향상에 대한 주요 예측 변수는 연구 경험의 기간과 강도입니다. 연구 경험이 오래 지속되고 강도가 높을수록 기술 수준이 더 크게 향상됩니다(Bauer와 Bennett 2003). 또 다른 연구에 따르면 연구 과정에서 자율성(예: 스스로 방법론을 결정할 수 있는 자율성)이 높은 학생일수록 학습 성과가 더 높은 것으로 나타났습니다(Gilmore 외. 2015). 그러나 사회과학에서 RBL 과정의 어떤 특성이 다양한 연구 성향의 변화에 영향을 미치는지는 아직 연구되지 않았습니다. 
Another open question pertains to the processes by which RBL in the social sciences affects changes in different research dispositions. In studies with STEM students, the main predictors of learning gains are the duration and intensity of the research experience: longer-lasting and more intense research experiences lead to stronger increases in skill levels (Bauer and Bennett 2003). Another study found that students with higher levels of autonomy in the research process, e.g. the autonomy to make their own methodological decisions, showed stronger learning gains (Gilmore et al. 2015). However, which characteristics of RBL courses in the social sciences affect changes in different research dispositions has not been studied yet.

연구 질문 및 가설
Research questions and hypotheses

이 백서의 목적은 사회과학에서 RBL 과정의 효과를 분석하는 것입니다.

• (1) 연구 기반 학습이 인지적 및 정의적-동기적 연구 성향에 긍정적인 영향을 미치는가?
• (2) 다양한 코스 특성이 이러한 연구 성향의 변화와 어떤 관련이 있는가?

The objective of this paper is to analyse the effectiveness of RBL courses in the social sciences. Two main research questions guided our work:

• (1) Does research-based learning have a positive effect on cognitive and affective-motivational research dispositions?
• (2) How do different course characteristics relate to changes in these research dispositions?

첫 번째 연구 질문과 관련하여 다음과 같은 가설을 테스트했습니다:
Pertaining to the first research question, the following hypotheses were tested:

• 가설 1a: 이전 연구에서 학생의 연구 경험과 자기 평가 지식 습득 간의 연관성이 발견되었으므로(Taraban and Logue 2012), 연구 지식(방법 지식, 방법론 지식, 연구 과정 지식)에 대한 사전 시험 점수보다 사후 시험 점수가 유의미하게 높을 것으로 예측합니다. 
  Hypothesis 1a: As previous studies have found associations between student research experiences and self-evaluated knowledge gains (Taraban and Logue 2012), we predict that students will have significantly higher post-test scores than pre-test scores for research knowledge (knowledge of methods, knowledge of methodologies and research process knowledge).
• 가설 1b: 이전 연구에서 학생의 연구 경험과 연구 과정의 장애물에 대한 높은 내성(Lloyd, Shanks, and Lopatto 2019)과 모호성을 다루는 능력 증가(Ward, Bennett, and Bauer 2003) 사이의 연관성이 발견되었으므로, 우리는 학생들이 정서적 동기 연구 성향에 대해 사전 테스트 점수보다 사후 테스트 점수가 유의하게 높을 것으로 예측합니다. 
  Hypothesis 1b: As previous studies have found associations between student research experiences and a higher tolerance for obstacles in the research process (Lloyd, Shanks, and Lopatto 2019) as well as an increased ability to work with ambiguity (Ward, Bennett, and Bauer 2003), we predict that students will have significantly higher post-test scores than pre-test scores for affective-motivational research dispositions.

두 번째 연구 질문과 관련하여 다음과 같은 가설을 테스트했습니다:
Pertaining to the second research question, the following hypotheses were tested:

• 가설 2a: STEM 분야의 연구에서 더 길고 강도 높은 연구 경험(Bauer와 Bennett 2003)이 RBL 참여 효과에 긍정적인 영향을 미친다는 사실이 입증되었으므로, 연구 경험의 강도, 즉 수행한 연구 단계의 수가 연구 지식의 변화에 영향을 미칠 것으로 예측합니다. 
  Hypothesis 2a: Since studies in STEM disciplines have demonstrated that longer and more intense research experiences (Bauer and Bennett 2003) have a positive influence on the effect of participation in RBL, we predict that the intensity of the research experience, i.e. the number of research steps performed, will influence changes in research knowledge.
• 가설 2b: 연구 과정에서의 자율성이 높을수록 RBL 참여 효과에 긍정적인 영향을 미친다는 연구 결과(Gilmore 외. 2015)가 있으므로, 학생들의 자율성, 즉 연구 질문과 연구 방법을 자유롭게 선택할 수 있는 능력은 정서적-동기적 연구 성향의 변화에 긍정적인 영향을 미칠 것으로 예측합니다. 
  Hypothesis 2b: Since studies in STEM disciplines have demonstrated that higher levels of autonomy in the research process (Gilmore et al. 2015) positively impact the effect of participation in RBL, we predict that students’ autonomy, i.e. ability to freely choose a research question and a research method, will positively affect changes in affective-motivational research dispositions.
• 가설 2c: 학생들의 자기 효능감, 자신이 '진짜 연구'를 하고 있다는 지각, 학생들의 과제에 대한 교수자의 관심, 향후 진로에 대한 RBL의 유용성 지각 등 다양한 동기 부여 요인이 정의적-동기적 성향의 변화에 긍정적인 영향을 미칠 것이라고 예측합니다. 
  Hypothesis 2c: We predict that different motivating factors, e.g. students’ self-efficacy, the perception that they are doing ‘real research’, perceived instructor interest in the students’ work, and the perceived usefulness of RBL for their later career will positively affect changes in affective-motivational dispositions.

연구 방법
Methods

연구 질문에 답하기 위해 10개 대학에서 다양한 사회과학 분야에서 제공되는 RBL 과정의 시작과 종료 시점에 종이 기반 측정을 실시했습니다.
To answer our research questions, paper-based measurements were conducted at the beginning and the end of RBL courses offered in different social scientific disciplines at 10 different universities.

절차
Procedure

사회과학 분야의 비교 가능한 RBL 과정을 연구하는 것이 목적이었기 때문에 경험적 사회과학 연구 방법을 사용하는 학습 프로그램의 커리큘럼만 고려했습니다. 여기에는 사회학, 정치학, 심리학, 교육학이 포함되었습니다(Gess, Wessels, Blömeke 2017 참조). 
As the objective was to study comparable RBL courses in the social sciences, only the curricula of study programmes employing empirical social science research methods were considered. These included sociology, political science, psychology, and education science (see also Gess, Wessels, and Blömeke 2017).

적합한 RBL 코스는 코스 설명을 통해 확인했습니다. RBL의 정의에 따라 학생들이 자율적인 방식으로 전체 연구 주기를 경험할 수 있는 코스만 고려했습니다. 146개 코스의 강사에게 이메일을 통해 연락하여 연구 참여를 요청했으며, 65명이 참여에 동의했고 50명은 주로 강의 시간 제약으로 인해 참여를 원하지 않았으며 나머지 31명의 강사는 응답하지 않았습니다. 사전 테스트는 과정의 첫 2주 동안, 사후 테스트는 과정의 마지막 2주 동안 예정되어 있었습니다.
Suitable RBL courses were identified via their course descriptions. Only courses that allowed students to experience a full research cycle in a self-regulated manner were considered, in line with our definition of RBL. The instructors of 146 courses were contacted via email and asked to participate in the study; 65 agreed to participate, 50 did not wish to participate, mostly due to time constraints in the course, and the remaining 31 instructors did not respond. Pre-tests were scheduled for the first two weeks of the course, and post-tests for the last two weeks of the course.

사전 및 사후 측정은 독일 전역의 10개 대학에서 총 70개의 RBL 코스에서 실시되었습니다. 실험에 참여한 모든 대학은 다양한 분야의 학위를 제공하는 10,000~50,000명의 학생을 보유한 국공립 대학이었습니다. 
Altogether, pre- and post-measurements were conducted in N = 70 RBL courses at 10 universities across Germany. All universities included were state-funded public universities with 10,000-50,000 students offering degrees in a wide range of disciplines.

테스트는 이 기사의 저자 중 한 명이 수업 시간에 진행했으며, 그는 연구의 절차 및 일반적인 목적을 설명했습니다. 설문지는 인쇄된 소책자 형태로 배포되었습니다. 생일 월 등 민감하지 않은 정보를 기반으로 한 개인 6자리 코드를 사용하여 익명성을 보장하면서 사전 및 사후 설문지를 일치시켰습니다. 설문지를 작성하는 데 약 25분 정도 소요되었습니다. 사후 테스트도 동일한 절차를 따랐습니다. 또한 코스 강의의 특성에 대한 간단한 강사 설문조사도 실시했습니다. 
The testing itself was conducted during class time by one of the authors of this article, who explained the procedure and general purpose of the study. The questionnaires were administered in the form of printed booklets. A personal 6-digit code based on non-sensitive information, e.g. birthday month, was used to match pre- and post-test questionnaires while granting anonymity. Filling in the questionnaire took approximately 25 min. The post-test followed the same procedure. Additionally, a brief instructor survey on characteristics of the course instruction was administered.

샘플
Sample

표본은 총 952명의 학생(여성 74.1%, 남성 23.5%)으로 구성되었으며, 이 중 881명이 1차 측정에, 539명이 2차 측정에 참여했습니다. 첫 번째 측정 시점의 참여율이 더 높았던 이유는 학기 초에 코스 출석률이 높았기 때문입니다.
The sample encompassed N = 952 students (74.1% female, 23.5% male), of which 881 participated in the first measurement and 539 participated in the second measurement. Higher participation rates at the first measurement point were due to higher course attendance at the beginning of the semester.

참여 학생의 평균 연령은 M = 24.38세(SD = 4.79)였습니다. 학생의 61.6%는 학사 과정에 재학 중이었고 29.5%는 석사 과정에 재학 중이었습니다. 50명의 학생은 전통적인 독일 대학 졸업장과 같은 다른 학습 프로그램에 등록했으며, 학습 진도에 따라 학사 또는 석사 과정 학생으로 분류되었습니다. 학사 과정 학생들은 평균적으로 2학년이 거의 끝날 무렵이었으며, 이수한 학기 수는 평균 3.33학점(SD = 1.67)이었습니다. 석사 과정 학생들은 평균적으로 석사 2학년 초에 재학 중이었으며, 평균 이수 학기는 M = 2.57 (SD = 1.63) 학기였습니다.  
The mean age of the participating students was M = 24.38 years (SD = 4.79). 61.6% of the students were enrolled in a bachelor’s programme, while 29.5% were enrolled in a master’s programme. Fifty students were enrolled in other study programmes, such as the traditional German university diploma, and were treated as either bachelor’s or master’s students depending on their study progress. Bachelor’s students were near the end of their second year of study on average; the mean number of semesters completed was M = 3.33 (SD = 1.67). Master’s students were at the beginning of their second year of master’s studies on average, with M = 2.57 (SD = 1.63) semesters of the degree completed on average.

학생들은 교육학(31.4%), 심리학(22.4%), 사회학(10.3%), 커뮤니케이션학(8.6%), 정치학(5.5%) 등 다양한 전공 분야에 등록했으며 나머지 학생들은 미디어 연구와 같은 보다 구체적인 사회과학 과목을 공부하고 있었습니다. 
The students were enrolled in different fields of study, namely educational science (31.4% of the students), psychology (22.4%), sociology (10.3%), communication science (8.6%), and political science (5.5%) The remaining students were studying other, more specific social scientific subjects (i.e. media studies).

학생들은 70개의 RBL 과정 중 하나에 등록했습니다. 참여는 종종 학생들의 학습 프로그램에서 필수적인 부분이었습니다: 41.8%의 학생들은 이 특정 과정에 의무적으로 등록해야 했고, 35.7%는 다른 RBL 과정을 선택할 수 있었으며, 17.6%만이 RBL 교육 형식이 포함되지 않은 과정을 선택할 수 있었습니다. 코스당 평균 참가자 수는 M = 13.54명(SD = 12.62명)이었습니다. 대부분의 학생은 한 학기 코스에 등록했으며(77.7%), 22.3%의 학생은 두 학기 코스에 등록했습니다. 65명의 강사 또는 공동 교수진이 강의를 진행했습니다. 이 중 52명의 강사가 코스 종료 시 강사 설문조사에 참여했습니다. 
The students were enrolled in one of 70 RBL courses. Participation was often a mandatory part of the students’ study programmes: 41.8% of the students were required to enrol in this specific course; an additional 35.7% could have chosen a different RBL course, while only 17.6% could have chosen a course not involving the instructional format of RBL. The average number of participants per course was M = 13.54 (SD = 12.62). The majority of students were enrolled in one-semester courses (77.7%); 22.3% of the students were enrolled in two-semester courses. The courses were led by 65 different instructors or co-teaching teams. Fifty two of these instructors participated in the instructors’ survey at the end of the course.

측정 항목
Measures

연구 지식 Research knowledge

사회과학 분야의 연구 지식을 평가하기 위해 Gess, Wessels, Blömeke(2017)의 9개 항목으로 구성된 사회과학 연구 역량 측정의 짧은 버전이 사용되었습니다. 이 테스트는 양적 연구와 질적 연구에 관한 문항으로 연구 방법에 대한 지식, 방법론에 대한 지식, 연구 과정 지식을 평가합니다. 이 시험은 다양한 연구 문제에 대한 객관식 문항과 함께 짧은 비네팅을 사용합니다(부록 1, 온라인 보충 데이터의 샘플 문항 참조). 이 도구는 여러 검증 연구를 거쳤으며 학사 및 석사 학위 프로그램에서 사회과학 연구 과정을 평가하는 데 적합합니다(Gess, Geiger, Ziegler 2018; Gess, Wessels, Blömeke 2017). 27개 문항으로 구성된 전체 측정은 완료하는 데 35분이 걸리고 수업 시간이 부족하기 때문에 변별 변인, 문항 난이도, 신뢰도, 장문 버전과의 상관관계를 바탕으로 내용 영역 측면에서 원래 시험의 전체 범위를 반영하는 9개 문항으로 구성된 짧은 버전이 개발되었습니다. 짧은 버전의 개인별 점수와 긴 버전의 개인별 점수의 상관관계는 r = 0.86으로, 두 버전이 유사한 구성을 측정한다는 것을 나타냅니다. 그러나 짧은 버전의 테스트는 긴 버전과 동일한 검증 절차를 거치지 않았다는 점에 유의해야 합니다. 학생들의 답변은 정답(1) 또는 오답(0)으로 코딩되어 최종 데이터는 9개의 이분법적 항목으로 구성되었습니다. 신뢰도는 가중 오메가 h = 0.69로 수용 가능한 수준이었습니다(표 1 참조). 

A 9-item short version of the social-scientific research competence measure by Gess, Wessels, and Blömeke (2017) was used to assess research knowledge in the social sciences. This test assesses knowledge of research methods, knowledge of methodologies and research process knowledge with items referring to both quantitative and qualitative research. The test uses short vignettes coupled with multiple choice questions on different research problems (see sample item in Appendix 1, online supplemental data). The instrument has gone through several validation studies and is suitable for the evaluation of research courses in the social sciences in both bachelor’s and master’s degree programmes (Gess, Geiger, and Ziegler 2018; Gess, Wessels, and Blömeke 2017). Since the full 27-item measure takes 35 min to complete and in-class time was sparse, a 9-item short version reflecting the full breadth of the original test in terms of content areas was developed based on the discrimination parameters, item difficulty, reliability and correlation with the long version. The correlation of the person scores for the short version and the person scores for the long version is r = 0.86, which indicates that the two versions measure a similar construct. However, it must be noted that the short version of the test has not undergone the same validation procedure as the long version. The students’ answers were coded as either correct (1) or incorrect (0), such that the final data consisted of 9 dichotomous items. The reliability was acceptable, with weighted omega h = 0.69 (see Table 1).

cshe_a_1739014_sm1493.docx

0.34MB

 

정서적-동기적 연구 성향

Affective-motivational research dispositions

정서적-동기적 연구 성향 모델(Wessels 등, 2018)은 사회과학 연구를 수행하는 데 필요한 9가지 성향을 포괄하며, 이 중 4가지 성향을 본 연구에서 조사 대상으로 선정했습니다.

• (1) 연구에 대한 가치 관련 관심은 연구의 유용성에 대한 신념을 포함합니다.
• (2) 연구 수행의 즐거움은 다양한 연구 활동과 관련하여 경험하는 즐거움을 의미합니다.
• (3) 연구 관련 불확실성 내성은 연구 과정의 불확실성에 대처하는 성향을 의미합니다.
• (4) 연구 관련 좌절 내성은 연구 과정에서 좌절을 견딜 수 있는 성향을 의미합니다.

The model of affective-motivational research dispositions (Wessels et al. 2018) encompasses nine necessary dispositions for pursuing research in the social sciences, of which four were selected to be investigated in the present study.

• (1) Value-related interest in research subsumes beliefs about the usefulness of research.
• (2) Finding joy in conducting research denotes the joy experienced with respect to different research activities.
• (3) Research-related uncertainty tolerance is the disposition to handle uncertainties in the research process.
• (4) Research-related frustration tolerance is the disposition to endure setbacks in the research process.

자기 평가 척도(샘플 항목과 기본 설명 데이터는 표 1에서 확인할 수 있음)는 연역적 및 귀납적 검사 구성 절차에 따라 다단계 프로세스로 개발되었습니다(Burisch 1984). 먼저, 고정된 이론 중심의 구성 원칙에 따라 각 성향별로 최소 20개의 문항을 구성했습니다(Wilson 2005). 문항은 사회과학과 학생 250명을 대상으로 한 파일럿 연구를 바탕으로 선정 및 개선되었습니다. 최종 도구는 각 성향당 4~5개 문항으로 구성되었으며, 보통 또는 양호한 신뢰도를 보였습니다(가중 오메가 h = 0.68-0.82). 모든 정서적 동기 부여 측정의 응답 형식은 1점(전혀 동의하지 않음)에서 5점(전혀 동의함)까지의 5점 리커트 척도입니다.
Self-assessment scales (sample items and basic descriptive data can be found in Table 1) were developed in a multistep process following deductive and inductive test construction procedures (Burisch 1984). First, at least 20 items per disposition were constructed according to fixed theory-driven construction principles (Wilson 2005). The items were selected and refined based on a pilot study with N = 250 students from the social sciences. The final instruments encompass 4 or 5 items per disposition and exhibit acceptable or good reliabilities (weighted omega h = 0.68–0.82). The response format for all affective-motivational measures was a five-point Likert scale ranging from 1 (completely disagree) to 5 (completely agree).

교수자 및 코스 특성
Instructor and course characteristics

학생 설문 조사
Student survey

사전 및 사후 테스트 중에 학생에게 추가 정보를 요청했습니다. 사전 테스트에서는 학생들이 스스로 평가한 연구 자기 효능감(5점 척도 6개 항목, 예: '주요 변수를 조작하기 어렵더라도 정량적 연구에 적합한 평가 도구를 찾을 수 있다고 확신한다')이 포함되었습니다. 사후 테스트에서 학생들은 지금까지 수행한 연구 단계(예: 관련 문헌 검색), 연구 프로젝트에 대한 강사의 관심도, '실제' 연구를 하고 있는지에 대한 인식, 향후 커리어에 대한 이 과정의 유용성에 대해 질문했습니다(모두 5점 척도로 각 항목 1개씩 측정). 
During the pre- and post-test, students were asked for additional information. At pre-test, this included their self-assessed research self-efficacy (6 items on a 5-point scale, e.g. ‘I am sure I can find suitable assessment tools for a quantitative study, even if the main variable is difficult to operationalize’). At post-test, students were asked about the research steps (e.g. searching for relevant literature) they had completed so far, their perception of the instructor’s interest in their research project, their perception of whether they were doing ‘real’ research, and the perceived usefulness of the course for their later career (all measured with one item each on a 5-point scale).

강사 설문조사
Instructor survey

사후 테스트는 강사의 관점에서 강좌의 교육 개념에 대한 정보를 수집하는 데에도 사용되었습니다. 강사에게 배포된 5분 분량의 설문지를 통해 학생들이 연구 질문과 방법을 자율적으로 선택할 수 있는지에 대해 질문했습니다(5점 척도 2개 항목). 
The post-test was also used to gather information about the course’s instructional concept from the instructor’s perspective. A 5-minute questionnaire distributed to the instructors asked about students’ autonomy in choosing their own research question and method (two items on a five-point scale).

통계 분석
Statistical analysis

첫 번째 단계로, 학생들의 사전 및 사후 테스트 데이터는 개인 6자리 코드를 통해 매칭되었습니다. SPSS 23을 사용하여 데이터 확인 및 매니페스트 변수에 대한 설명적 분석을 수행했습니다. 시간 경과에 따른 다양한 변수의 변화를 조사하기 위해 잠재 변화 점수 모델링(McArdle 2009, LCM)과 다중 회귀 분석을 사용했습니다. LCM과 필요한 모든 선행 분석은 Mplus 버전 8(Muthén and Muthén 2017)을 사용하여 수행했습니다. 다음 세 단계가 수행되었습니다:  
In a first step, students’ pre- and post-test data were matched via their personal six-digit code. We used SPSS 23 to conduct data checks and descriptive analyses of the manifest variables. To investigate changes in the different variables over time, we employed latent change score modelling (McArdle 2009; LCM) and multiple regressions. LCM and all necessary preceding analyses were performed with Mplus version 8 (Muthén and Muthén 2017). The following three steps were performed:

차원성 테스트
Dimensionality tests

가정된 요인 구조를 확인하고 데이터의 의미 있는 해석을 위해 모든 변수에 대해 확인적 요인 분석을 실시했습니다(부록 2, 온라인 보충 데이터 참조). 거의 모든 변수에 대해 단차원 모형이 더 나은 모델 적합도를 보였습니다. 유일한 예외는 '연구 수행의 즐거움 찾기' 변수였는데, 이 변수는 1차원 모형과 3차원 모형 모두에서 부적합한 모델 적합도를 나타냈습니다. 따라서 데이터의 의미 있는 해석을 위해 이 구성요소를 두 가지 요인으로 분리하여 후속 분석을 실시했습니다.

• 첫 번째 요인은 '과학 문헌 작업의 즐거움'을,
• 두 번째 요인은 '경험적 데이터 작업의 즐거움'을 설명합니다. 

To confirm the assumed factor structures and allow for a meaningful interpretation of the data, we conducted confirmatory factor analyses on all variables (see Appendix 2, online supplemental data). For almost all variables, the unidimensional model exhibited better model fit. The only exception was the variable ‘Finding joy in conducting research’, which exhibited inadequate model fits in both the unidimensional and the three-dimensional solution. Hence, subsequent analyses were conducted with two separate factors for this construct to ensure a meaningful interpretation of the data. The first factor describes ‘joy in working with scientific literature’, while the second describes ‘joy in working with empirical data’.

측정값 불변성 테스트
Measurement invariance tests

잠재 변화 점수 모델링의 전제 조건은 강력한 요인 불변성입니다(McArdle 2009). 강력한 요인 불변성이 주어져야만 모든 요인 적재량과 절편이 모든 측정 지점에 대해 동일한 값으로 고정될 수 있습니다. Meredith와 Horn(2001)에 따라 점점 더 제약이 많은 모델의 CFI 값을 비교했습니다(부록 3, 온라인 보충 데이터 참조). 모든 변수에 대해 강력한 요인 불변성 또는 부분 측정 불변성이 확립되었으며, 이는 후속 분석이 의미 있게 해석될 수 있음을 의미합니다. 
A prerequisite for latent change score modelling is strong factorial invariance (McArdle 2009). Only if strong factorial invariance is given can all factor loadings and intercepts be fixed to the same values for all measurement points. Following Meredith and Horn (2001), the CFI values of increasingly constrained models were compared (see Appendix 3, online supplemental data). For all variables, either strong factorial invariance or partial measurement invariance was established, meaning that the subsequent analyses can be meaningfully interpreted.

잠재 변화 점수 모델링
Latent change score modelling

그런 다음 시간에 따른 변수의 변화를 조사하기 위해 잠재 변화 점수 모델링(LCM)을 사용했습니다. LCM에서 변화는 두 개 이상의 측정 지점에서의 변화를 표현하는 잠재 차이 변수로 모델링됩니다(그림 1 참조). 이 접근 방식을 통해 측정 오류 없이 개인 내 변화의 개인 간 차이를 관찰할 수 있습니다(McArdle 2009).  
We then employed LCMs to examine changes in our variables over time. In LCM, change is modelled with latent difference variables that express the change across two or more measurement points (see Figure 1). This approach enables us to observe interindividual differences in intraindividual change free from measurement error (McArdle 2009).

LCM 분석은 두 단계로 수행되었습니다:

• 첫 번째 단계에서는 각 변수에 대해 단변량 LCM(두 개의 측정 지점, T1 및 T2 포함)을 지정했습니다. 잠재 변화 변수는 T1에서 T2까지의 개인 내 변화를 나타냅니다. 따라서 이 변수는 가설 H1a 및 H1b(효과)를 테스트하기 위해 해석되었습니다. 잠재 변화 변수의 분산은 개인 간 차이, 즉 학생의 연구 성향이 다른 방식으로 발전하는지 여부를 나타냅니다.
• 유의미한 개인 간 차이가 발견되면 두 번째 단계로 잠재 변화 변수를 6가지 코스 특성에 따라 회귀 분석했습니다. 그런 다음 회귀 계수를 해석하여 가설 H2a, H2b 및 H2c(코스 특성의 영향)를 테스트했습니다. 

LCM analyses were performed in two steps:

• In the first step, we specified univariate LCMs (with two measurement points, T1 and T2) for each variable. The latent change variable indicates intraindividual changes from T1 to T2. Therefore, this variable was interpreted to test hypotheses H1a and H1b (effectiveness). The variance of the latent change variable indicates interindividual differences, i.e. whether students’ research dispositions develop in different ways.
• When significant interindividual differences were found, in a second step, the latent change variable was regressed on six different course characteristics. The regression coefficients were then interpreted to test hypotheses H2a, H2b and H2c (impact of course characteristics).

데이터의 중첩된 구조(70개 코스에 중첩된 952명의 학생)를 설명하기 위해 Mplus 명령 TYPE = COMPLEX를 사용하여 코스를 클러스터 변수로 사용했습니다. 또한 두 측정 지점에서 동일한 항목을 사용하여 발생하는 방법 분산을 설명하기 위해 자동 상관 오류를 포함했습니다. 누락된 데이터는 전체 정보 최대 가능성 추정(FIML)을 사용하여 처리했습니다. 양호한 모델 적합도를 결정하기 위한 기준으로는 Hu와 Bentler(1999)가 제시한 기준을 사용했으며, CFI가 0.95 이상이고 RMSEA가 0.06 미만인 모델을 적절한 적합도를 가진 것으로 간주했습니다. 
To account for the nested structure of the data (N = 952 students nested in 70 courses), we used the course as a cluster variable with the Mplus command TYPE = COMPLEX. Additionally, auto-correlated errors were included to account for method variance resulting from the use of the same items over the two measurement points. Missing data were handled using full-information maximum likelihood estimation (FIML). The criteria suggested by Hu and Bentler (1999) were used as a reference point for determining good model fit: models with a CFI > 0.95 and a RMSEA < 0.06 were considered to have adequate fit.

결과
Results

단변량 잠재 변화 점수 모델: 시간에 따른 개인의 인지 및 정서적-동기적 연구 성향의 변화(가설 H1a 및 H1b)
Univariate latent change score models: changes in individual cognitive and affective-motivational research dispositions over time (hypotheses H1a and H1b)

연구 지식
Research knowledge

연구 지식에 대한 LCM은 양호한 모델 적합도를 보였습니다(표 2 참조). 변화 변수의 평균은 작지만 유의미했으며(ΔM = 0.04, p < .01), 이는 T1에서 T2로 유의미한 변화가 있었음을 나타냅니다. 즉, RBL 과정을 수강한 후 학생들은 T1보다 평균 0.45개 문항(9개 문항 중)을 더 많이 정답으로 맞힐 수 있었습니다. 따라서 데이터는 가설 H1a를 지지했습니다. 변화 변수의 분산은 매우 작고 유의하지 않았으며(σ2 = 0.001, p = .8), 이는 개인 간 차이가 없음을 나타냅니다. 
The LCM for research knowledge exhibited good model fit (see Table 2). The mean of the change variable was small but significant (ΔM = 0.04, p < .01), indicating a significant change from T1 to T2. This means that after taking the RBL course, students were able to correctly answer 0.45 questions more on average (out of nine questions) than at T1. Thus, the data supported hypothesis H1a. The variance of the change variable was very small and not significant (σ2 = 0.001, p = .8), indicating that there were no interindividual differences.

모든 정서적 동기 부여 성향에 대한 단변량 LCM은 매우 우수한 모델 적합도를 보였습니다(표 2 참조). 이러한 성향은 T1에서 T2로 발전하는 과정에서 차이가 있었습니다:
The univariate LCMs for all affective-motivational dispositions had very good model fits (see Table 2). The dispositions differed in their development from T1 to T2:

연구에 대한 가치 관련 관심
Value-related interest in research

그 결과 T1에서 T2로 넘어갈수록 유의미한 감소가 나타났습니다(ΔM = -0.14, p < .01). 변화 변수의 유의미한 분산(σ2 = 0.33, p < .01)은 관심도 변화에 개인 간 차이가 있음을 나타냅니다.
The results revealed a significant decrease from T1 to T2 (ΔM = −0.14, p < .01). The significant variance of the change variable (σ2 = 0.33, p < .01) indicates the presence of interindividual differences in changes in interest.

연구 활동과 관련된 기쁨
Joy with respect to research activities

위에서 설명한 바와 같이 이 변수는 두 가지 요인으로 구성되어 있으며, 각 요인의 발달을 개별적으로 조사했습니다.

• 그 결과, '과학 문헌 작업의 즐거움'이 T1에서 T2로 넘어가면서 유의미하게 감소한 것으로 나타났습니다(ΔM = -0.17, p < .01). 변화 변수의 유의미한 분산(σ2 = 0.36, p < .01)은 학생들의 궤적에 차이가 있었음을 나타냅니다.
• 두 번째 요인인 '경험적 데이터 작업의 즐거움'에서는 유의미한 변화가 관찰되지 않았습니다(ΔM = -0.05, p = .25). 유의미한 분산은 학생의 궤적에 개인 간 차이가 있음을 나타냅니다(σ2 = 0.15, p < .01).

As described above, this variable consisted of two distinct factors whose development was examined individually. The results suggest a significant decrease in ‘joy in working with scientific literature’ from T1 to T2 (ΔM = −0.17, p < .01). The significant variance of the change variable (σ2 = 0.36, p < .01) indicates that there were differences in students’ trajectories. No significant change was observed for the second factor, ‘joy in working with empirical data’ (ΔM = −0.05, p = .25). The significant variance indicates the presence of interindividual differences in students’ trajectories (σ2 = 0.15, p < .01).

불확실성 내성
Uncertainty tolerance

결과는 T1에서 T2로 유의미한 증가를 시사합니다(ΔM = 0.12, p < .01). 유의미한 분산(σ2 = 0.38, p < .01)은 학생의 궤적에 상당한 개인 간 차이가 있음을 나타냅니다.  
The results suggest a significant increase from T1 to T2 (ΔM = 0.12, p < .01). The significant variance (σ2 = 0.38, p < .01) indicates that there were substantial interindividual differences in students’ trajectories.

좌절감 내성
Frustration tolerance

결과에 따르면 좌절감 내성은 T1에서 T2로 크게 변하지 않았습니다(ΔM = 0.03, p = .24). 유의미한 차이는 개인 간 차이를 나타냅니다(σ2 = 0.12, p < .01). 
The results show that frustration tolerance did not change significantly from T1 to T2 (ΔM = 0.03, p = .24). The significant variance was indicative of interindividual differences (σ2 = 0.12, p < .01).

따라서 이 데이터는 불확실성 내성에 대해서만 가설 H1b를 지지합니다. 연구에 대한 가치 관련 흥미와 과학 문헌 작업에 대한 즐거움의 경우 유의미한 감소가 발견되었습니다. 
Therefore, the data supports hypothesis H1b only with respect to uncertainty tolerance. For value-related interest in research and joy in working with scientific literature, significant decreases were found.

시간 경과에 따른 다양한 연구 성향의 변화에 대한 다른 변수의 영향(가설 H2a, H2b 및 H2c)
Influence of other variables on changes in different research dispositions over time (hypotheses H2a, H2b and H2c)

다음으로, 단변량 LCM에서 개인 간 차이의 증거가 있는 연구 성향에 대해 변화 변수의 예측 변수를 분석했습니다. 연구에 대한 가치 관련 관심, 과학 문헌 작업에 대한 즐거움, 불확실성에 대한 내성이 그 예입니다.  
Next, predictors of the change variable were analysed for the research dispositions for which the univariate LCMs showed evidence of interindividual differences. This was the case for value-related interest for research, joy in working with scientific literature and uncertainty tolerance.

연구에 대한 가치 관련 관심
Value-related interest for research

다중 회귀 분석 결과 연구에 대한 가치 관련 관심의 잠재적 변화에 대한 두 가지 유의미하고 긍정적인 예측 변수가 밝혀졌는데, 바로 나중에 커리어에 대한 강의의 유용성과 학생의 작업에 대한 교수자의 관심도였습니다. 이 회귀 모델로 설명된 전체 분산은 10%였습니다(표 3 참조). 
The multiple regression revealed two significant and positive predictors of the latent change in value-related interest in research: the perceived usefulness of the course for one’s later career and the instructor’s perceived interest in the students’ work. The overall variance explained by this regression model was 10% (see Table 3).

과학 문헌 작업의 즐거움
Joy in working with scientific literature

이 과정의 유용성은 T1에서 T2로의 기쁨의 잠재적 변화에 대한 중요한 예측 변수로 작용했습니다. 이 과정이 나중에 커리어에 유용하다고 인식한 학생은 과학 문헌을 다루는 기쁨이 더 크게 증가했습니다. 전체 회귀 모델은 기쁨 변화의 분산 중 5%를 설명했습니다(표 3 참조). 
The perceived usefulness of the course served as a significant predictor of the latent change in joy from T1 to T2. Students who perceived the course as useful for their later career experienced greater increases in joy in working with scientific literature. The full regression model explained 5% of the variance in the change in joy (see Table 3).

불확실성 내성
Uncertainty tolerance

불확실성 내성은 T1에서 연구 자기효능감에 의해 유의미하게 예측되었습니다. 자기효능감은 음의 예측 변수로 작용했는데, 학생의 자기효능감이 높을수록 불확실성 내성이 더 많이 감소하거나 덜 증가했습니다. 이 회귀 모델로 설명된 전체 분산은 6%였습니다(표 3 참조). 
Uncertainty tolerance was significantly predicted by research self-efficacy at T1. Self-efficacy served as a negative predictor: the higher a student’s self-efficacy, the more uncertainty tolerance decreased or the less it increased. The overall variance explained by this regression model was 6% (see Table 3).

이러한 결과는 추가적인 동기 부여 요인의 영향을 조사한 가설 H2c와 일치합니다. 가설 H2a와 H2b는 지지되지 않았습니다. 
These findings are in line with hypothesis H2c, which examined the influence of additional motivating factors. Hypotheses H2a and H2b were not supported.

토론 및 시사점
Discussion and implications

본 연구에서는 사회과학 분야에서 RBL의 효과를 조사했습니다. 70개 코스에서 사전-사후 측정을 적용하여 RBL 참여를 통한 다양한 인지적 및 정의적-동기적 연구 성향의 변화를 조사했습니다. 연구 지식은 유의미하게 증가했지만, 추가 조사가 필요한 개인 간 차이는 관찰되지 않았습니다. 연구 관련 불확실성 내성은 증가한 반면, 연구 흥미와 과학 문헌 작업에 대한 즐거움은 RBL 참여 기간 동안 감소했습니다. 후속 회귀 분석 결과, 불확실성 내성의 변화는 연구 자기 효능감에 의해 유의미하게 예측되는 것으로 나타났습니다. 흥미와 즐거움의 변화는 향후 커리어에 대한 강좌의 유용성 지각에 의해 예측되었으며, 흥미의 변화는 강사가 학생의 과제에 대해 지각한 관심도에 의해 예측되기도 했습니다. 
Our study examined the effectiveness of RBL in the social sciences. By applying pre–post measurements in 70 courses, we examined changes in different cognitive and affective-motivational research dispositions through participation in RBL. Research knowledge increased significantly, but no interindividual differences were observed that could be further investigated. Research-related uncertainty tolerance increased, whereas research interest and joy in working with scientific literature decreased over the course of RBL participation. Subsequent regression analyses showed that the change in uncertainty tolerance was significantly predicted by research self-efficacy. The changes in interest and joy were predicted by the perceived usefulness of the course for one’s later career, while the change in interest was also predicted by the instructor’s perceived interest in the students’ work.

예상과는 달리, RBL을 경험하는 동안 수행한 연구 단계의 수와 학생들에게 주어진 자율성은 정서적-동기적 연구 성향의 변화에 영향을 미치지 않았습니다. 
Contrary to our expectations, the number of research steps performed and the autonomy students were given during the RBL experience did not have an effect on changes to any of the affective-motivational research dispositions.

연구 지식
Research knowledge

전반적으로 RBL에 참여하는 동안 연구 지식이 크게 증가했습니다(가설 1a 참조). 개별 사회과학 분야의 학생을 대상으로 한 이전 연구에서도 비슷한 결과가 보고된 바 있습니다(예: 타라반과 로그 2012). 우리는 연구 지식의 세 가지 하위 영역인 방법 지식, 방법론 지식, 사회과학 연구 과정 지식을 평가하는 객관적인 테스트 도구를 사용하여 이러한 결과를 확인할 수 있었습니다. 
Overall, research knowledge increased significantly over the course of RBL participation (see hypothesis 1a). Previous studies with students from individual social scientific disciplines have reported comparable results (e.g. Taraban and Logue 2012). We were able to confirm these findings using an objective test instrument assessing three sub-areas of research knowledge: knowledge of methods, knowledge of methodologies and research process knowledge in the social sciences.

그러나 표본에 포함된 학생들은 향상도에서 상당한 개인 간 차이를 보이지 않았으며, 다른 변수와 관련하여 관찰된 변화의 차이를 설명하기 위한 추가 분석을 수행할 수 없었습니다. 이러한 개인 간 차이가 나타나지 않은 것은 지식 항목의 답안 패턴이 비슷했기 때문일 수 있습니다. 저희는 9개 항목으로 구성된 짧은 버전의 긴 테스트를 사용했기 때문에 학생들 간의 실질적인 차이를 파악하기에 충분하지 않았을 수 있습니다. 향후 프로젝트에서는 27개 문항으로 구성된 테스트 양식이나 학생들의 답변에 더 많은 변수가 있는 다른 객관적인 측정을 사용할 것을 권장합니다.
However, the students in our sample did not exhibit substantial interindividual differences in their improvement and no further analyses could be conducted to explain differences in the observed change with reference to other variables. This lack of interindividual differences might have been due to similar answering patterns on the knowledge items. We used a 9-item short version of a longer test, which might not have been sufficient to identify substantial differences between students. In future projects, we would recommend using the 27-item test form or another objective measurement that yields more variance in students’ answers.

 

정서적 동기 부여 연구 성향
Affective-motivational research dispositions

조사된 네 가지 정서적-동기적 연구 성향 중 세 가지에서 첫 번째 측정 시점과 두 번째 측정 시점 사이에 유의미한 변화가 발견되었습니다. 
A significant change from the first to the second measurement point was found for three out of the four affective-motivational research dispositions examined.

우리의 예상(가설 1b 참조)에 따라 RBL에 참여하는 동안 불확실성 내성이 증가했습니다. 이러한 불확실성 내성의 변화는 연구 자기 효능감에 의해 유의미하게 예측되었습니다(가설 2c 참조). 그러나 자기효능감은 음의 예측 변수로 작용하여 학생의 자기효능감이 높을수록 불확실성 내성의 긍정적인 변화는 더 작았습니다. 연구 자기효능감이 낮은 학생은 연구 경험이 적기 때문에 불확실성 내성이 더 크게 증가할 수 있으며, 따라서 RBL에 참여함으로써 더 큰 혜택을 받을 수 있습니다. 높은 수준의 불확실성 내성은 연구 과정의 예측할 수 없는 특성에 대처하는 데 중요합니다. 불확실성 내성은 연구 수행뿐만 아니라 점점 더 복잡해지는 세상과 마주하는 데에도 필수적이라는 주장도 있습니다(Brew 2010). 이러한 의미에서 불확실성 내성은 학생들이 과학 경력을 쌓는 데 도움이 될 뿐만 아니라 다른 직업을 준비하는 데도 도움이 됩니다. 학생들의 불확실성 내성을 어떻게 변화시킬 수 있는지는 현재 여러 분야에서 논쟁의 대상이 되고 있습니다. 보건 과학 분야에서는 불확실성과 관련된 감정 과정을 모니터링하고 통제함으로써 의대생의 불확실성 내성을 향상시킬 수 있다는 제안이 있었습니다(Iannello 외. 2017). 이 권고를 사회과학 연구에 적용하면, 연구 과정에서 불확실성과 관련된 경험적 감정에 대한 안내를 통합하는 것이 좋습니다. 이를 위한 한 가지 방법은 반성적 학습 일기를 사용하는 것입니다(Nevalainen, Mantyranta, Pitkala 2010). 하지만 저희는 표본에서 불확실성과 관련된 반성적 과정을 테스트하지 않았습니다. 일부 강사가 연구와 관련된 불확실성에 대해 반성하고 논의했다고만 추정할 수 있습니다. 보다 포괄적인 결론을 도출하기 위해서는 RBL 과정에서의 불확실성 내성 발달에 대한 안내된 성찰 과정의 영향을 조사하는 추가 연구가 필요합니다.  
In line with our expectations (see hypothesis 1b), uncertainty tolerance increased over the course of RBL participation. This change in uncertainty tolerance was significantly predicted by research self-efficacy (see hypothesis 2c). However, self-efficacy served as a negative predictor: the higher a student’s self-efficacy, the smaller the positive change in uncertainty tolerance. Students with low levels of research self-efficacy might exhibit stronger increases in uncertainty tolerance because these students have less research experience and thus benefit more strongly from participation in RBL. A high level of uncertainty tolerance is important for coping with the unpredictable nature of the research process. Some claim that uncertainty tolerance is vital not only for conducting research but also for facing an increasingly complex world in general (Brew 2010). In this sense, uncertainty tolerance not only assists students in pursuing scientific careers but also prepares students for other professions. How students’ uncertainty tolerance can be changed is currently a subject of debate in several fields. In the health sciences, it has been suggested that medical students’ uncertainty tolerance can be enhanced by monitoring and controlling emotional processes related to uncertainty (Iannello et al. 2017). Translating this recommendation to research in the social sciences, we suggest integrating guided reflections on experienced emotions related to uncertainty in the research process. One way of doing so would be to use reflective learning diaries (Nevalainen, Mantyranta, and Pitkala 2010). However, we did not test for reflective processes related to uncertainty in our sample. We can only assume that some instructors reflected on and discussed research-related uncertainties. Further research investigating the influence of guided reflection processes on the development of uncertainty tolerance in RBL courses would be necessary to come to a more comprehensive conclusion.

연구에 대한 흥미와 즐거움은 사전 및 사후 테스트 모두에서 높은 평균값을 보였으며, 이는 참여 학생들이 일반적으로 연구 및 관련 활동을 매우 좋아한다는 것을 나타냅니다. 그러나 불확실성 내성과는 달리 흥미와 즐거움은 RBL에 참여하는 동안 감소했습니다(가설 1b 참조). 이에 대한 몇 가지 가능한 설명이 있습니다. 아마도 학생들은 과정을 진행하는 동안 연구가 무엇인지에 대해 보다 현실적인 아이디어를 얻었을 것입니다. 연구를 시작할 때 학생들의 연구 개념은 해당 사회의 지배적인 연구 관점의 영향을 받을 수 있습니다. 독일에서는 대중이 연구를 흥미롭고 신뢰할 수 있는 것으로 인식하고 있습니다(Wissenschaft im Dialog 2018). 따라서 단일 연구 프로젝트의 설명력이 얼마나 작은지 깨닫는 것은 좌절감이나 환멸을 줄 수 있습니다. 연구의 본질과 실제에 대한 보다 현실적인 이해는 연구에 대한 관심이나 기쁨을 감소시키는 동시에 다른 사람들이 '과학자가 되는 것'이라고 부르는 것의 지표가 될 수 있습니다(Hunter, Laursen, Seymour 2007).
Interest and joy in research exhibited high mean values during both the pre- and post-test, indicating that the participating students are generally very fond of research and related activities. However, unlike uncertainty tolerance, interest and joy decreased over the course of RBL participation (see hypothesis 1b). There are several possible explanations for this. Perhaps students gain a more realistic idea of what research is during the course. At the beginning of their studies, students’ conceptions of research might be influenced by the predominant view of research in their society: in Germany, the public perceives research as interesting and trustworthy (Wissenschaft im Dialog 2018). Thus, realising how small the explanatory power of a single research project is might be frustrating or disillusioning. Gaining a more realistic understanding of the nature and practice of research might lead to decreased interest or joy in research, while simultaneously serves as an indication of what others have termed ‘becoming a scientist’ (Hunter, Laursen, and Seymour 2007).

회귀 분석 결과 특정 코스 변수가 유의미한 예측 변수로 작용하는 것으로 나타났습니다(가설 2c 참조). 즉, 학생의 연구에 대한 관심의 변화는 교수자가 학생의 연구에 대해 가지는 관심도와 학생이 평가한 해당 코스의 향후 경력에 대한 유용성에 의해 유의미하게 예측되었습니다. 강사가 자신의 연구에 관심이 있다고 지각하는 것은 학생에게 동기를 부여하고 연구에 대한 관심을 높일 수 있습니다. 실용적인 의미로, 교수자가 학생의 작업에 관심이 있는 척해야 한다는 의미는 아닙니다. 교수자가 진정으로 관심 있는 주제(예: 자신의 연구 주제)를 RBL 코스의 주제로 선택하는 것만으로도 충분할 수 있습니다. 자신의 연구 주제를 강의실에 가져와서 교육과 연구를 결합하는 것은 종종 교수자에게 유용한 관행으로 권장되어 왔습니다(Vicens and Bourne 2009). 이에 대한 주요 주장 중 하나는 교육과 연구 모두에 관여하는 강사의 귀중한 시간을 절약할 수 있다는 것입니다. 또한 연구 결과에 따르면 교육과 연구를 병행하면 교수자의 주제에 대한 관심에 더 많은 동기를 부여받는 학생에게도 이점이 있는 것으로 나타났습니다. 
The regression analyses showed that certain course variables served as significant predictors (see hypothesis 2c): changes in students’ interest in research were significantly predicted by the instructor’s perceived interest in the students’ research and the perceived usefulness of the course for their later career (both rated by the students). Perceiving that the instructor is interested in their work might be motivating for students and increase their own interest in research. As a practical implication, this does not mean that instructors should pretend to be interested in students’ work. It could suffice for instructors to choose topics for RBL courses that are of genuine interest to them – for example, their own research topics. Bringing one’s own research topics into the classroom, thereby combining one’s teaching and research, has often been recommended as a useful practice for instructors (Vicens and Bourne 2009). One of the main arguments for this is that it saves valuable time for instructors involved in both teaching and research. Our results additionally suggest that combining teaching and research comes with benefits for students, who feel more motivated by their instructors’ interest in the topic.

즐거움의 변화는 학생들의 향후 커리어에 대한 강좌의 유용성에 따라 유의미하게 예측되었습니다. 강좌가 향후 커리어에 유용하다고 인식한 학생들은 연구에 더 많은 즐거움을 얻었습니다. 학문적 커리어를 목표로 하지 않는 학생의 경우, 비학문적 커리어에 관심이 있는 연구 주제를 선택하거나 서비스 학습을 적용하는 등 학계 밖에서의 유용성을 강조하거나 강화하는 것이 도움이 될 수 있습니다(Potter, Caffrey, Plante 2003). 이러한 방식으로 더 많은 학생들이 자신의 연구 프로젝트를 수행하는 것이 학계 밖의 경력에 유용하다고 인식하여 연구하는 데 더 큰 즐거움을 찾을 수 있습니다. 
Changes in joy were significantly predicted by the perceived usefulness of the course for students’ later careers: those students who perceived the course as useful for their future career gained more joy in research. For students who do not aspire to academic careers, it might be beneficial to emphasise or enhance the course’s usefulness for outside academia, e.g. by choosing research topics that are of interest in non-academic careers or applying service learning (Potter, Caffrey, and Plante 2003). In this way, more students might perceive conducting their own research projects as useful for careers outside academia and therefore find greater joy in doing research.

예상과는 달리, RBL을 경험하는 동안 수행한 연구 단계의 수와 학생들에게 주어진 자율성은 정서적-동기적 연구 성향의 변화에 영향을 미치지 않았습니다(가설 2a 및 2b 참조). 이는 미리 정의된 연구 문제를 해결하거나 제한된 양의 연구 단계만 완료해도 학생들에게 긍정적인 영향을 미친다는 것을 나타냅니다.
Contrary to our expectations, the number of research steps performed and the autonomy students were given during the RBL experience did not have an effect on changes to any of the affective-motivational research dispositions (see hypothesis 2a and 2b). This indicates that even working on pre-defined research problems or completing only a limited amount of research steps has a positive effect on students.

전반적으로 다양한 정서적 동기 변수의 변화를 예측하는 데 사용된 회귀 모델은 잠재적 변화 변수의 분산 중 5%(과학 문헌 작업의 즐거움), 6%(불확실성 허용), 10%(연구 흥미)를 차지했습니다. 이러한 효과 크기는 작은 것으로 분류될 수 있지만(Cohen 1988), 학생들이 예측 변수에 대한 설문지에 응답하는 데 1~2분밖에 걸리지 않았다는 점을 고려할 때 이러한 회귀 분석의 비용 대비 가치 비율은 매우 긍정적인 것으로 간주할 수 있습니다. 보다 근본적인 관점에서 볼 때, 정서적 동기 부여 성향은 현재의 기분이나 개인적인 삶의 사건과 같은 다양한 외부 변수의 영향을 받는 복잡하고 다차원적인 현상이라는 점에 유의해야 합니다. 이 연구에서 조사한 변수(예: 학생의 자율성, 교수자의 관심도)는 전체 코스에 걸쳐 다양한 정서적 동기 부여 연구 성향의 변화를 정확하게 예측하기에 충분하지 않습니다. 그러나 부분적으로 중요한 예측 변수로 작용하여 RBL 코스 설계에 실용적인 새로운 아이디어를 제공했습니다. 
Overall, the regression models used to predict changes in different affective-motivational variables accounted for 5% (joy in working with scientific literature), 6% (uncertainty tolerance) and 10% (research interest) of the latent change variable’s variance. While these effect sizes can be classified as small (Cohen 1988), it is important to put these values into perspective: given that answering the questionnaires on the predictor variables took students only 1–2 min, the cost-value ratio of these regression analyses can be considered very positive. From a more fundamental perspective, it must be noted that affective-motivational dispositions are complex, multidimensional phenomena that are influenced by a range of external variables, such as current mood or personal life events. The variables examined in this study (e.g. student autonomy, instructors’ interest) are not sufficient to accurately predict changes in different affective-motivational research dispositions over an entire course. However, they did partially serve as significant predictors and thus provide practical new ideas for designing RBL courses.

향후 연구를 위한 한계와 시사점
Limitations and implications for future research

본 연구와 이 분야의 다른 연구의 문제점은 대조군이 없다는 점입니다(Lopatto 2004 참조). 적절한 비교 그룹이 없으면 연구 경험 자체가 효과적인지 또는 RBL 코스에 참여하는 학생의 유형이 효과적인지 여부가 불분명합니다(Linn 외. 2015). 일부 저자들은 RBL 과정을 찾는 학생들이 애초에 다른 학생들보다 학업 능력이 더 높고 동기 부여가 더 강하다고 주장합니다(Carter 외. 2016). 우리 표본에서는 RBL 과정 참여가 학생들의 학습 프로그램에서 필수적인 부분인 경우가 많았기 때문에 표본에서 강한 자기 선택 편향이 있을 가능성을 배제할 수 없습니다. 그럼에도 불구하고 RBL의 효과에 대한 최종 결론을 도출하기 위해서는 의미 있고 일치하는 대조군이 필요합니다(예: RBL 과정 대기자 명단이 있는 학습 프로그램을 조사하는 등). 
A problem with our and other studies in the field is the lack of a control group (cf. Lopatto 2004). Without an adequate comparison group, it remains unclear whether the research experience itself is effective or whether it is the type of student who participates in RBL courses (Linn et al. 2015). Some authors claim that students who seek out RBL courses have higher academic abilities and are more motivated than other students in the first place (Carter et al. 2016). In our sample, participation in the RBL course was often a mandatory part of the students’ study programme; thus, a strong self-selection bias in our sample can be ruled out. Nevertheless, a meaningful, matched control group is still necessary to draw final conclusions on the effectiveness of RBL, e.g. by examining study programmes with a waiting list for RBL courses.

또 다른 한계는 테스트 시점과 관련이 있습니다. 사후 측정은 강의가 끝날 무렵 강의실에서 실시되었기 때문에 최종 논문 작성이나 연구 결과 발표의 효과를 반영하지 못했습니다. 그러나 자신의 연구에 대해 공개적으로 발표하는 것은 학생들에게 특히 동기를 부여하는 것으로 묘사되어 왔으며(Cuthbert, Arunachalam, Licina 2012), 따라서 RBL과 관련된 학습 결과에 영향을 미칠 수 있습니다. 향후 연구에서는 추후 또는 후속 측정을 통해 최종 과제의 효과를 통합해야 합니다. 
Another limitation concerns the testing time point. Since the post-measurement was conducted in the classroom towards the end of the course, our results do not reflect the effect of writing final papers or presenting research results. However, giving a public presentation on one’s research has been described as particularly motivating by students (Cuthbert, Arunachalam, and Licina 2012) and thus might influence the learning outcomes associated with RBL. Future research should incorporate the effects of final assignments by using later or follow-up measurements.

본 연구의 정량적 설정은 연구 프로젝트에 대한 학생들의 개인적인 관점, 연구 과정의 어려움에 대한 개별적인 반응, 교수자의 행동에 대한 추가적인 생각을 다룰 수 없음을 의미했습니다. 향후 프로젝트에서는 심층 인터뷰를 통해 학생들의 관점을 통합하여 본 연구의 예비 결과와 그에 따른 시사점을 추가로 탐색하고 검증할 수 있습니다. 
Our study’s quantitative set-up meant that the students’ personal perspectives on their research projects, individual reactions to challenges in the research process and additional thoughts on their instructors’ behaviour could not be addressed. A future project could further explore and validate the preliminary findings of this study and the resulting implications by incorporating students’ perspectives via in-depth interviews.

이 연구의 목적은 인지적 및 정서적 동기부여 연구 성향을 향상시키기 위한 사회과학 분야의 RBL 과정의 효과를 조사하는 것이었습니다. 연구 결과에 따르면 RBL은 연구 지식과 연구 관련 불확실성 내성을 향상시키는 데 효과적인 교육 형식이라는 결론을 내릴 수 있습니다. 특히 학생들이 RBL 경험이 향후 커리어에 도움이 될 것이라고 생각할 때 RBL 과정이 효과적이라는 것이 입증되었습니다. 
The aim of this study was to examine the effectiveness of RBL courses in the social sciences for enhancing cognitive and affective-motivational research dispositions. Based on the results, we can conclude that RBL is an effective instructional format for enhancing research knowledge and research-related uncertainty tolerance. RBL courses proved especially effective when students thought the RBL experience was useful for their later career.

RBL이 효과적인 교육 형식인지에 대한 질문은 지금까지 STEM 분야의 연구에서 주로 다루어져 왔으며, 사회과학 분야의 증거는 아직 부족합니다. 본 연구에서는 사전-사후 설계를 사용하여 다양한 사회과학 분야의 학생들을 대상으로 RBL의 효과에 대한 체계적인 설명을 제공함으로써 학문별 측정치를 향상시키고자 했습니다. 선택한 절차는 해당 분야의 기존 증거를 확장하는 데 적합했지만, 추가 연구 노력에서 해결해야 할 다양한 미해결 질문이 남아 있습니다.

The question of whether RBL is an effective instructional format has so far been dominated by studies from the field of STEM, while evidence from the social sciences remains scarce. Our study sought to provide a systematic account of the effectiveness of RBL among students from different social scientific disciplines for enhancing discipline-specific measures using a pre–post design. While the chosen procedure was suitable for extending existing evidence in the field, a range of open questions remain that should be addressed in further research endeavours.

 

---

ABSTRACT

Research-based learning (RBL) is regarded as a panacea when it comes to effective instructional formats in higher education settings. It is said to improve a wide set of research-related skills and is a recommended learning experience for students. However, whether RBL in the social sciences is indeed as effective as has been postulated for other disciplines has not yet been systematically examined. We thus administered a pre–post-test study to N = 952 students enrolled in 70 RBL courses at 10 German universities and examined potential changes in cognitive and affective-motivational research dispositions. Latent change score modelling indicated that students increased their cognitive research dispositions, whereas most affective-motivational research dispositions decreased. The instructors’ interest in the students’ work served as a significant predictor of changes in research interest and joy. Practical implications for designing RBL environments can be inferred from the results.