적응적 전문성은 지식을 창출하는 능력뿐만 아니라 이러한 사전 지식을 활용하여 과제와 새로운 상황에 보다 효과적으로 유연하게 적응하는 능력을 포괄하는 필수적인 기술입니다(Gube & Lajoie, 2020; Schwartz et al., 2005). 보건 전문직 교육을 위해 제안된 6가지 교육 패러다임(Baker et al., 2021) 중 적응적 전문성의 역동적 지향은 학습자가 학습을 통해 다양한 경험에 노출되면서 지식이 구성되는 구성주의-전문성 영역과 존재론적 및 인식론적으로 일치합니다. 이러한 지식 구성은 궁극적으로 전문성 개발을 목표로 사전 지식 위에 겹겹이 쌓입니다. 
Adaptive expertise is an essential skill that encompasses not just the ability to create knowledge but to leverage on this prior knowledge to flexibly adapt to tasks and novel situations more effectively (Gube & Lajoie, 2020; Schwartz et al., 2005). Out of the six paradigms of education that have been proposed for health professions education (Baker et al., 2021), the dynamic orientation of adaptive expertise is ontologically and epistemologically aligned with the Constructivism- Expertise domain, where knowledge is constructed as the learners are exposed to the various experiences through learning. This construct of knowledge is layered upon prior knowledge with the eventual aim of expertise development.

적응형 전문가는 복잡성을 수용하고 새로운 것에 흥미를 느낍니다. 또한 인지적 유연성이 뛰어나고 학습에 대한 내재적 동기가 높으며 정기적으로 반성적 연습을 합니다. 이를 통해 당면한 문제를 더 깊이 이해하여 문제 해결을 위한 솔루션을 혁신할 수 있습니다. (Kua 외., 2021). 가장 중요한 관심사는 적응형 전문가가 이러한 특성을 어떻게 개발했는지입니다. 최근 연구에서는 학습 환경의 영향과 레지던트 기간 동안 적응형 전문성 개발에 미치는 영향을 평가했습니다(Regan et al., 2022). 저자는 개인적, 사회적, 조직적, 물리적/가상적 구성 요소의 기여도와 이러한 요소들이 적응형 전문가가 성공할 수 있는 환경을 어떻게 지원하는지 조사했습니다. 아직 밝혀지지 않은 것은 이 네 가지 [구성 요소 내에서 발생한 상호작용]이 적응형 전문가의 개발을 촉진했는지 여부입니다. 
Adaptive experts embrace complexity and are excited about novelty. In addition, they possess cognitive flexibility, have high intrinsic motivation towards learning and adopt reflective practice regularly. This enables them to have a deeper understanding of the problem at hand allowing them to innovate solutions to solve the issue. (Kua et al., 2021). Of cardinal interest is how adaptive experts developed these traits. A recent study evaluated the impact of the learning environment and its influence on the development of adaptive expertise during residency (Regan et al., 2022). The authors examined the contributions of personal, social, organisational and physical/ virtual components and how these supported the environment for an adaptive expert to thrive. What remains unknown are the interactions that transpired within these four components that facilitated the development of adaptive experts.

[학습 경험]은 전통적인 학업 환경이든 학교 밖의 비전통적인 환경이든 [학습이 일어날 수 있는 모든 상호작용]을 의미합니다. 이러한 상호작용은, [성숙]과 같은 자연의 힘에 의해 매개되어, 개인과 사회 세계 사이에 존재하는 관계를 통해 발생합니다. 학습은 [개인의 해석된 세계]와 [물리적, 사회적 세계] 사이의 협상을 통해 이루어집니다. 이는 개인의 가치관과 그것이 사회 세계가 관여하는 방식에 어떤 영향을 미쳤는지 이해해야 적응 전문가가 어떻게 발달하는지에 대한 중요성을 파악할 수 있다는 것을 의미합니다(Billet, 2009). 상황적 학습 이론에서는 이해를 구축하기 위해 다른 사람과의 관계와 상호작용을 매우 강조합니다(Lave & Wenger, 1991). 이러한 사회적 초점 교육은 학습자가 자신이 속한 커뮤니티와 아주 밀접한 기술과 행동을 습득할 때 사회 활동에 참여함으로써 학습이 이루어질 수 있도록 합니다. 마찬가지로 직장 학습 문헌에서는 업무 활동 참여가 학습과 역량 유지의 풍부한 원천이자 근로자가 조직의 규범, 문화 및 가치에 참여하면서 교양과 사회화를 이룰 수 있는 것으로 파악하고 있습니다(Billet, 2009). 따라서 이러한 상호작용이 학습 경험에 어떻게 그리고 왜 기여했는지를 더 잘 이해하는 것이 무엇보다 중요합니다. 

Learning experiences refer to any interactions, whether in traditional academic settings or non-traditional outside of school settings, in which learning can occur. These interactions arise through relationships that exist between the personal and the social world, mediated by forces of nature like maturation. It is through the negotiations between the construed world of the individual and the physical and social world that learning occurs. This implies that we will need to understand the values of the individual and how that has affected the way the social world has been engaged with, for us to be able to grasp its significance on how adaptive experts develop (Billet, 2009). In situated learning theory, great emphasis is placed on relationships and interactions with others to build understanding (Lave & Wenger, 1991). This social focus of education allows learning to take place through participation in social activities as learners pick up skills and behaviours synonymous with the community they are members of. Likewise, workplace learning literature identifies participation in work activities as a rich source of learning and maintenance of competence, as well as enculturation and socialisation as workers engage with organisational norms, culture and values (Billet, 2009). It is therefore of utmost importance to better appreciate how and why such interactions have contributed to learning experiences.

[학습 경험]은 의학 내 여러 전문 분야에 따라 다르며, 실제로 부서 또는 기관의 문화에 따라 달라질 수 있습니다.

• 노인의학은 복잡하고 허약한 노인을 다학제적으로 치료하는 것을 강조합니다. (Ellis & Sevdalis, 2019). 노인의학 전문의는 허약한 노인의 여러 동반 질환, 허약 및 기타 증후군과 얽힌 복잡한 질병을 관리하도록 훈련받았습니다(Lester et al., 2019). 또한 복잡성의 행동 및 심리사회적 원인을 고려하지 않고 질병 중심적 접근 방식만을 채택하는 것은 부적절합니다(Safford, 2015). 따라서 노인의학 전문의가 점점 더 복잡해지는 치료 환경에서 혁신적인 접근 방식으로 복잡한 사례를 관리하기 위해서는 적응적 전문성이 필요합니다(Cutrer 외., 2019).

Learning experiences vary across different specialties within medicine, and indeed, may also vary depending on the culture of a department or institution.

• The practice of geriatric medicine emphasises the interdisciplinary care of complex frail older adults. (Ellis & Sevdalis, 2019). Geriatricians are trained to manage complex illnesses intertwined with multiple comorbidities, frailty and other syndromes in frail older adults (Lester et al., 2019). In addition, it is inadequate to adopt a solely disease-centric approach without considering the behavioural and psychosocial sources of complexity (Safford, 2015). Adaptive expertise is thus required for geriatricians to manage complex cases in increasingly complex care environments with innovative approaches (Cutrer et al., 2019).

의료 전문 분야의 적응형 전문성에 대한 연구는 지식이 어떻게 구성될 수 있는지(Mylopoulos and Regehr, 2007; Varpio 등, 2009; Kawamura 등, 2014), 사전 지식이 향후 진료에 어떻게 기초가 되는지(Cristancho 등, 2013; Mylopoulos & Scardamalia, 2008; Mylopoulos 등, 2012) 조사해왔습니다. 반면에 상호작용과 관계가 적응형 전문가로 성장하기 위한 지식의 습득과 후속 해석에 어떤 영향을 미쳤는지에 대해서는 알려진 바가 많지 않습니다.
Research on adaptive experts in medical specialties have examined ways knowledge can be constructed (Mylopoulos and Regehr, 2007; Varpio et al., 2009; Kawamura et al., 2014) and how prior knowledge is foundational for future practice (Cristancho et al., 2013; Mylopoulos & Scardamalia, 2008; Mylopoulos et al., 2012). In contrast, not much is known about how interactions and relationships have influenced the acquisition and subsequent interpretation of such knowledge to develop into an adaptive expert.

본 연구는 임상에서 복잡한 급성 질환을 앓고 있는 허약한 노인을 정기적으로 관리하는 3차 병원에서 근무하는 노인의학 전문의의 학습 경험을 이해하기 위해 시작되었습니다. 우리는 개인 내, 개인 간, 조직 수준에서의 상호작용이 적응 전문성을 개발하는 데 어떻게 도움이 되는지 조사했습니다.
Our study sets out to understand the learning experiences of geriatricians practicing in a tertiary hospital who regularly manage complex acutely unwell frail older persons in their clinical practice. We examined how interactions at the intra-personal, inter-personal and organisational levels helped shape the development of adaptive expertise.

연구 개요
Overview

본 연구는 참여자의 다양한 현실을 인정하는 해석주의 존재론에 기반한 탐색적 질적 연구입니다(Crotty, 2003). 인식론적으로 본 연구는 연구자와 참여자 간에 의미가 공동 구성되는 사회 구성주의적 입장을 채택합니다(Ng et al., 2019a, 2019b). 이 연구는 노인의학 분야에서 적응형 전문가가 되기 위한 여정에서 참가자들의 학습 경험을 탐구합니다. 데이터는 참가자들과 16회의 반구조화된 인터뷰를 통해 수집되었으며, 반사적 주제 분석을 통해 분석되었습니다(Braun et al., 2019; Terry et al., 2017). 
This is an exploratory qualitative study based on the interpretivist ontology which acknowledges diverse realities of participants (Crotty, 2003). Epistemologically, the study employs a social constructivist stance, where meaning is co-constructed between researchers and our participants (Ng et al., 2019a, 2019b). The study explores the learning experiences of participants in their journey to becoming adaptive experts in the field of geriatric medicine. Data was collected from 16 semi-structured interviews with the participants and analysed via reflexive thematic analysis (Braun et al., 2019; Terry et al, 2017).

데이터 수집
Data collection

참가자들이 노인의학에 대한 임상 전문성을 인정받을 수 있도록 목적적 샘플링 전략을 사용했습니다. 대다수(n = 14)는 싱가포르에 있는 두 병원의 수석 컨설턴트 노인의학 전문의였으며, 이들은 국립 의료 그룹 레지던트 프로그램에서 교수진으로 임명되었습니다. 두 명의 참가자는 노인의학을 전공한 지 5년이 채 되지 않은 준컨설턴트였습니다. 이미 해당 분야에서 전문가로 인정받은 선배 동료들과 달리, 아직 적응형 전문성을 개발하는 과정에 있는 참가자들의 관점을 포착하기 위해 의도적으로 후배 노인의학자들을 표본으로 선정했습니다.
A purposive sampling strategy was employed to ensure participants were recognised for their clinical expertise in geriatric medicine. The majority (n = 14) were senior consultant geriatricians in two hospitals in Singapore, who were appointed as faculty members in the National Healthcare Group Residency Programme. Two participants were associate consultants who had been practicing geriatric medicine for less than five years. We intentionally sampled junior geriatricians to capture the perspectives of participants who were still on the journey towards developing adaptive expertise, in contrast to their senior colleagues who were already acknowledged as experts in the field.

연구팀(JK, WSL, WT)은 전문가들이 임상적으로 복잡하고 새로운 사례를 어떻게 인식하는지, 관리 전략은 무엇인지, 어떤 경험을 통해 이러한 전문성을 개발할 수 있었는지 등에 초점을 맞춘 인터뷰 일정을 개발했습니다. 참가자들에게 이 연구가 적응 전문가가 되기 위한 여정을 연구하고 있다는 사실을 명시적으로 알리지 않았습니다. 대신 참가자들에게 높은 수준의 복잡성이나 참신성이 포함된 사례 한두 가지를 떠올리게 한 다음, 이러한 사례를 복잡하게 만든 요인을 설명해 달라고 요청하는 것으로 인터뷰를 시작했습니다. 그런 다음 참가자들에게 그러한 사례를 관리하기 위한 전략에 대해 질문했습니다. 그 후, 참가자들은 i) 사례의 복잡성에 기여한 요인을 파악하고, ii) 복잡하거나 새로운 사례를 관리하는 능력을 어떻게 개발했는지 공유하도록 요청받았습니다. 연구팀은 반구조화된 인터뷰 접근법을 사용하여 데이터의 반복적 분석을 기반으로 인터뷰 일정을 개발할 수 있었으며, 인터뷰 담당자는 기억 편향을 방지하기 위해 참가자의 경험과 관련된 추가 구체성과 세부 사항을 장려하기 위한 프로브를 사용했습니다.
The study team (JK, WSL and WT) developed an interview schedule focused on how experts recognized clinically complex and novel cases, strategies for management, and how the experiences that these experts had allowed them to develop this expertise. It was not explicitly informed to the participants that the research was studying their journey into becoming an adaptive expert. Instead, the interview started by asking participants to recall one or two cases that involved a high level of complexity or novelty, and then asking them to delineate the factors that made these cases complex. Participants were then asked about their strategies for managing such cases. Thereafter, they were asked to share how they developed the ability to i) identify the factors that contributed to complexity of a case; ii) manage a complex or novel case. Using a semi-structured interview approach enabled the study team to develop the interview schedule based on iterative analysis of the data; in addition, the interviewers used probes to encourage additional specificity and detail related to the participants’ experiences in order to guard against recall biases in the recounting.

이 연구는 국립보건의료원 기관생명윤리심의위원회의 승인을 받았습니다(DSRB 번호 2018/00166). 모든 인터뷰는 개별 참가자(JK 또는 WT)와 직접 대면하여 진행되었으며 최대 1시간 동안 진행되었습니다. 모든 인터뷰는 오디오 녹음에 앞서 동의를 구하고 그대로 필사했습니다. 인터뷰 데이터는 인터뷰 담당자가 참가자에 대한 인상과 가능한 가정, 인터뷰 진행 경험을 기록한 현장 메모로 보완되었습니다. 
The study was approved by the institutional review board at National Healthcare Group (DSRB no 2018/00166). All interviews were conducted with individual participants (by either JK or WT), in-person and lasted up to 1 h in duration. All interviews were consented prior to audio-recording and were transcribed verbatim. Interview data was supplemented by field notes taken by the interviewers that noted their impressions and possible assumptions about the participants, and their experiences of conducting the interviews.

데이터 분석
Data analysis

참가자들이 노인의학에 대한 적응적 전문성을 개발하는 데 도움이 된 경험에 부여한 의미에 관심이 있었기 때문에, 데이터는 Terry 외(2017)의 6단계에 따라 연구 질문을 고려하여 귀납적 주제 분석을 사용하여 귀납적으로 분석되었습니다. 이 접근법은 전체 데이터 세트에서 패턴을 식별하는 동시에 이론에 기반한 데이터 해석이 가능하기 때문에 선택되었습니다. 
Because we were interested in the meanings that participants attributed to the experiences that helped them develop adaptive expertise in geriatric medicine, data was inductively analysed using reflexive thematic analysis, guided by the 6 steps outlined by Terry et al. (2017), and with consideration of our research questions. This approach was chosen as it enabled the identification of patterns across our entire data set, while also allowing for a theoretically-informed interpretation of the data.

• 첫 번째 단계는 데이터에 익숙해지는 것으로, JK와 WT는 인터뷰 내용을 다시 읽고 메모하면서 데이터에 몰입했습니다.
• 그런 다음 JK와 WT는 귀납적으로 코딩하고 Microsoft Word 또는 Excel을 사용하여 관련 텍스트 구절을 설명 코드로 강조 표시했습니다.
• 저자들은 독립적으로 코딩을 진행하여 다양한 코드를 생성했으며, 이후 정기적으로 만나 코드를 검토하고 토론했습니다. 예를 들어 학습 경험을 형성한 개별 사례와 같은 의미론적(명시적) 수준에서 코드를 생성하는 것 외에도 학습 경험이 구성되는 암묵적 방식(예: '시간'이 두 가지 방식으로 참조되는 방식)을 탐색하여 잠재적(숨겨진) 수준에서 데이터를 코딩하기도 했습니다.
• 코딩이 끝나면 팀 전체가 후보 테마를 개발, 테스트 및 검토하는 협업 프로세스를 시작했습니다.
• 이 과정은 코딩된 추출과 전체 데이터 세트에 걸쳐 새로운 테마가 작동하는지 테스트하기 위해 인터뷰로 돌아가 반복적으로 진행되었습니다.
• 마지막 단계(보고서 작성)에서는 연구 질문, 코딩된 추출 및 생성된 테마의 정의를 다시 검토하고 데이터와 문헌을 연결하는 작업을 거쳤습니다.
• The first step involved familiarisation of the data, where both JK and WT immersed themselves in the data, re-reading and making notes on the content of the interviews.
• Both JK and WT then coded inductively, using Microsoft Word or Excel to highlight relevant passages of text with a descriptive code.
• The authors coded independently, generating a diversity of codes, and thereafter met regularly to review and discuss codes. In addition to generating codes at the semantic (explicit) levels, for example: individual practices that shaped learning experiences, they also coded data at the latent (hidden) level, exploring implicit ways in which the learning experiences were constructed (for example “time” being referenced in two distinct ways).
• Following coding, the entire team began the collaborative process of developing, testing and reviewing candidate themes.
• This was an iterative process that involved returning to the interviews to test if the emerging themes worked in connection with the coded extracts as well as across the entire data set.
• The final step (producing the report) involved revisiting the research questions, coding extracts and definitions of themes generated, as well as making connections between the data and literature.

엄격함
Rigour

연구팀은 연구의 품질을 보장하기 위해 Terry 외(2017)에 설명된 6가지 단계를 준수했습니다. 원본 오디오 파일과 구성원 확인을 통해 녹취록을 확인하여 데이터의 정확성을 보장했습니다. 연구자 삼각측량에는 JK와 WT가 모두 참여했습니다: 각자 독립적으로 데이터를 코딩하는 한편, 함께 모여 데이터에 대한 소감을 논의했습니다.
To ensure the quality of our study, the study team adhered to the six steps outlined in Terry et al. (2017). Data accuracy was ensured by checking transcripts with original audio files and member checking. Both JK and WT engaged in researcher triangulation: while each coded the data independently, they also met together to discuss their impressions of the data.

잠재적 편견으로 인해 발생할 수 있는 해석에 이의를 제기하고, 다양한 관점에서 데이터를 검토하고, 인터뷰 질문의 개발을 반복적으로 안내하기 위해 전체 연구팀원 간의 정기적인 회의는 반성적 참여에 중요했습니다. 데이터의 신뢰성을 유지하기 위해 모든 인터뷰에 인터뷰 일정을 사용했으며, 질문이 수정될 때마다 정기적으로 업데이트했습니다. 
Regular meetings among the entire study team members were important for reflexive engagement to challenge interpretations that could arise from potential biases, to examine data from multiple perspectives and to iteratively guide development of the interview questions. To maintain credibility of the data, an interview schedule was used for all interviews, and updated regularly as questions were revised.

연구팀은 의학교육 연구 경험과 역할이 있는 2명의 노인의학 전문의(JK, WSL)와 1명의 연구자-행정가(WT)로 구성되었습니다. 노인의학 전문의의 경험을 바탕으로 연구팀은 참가자에게 접근할 수 있었지만, 그들의 관점이 데이터 해석에 편견을 갖지 않도록 그들의 입장과 가정을 지속적으로 비판적으로 고려했습니다. 
The study team comprised 2 geriatricians (JK and WSL) and a researcher-administrator (WT), all with experience and roles in medical education research. The experience of the geriatricians afforded the study team access to the participants, but their positions and assumptions were constantly and critically considered to ensure that their perspectives did not bias interpretations of the data.

싱가포르의 두 주요 병원에서 총 16명의 노인의학 전문의가 연구에 참여했습니다(표 1). 이들 중 대다수(n = 9)는 10년 이상의 노인병 전문의 경력을 가지고 있었지만, 참가자 중 2명은 경력이 상당히 짧은(5년 미만) 노인의사였습니다. 연구팀은 학습 여정에서 적응 전문 지식을 적극적으로 습득하고 있는 임상의의 상호 보완적인 관점을 포착하기 위해 상대적으로 경력이 짧은 두 노인의학 전문의의 통찰력을 포함시켰습니다.
A total of 16 geriatricians from two major hospitals in Singapore participated in our study (Table 1). While majority (n = 9) of them had more than 10 years of experience as geriatricians, two of the participants had considerably less experience (less than 5 years). The study team included the insights of these two relatively junior geriatricians in order to capture the complementary perspectives of clinicians who were actively acquiring adaptive expertise in their learning journey.

주제별 분석 결과, 학습 경험은 적응 전문가가 되기 위한 여정에서 두드러진 사건과 영향력으로 개념화되었습니다. '모르는 것을 안다는 것'의 핵심을 뒷받침하는 세 가지 주요 주제는 다음과 같습니다: 

• (i) 사람 중심의 케어 정신,
• (ii) 호기심을 갖는 자세,
• (iii) 탐구하는 조직 문화의 만들기 (표 2).

Thematic analysis revealed that learning experiences were conceptualised as salient events and influences in the journey towards becoming an adaptive expert. Underpinning the core essence of ‘knowing that you don’t know’ are the 3 main themes of:

• (i) Anchoring ethos of person-centric care,
• (ii) Enabling stance of being curious, and
• (iii) Scaffolding organisational culture of inquiry (Table 2).

노인의학 분야의 적응형 전문가 정의: '자신이 모른다는 것을 아는 것'
Defining the adaptive expert in geriatric medicine: ‘knowing that you don’t know’

참가자들은 노인의학 적응적 전문가의 특징을 자신의 역량 범위를 넘어서는 상황을 인식할 수 있는 통찰력으로 설명했습니다. '자신이 몰랐던 것을 알고 있다'는 인식은 사례에 대한 실질적인 진단 및 치료 계획을 수립하기 위한 문제의 틀을 짜기 위한 서곡이었으며, 이 과정에서 필요한 전문 지식을 가진 다른 사람의 도움을 구하는 일이 종종 포함되었습니다. 중요한 첫 번째 단계는 '일반적인' 사례와 '새로운' 사례 또는 더 복잡한 사례를 구별하는 능력과 관련이 있습니다. 여기에는 일반적으로 일반적인 병력을 따르지 않거나 예측할 수 없고 언뜻 보기에 드러나지 않을 수 있는 모호한 궤적을 가진 사건이 포함됩니다.
The defining feature of an adaptive expert in geriatric medicine was described by participants as the insight to recognise situations which transcend their circle of competence. This awareness that ‘they knew that they didn’t know’ was the prelude towards framing the issues to put together a working diagnosis and treatment plan for the case, which often involved seeking assistance from others with the necessary expertise. A critical first step involved the ability to distinguish between a ‘usual’ vis-a-vis a ‘novel’ or more complex presentation. This typically involves a case that does not follow the usual history, or with an ambiguous trajectory that is unpredictable and may not reveal itself at first glance.

일반적인 것을 많이 본다면 어떤 것이 비정형적인지 바로 알아차릴 수 있겠죠. 프레젠테이션에서 일반적인 범주에 깔끔하게 들어맞지 않는 비정형적인 것은 무엇일까요? 바로 그때 도움이 필요하다는 것을 인식해야 합니다. (I3)
I mean if you see a lot of what's conventional, right, you would straightaway recognise what is unconventional. What is atypical in the presentation that doesn't fit neatly into the usual categories? And that's when you need to recognise that you need help. (I3)

전문가들은 복잡하거나 새로운 케이스로 전문성의 경계에서 수술할 때 진단 및 치료 계획을 수립하기 전에 다양한 관점에서 정보를 수집하고 삼각 측량해야 하며, 그 후에도 새로운 정보에 따라 계획을 지속적으로 검토해야 한다는 것을 인식했습니다. 이렇게 새로운 지식을 기존 계획에 지속적으로 통합하면 전문 지식의 경계가 효과적으로 확장되어 '자신이 모르는' 영역이 줄어들게 됩니다. 
The experts recognised that when they were operating at the boundaries of their expertise with a complicated or novel case, they needed to gather and triangulate information from various perspectives before formulating a diagnosis and treatment plan, following which, they needed to constantly review their plans in accordance with new information. This constant integration of new knowledge into their current plans would then effectively extend their boundaries of expertise, thereby diminishing the areas where ‘they knew they did not know’.

[복잡한 사례를 인식하고 진단을 내리고 치료 계획을 수립하는 능력]을 형성하고 발전시키는 데 도움이 된 경험에 대한 질문에 전문가들은 주제 표에 요약된 다양한 두드러진 경험을 설명했습니다(표 2).
When asked about the experiences that helped shaped and developed their ability to recognize, formulate a diagnosis and initiate a treatment plan for a complex case, the experts articulated a range of salient experiences, which are summarised in the table of themes (Table 2).

주제 1: 사람 중심 치료의 정착 정신
Theme 1: Anchoring ethos of person-centric care

이전 연구에서는 적응 전문가가 자신이 처한 외부 환경과 상호작용할 때 자아에 미치는 영향에 대해 언급했습니다(Regan et al., 2022). 마찬가지로, 한 참가자가 공유한 바와 같이, 환자를 생물의학적 영역을 넘어선 총체적인 방식으로 바라보는 것이 학습 여정의 닻 역할을 했습니다: "환자를 의학적 관점뿐만 아니라 기능적, 사회적 관점에서도 바라보는 것이 전체 임상적 판단의 틀을 형성합니다."(I14). 이러한 사람 중심의 진료 정신은 전문성을 개발하는 학습 경험의 근간이 되며, 학습 여정 전반에 퍼져 있습니다. 
Previous studies allude to the impact on self as the adaptive expert interacted with the external environment in which one is situated (Regan et al., 2022). Similarly, as one participant shared, viewing the patient in a holistic manner beyond the biomedical domain functioned as an anchor of their learning journey: “see(ing) the patient not only from the medical perspective but also the functional and social perspective, and that moulds the entire clinical judgment” (I14). This ethos of person-centric care undergirds and pervades their learning experience of developing expertise.

하위 주제: 가치의 가치
Subtheme: The value of values

환자에 대한 책임감이 학습 과정을 주도하고 따라서 전문성 개발의 토대를 마련한다고 제안되었습니다(Regan 외., 2022). 전문가들은 공감과 같은 가치가 사람 중심 치료의 토대를 마련하는 데 어떻게 도움이 되는지 공유했습니다. 한 참가자는 공감과 같은 가치가 어떻게 환자의 요구를 이해하고, 경쟁적인 정보 출처에 직면하여 의사결정을 촉진하며, 복잡한 환자를 관리할 때 우선순위를 정하는 데 도움이 되었는지 설명했습니다: ""(공감은) 우리 자신과 환자의 필요를 이해하는 것을 바탕으로 환자에 대한 접근 방식을 형성하는 데 도움이 됩니다... 이는 환자를 위해 우리가 가지고 있는 정보의 혼란 속에서 우선순위를 정하고 정리하는 데 도움을 줍니다." (I13). 
It has been suggested that responsibility towards patients drives the learning process and hence sets the foundation for expertise development (Regan et al., 2022). The experts shared how values like empathy helped lay the groundwork for person-centric care. One participant explained how values like empathy enabled him to understand the needs of the patients, facilitated sense-making in the face of competing sources of information and guided prioritisation in the management of complex patients: ““(Empathy) helps us shape our approach to the patients, based on understanding ourselves and the needs of the patients …This helps us prioritise and organise (in) the chaos of information that we have for the patients.” (I13).

공감 능력 외에도 자기 인식과 자기 통제력은 전문가를 차별화하는 특징입니다. 전문가들은 감정의 영향(긍정적이든 부정적이든)을 인식하여 균형을 유지하고 감정이 임상적 판단을 흐리지 않도록 하는 것이 중요하다는 점을 분명히 했습니다. 한 참가자는 공감조차도 때때로 절제해야 하는 상황에 대해 자세히 설명했습니다: "의사도 감정을 가지고 있기 때문에 균형 잡힌 사람이 되는 것이 매우 중요하다고 생각합니다... 공감하고 동정할 수는 있지만... 너무 많이 공감하면 판단이 정확하지 않을 수 있습니다. 너무 적게 공감하면 잘못된 결정을 내릴 것입니다." (I4) 또 다른 참가자는 절제가 얼마나 중요한지 다음과 같이 설명했습니다. "때때로 지나치게 'gung-ho'를 부리면 실제로 환자에게 해를 끼칠 수도 있습니다. 따라서 항상 절제와 자제력을 통해 절제해야 합니다." (I11).
Beyond empathy, self-awareness and self-control are defining features which set the expert apart. The experts articulated the importance of recognising the impact of emotions (both positive and negative) such that one is able to strike a balance and not let emotions cloud one’s clinical judgment. One participant elaborated on how even empathy had to be sometimes kept in check: “I think being a balanced person is very important because doctors have feelings too… we can empathise and sympathise, but … when we empathise too much, our judgment will not be correct. If we empathise too little, we'll make the wrong decision.” (I4) Another participant articulated how temperance was important: “Sometimes if you're too 'gung-ho', then you might actually harm the patient. So it has always got to be tempered by temperance, by self-control.” (I11).

공감과 자제력 외에 전문가들이 꼽은 사람 중심의 치료를 위한 노력으로는 올바른 판단력도 있었습니다. 이는 [숙련된 의학적 지식의 습득이나 다른 동료의 의견을 수렴하는 것]뿐만 아니라, [상식과 실제적인 이해를 통해 깊은 통찰력의 풍부한 관점을 도출]하기 위해, 건전하고 분별력 있는 방식으로 숙고하고 통합하고 행동하는 능력을 말합니다.
In the endeavour for person-centric care, besides empathy and self-control, good judgment was also cited by the experts. It refers to the ability to contemplate, integrate and act in a sound and discerning manner not just through the attainment of consummate medical knowledge or garnering the inputs of other colleagues, but also invoking common sense and practical understanding to yield the rich perspectives of deep insight.

우리는 사람들의 의견에만 의존하지 않고 판단력을 발휘해야 합니다. 네, 항상 판단력을 발휘하고 그것이 우리 자신의 추론과 의사 결정에 부합하는지 확인해야 한다고 생각합니다. (I9)
We need to exercise judgment and not just fall back on the opinion of people. Yeah, I think we always need to exercise judgment and see if it fits with our own line of reasoning and decision-making. (I9)

주제 2: 호기심을 갖는 자세를 갖자
Theme 2: Enabling stance of being curious

전문가들은 지속적인 학습을 위한 핵심 속성으로 호기심을 언급했습니다. 실제로 한 참가자는 "이러한 호기심이 실제로 학습을 훨씬 더 잘하게 만든다"고 말했습니다(I1). 이들에게 호기심은 자신의 업무를 넘어 질문을 하고, 사례를 찾아보고, 배움에 대한 열린 자세를 갖도록 동기를 부여했습니다. 한 참가자는 "아주 '궁금한' 것이 보이면 가서 읽어야 합니다...... 호기심은 매우 중요합니다. 모르면 가서 읽어보는 것이 좋습니다." (I12).
The experts mentioned curiosity as a key attribute for continual learning. In fact, one participant commented that “this curiosity actually makes them learn much better” (I1). For them, curiosity motivated them to go beyond one’s work tasks, asking questions, reading up on cases and thereby being open to learning. As one participant shared, “if I see something very ‘curious’, I have to go and read…. curiosity is very important. If you don't know, better go and read.” (I12).

좋은 태도를 가지고, 평범함에서 벗어날 준비를 하고, 호기심을 가지고 질문하고, 항상 환자를 생각하고, 의학 지식과 임상 지식을 추가하려고 노력해야 합니다. (I2).
You have to have a good attitude, be prepared to go out of the ordinary, be curious to ask questions, always thinking of the patient, and trying to add on to medical knowledge and clinical knowledge. (I2).

이러한 호기심은 "모든 사람이 모든 것을 아는 것은 아니므로 항상 지식이 부족하다"는 것을 인정하는 겸손함에도 바탕을 두고 있습니다(I3). 불확실한 상황을 관리할 때 분야 안팎의 동료와 선배에게 도움을 구할 때 겸손은 특히 중요했습니다: "하지만 막히면 해당 분야의 전문가나 동료에게 도움을 요청하는 것도 중요합니다."(I15) 동료 및 선배와의 상호작용은 학습에 도움이 되는 호기심을 불러일으켰습니다. 
This curiosity was also grounded in humility – acknowledging that “not everyone knows everything, so there is always a lack of knowledge” (I3). In the management of uncertain situations, humility was especially important as they sought help from peers and seniors, both within and outside the discipline: “But if you're stuck, it's also important to ask the specialist of the area or your colleague for help” (I15) The interactions with their peers and seniors generated curiosity which aids in the learning.

전문가들은 일부 학습자들은 타고난 호기심도 있지만 호기심을 키워야 한다고 설명했습니다. 한 참가자는 시니어 노인의학자로서 "호기심을 자극해야 한다"고 느꼈습니다. (I3) 다른 참가자(I15)는 "어떤 사람들은 자연스럽게 개방적이고 호기심이 많으며, (그리고) 무언가를 정리하기로 결심합니다. 다른 사람들은 그것을 보여줘야 하고 연습이 필요합니다."라고 말했습니다. 전문가들은 지속적인 학습을 가능하게 하는 자세로서의 호기심은 [성찰의 연습과 학습자의 성숙과 발전을 위한 시간을 허용함으로써 길러질 수 있다]고 생각했습니다. 
The experts elaborated that while some learners were naturally curious, curiosity should also be nurtured. One participant felt that as senior geriatricians, “we have to stir up the curiosity.” (I3) Another participant (I15) shared that “some people are just naturally open, curious, (and) determined to put things together. Others need to have it demonstrated and they need to practice.” The experts felt that curiosity as a stance enabling continuous learning could be nurtured through the practice of reflection and through allowing time for the maturation and development of learners.

하위 주제: 성찰의 실천
Subtheme: The practice of reflection

호기심을 근간으로 하는 적응 전문가 학습 경험의 핵심 요소는 성찰의 실천입니다(Mahant 외., 2012; Mylopoulos 외., 2011). 참가자들은 개인 진료에 대한 성찰이 환자를 위한 관리 결정을 내리고 개선하는 데 어떻게 도움이 되었는지에 대해 언급했습니다. 한 참가자는 성찰이 다양한 관점의 정보를 통합하고 통합할 수 있는 플랫폼을 제공함으로써 임상 관리에서 측정된 의사결정을 촉진하는 방법을 설명했습니다: "세세하게 관리하면 중요한 것을 놓칠 수 있지만...... 조감도를 찍으면 세부 사항을 놓칠 수 있고, 따라서 관리가 적절하지 않거나 적절하지 않을 수 있으므로 스스로 보정해야 합니다." (I9).
With curiosity as the bedrock, a key element of the learning experience of adaptive experts is the practice of reflection (Mahant et al., 2012; Mylopoulos et al., 2011). Our participants commented on how reflecting on their personal practice helped inform and improve management decisions for their patients. One participant explained how reflection facilitated measured decisions in clinical management by providing a platform to consolidate and integrate inputs from different perspectives: “if I were to micro-manage I might miss important things….yet if I (take a) birds’ eye view, I might miss details and therefore management may not be appropriate or adequate — so I have to calibrate myself.” (I9).

하위 주제: 시간의 이점
Subtheme: The benefit of time

많은 전문가들이 자신의 전문성 개발 여정을 되돌아보고 시간이 전문성 개발에 미친 영향에 대해 공유했습니다. 이들은 시간을 두 가지 측면에서 이야기했습니다. 첫째, 소중한 재화로서의 시간. 한 참가자는 복잡한 케이스를 둘러싼 불확실성을 정보를 수집하고, 반복적으로 처리하고, 생각하기 위해서는 일상적인 업무에서 시간을 따로 떼어내야 한다고 설명했습니다."특정 시점에 전체 그림을 다시 봐야 한다는 것을 알게 되었습니다......심지어 전체 그림을 다시 보기 위해 몇 번씩 돌아가야 할 수도 있습니다."(I5).
Many of the experts reflected on their journey of expertise development and shared the impact that time had in their development. They spoke of time in two ways: firstly, time as a precious commodity. As one participant elaborated, setting aside time within the daily grind was necessary to gather information, iteratively process and think through the uncertainties surrounding a complex case, “I find myself having to relook the whole picture at certain points in time….I may even have to go back a few times to look at the whole picture again “ (I5).

하지만 바쁜 임상 일정 속에서 시간을 내는 것은 어려운 일이었습니다. 한 참가자는 시간 부족이 학습에 얼마나 큰 제약이 되는지 언급하며 "병동 회진은 비즈니스 회진과 같습니다. 3시간까지 모든 환자를 끝내야 하고 그 이후에는 다른 일을 해야 합니다. 따라서 이 일을 제대로 하려면 시니어 레지던트들을 데리고 복잡한 케이스들을 하나하나 살펴보고 함께 앉아서 진행해야 합니다. 시간이 없습니다." (I10).
However, finding time within the busy clinical schedule was a challenge. One participant commented how the lack of time was a critical constraint when learning, “The ward round is like a business round. We need to finish all the patients by three hours, after that we have other things to do. So, if you really want to do this properly, you need to bring the senior residents through those complex cases, sit down and go through each case with them. And we don't have time.” (I10).

전문가들이 시간에 대해 이야기한 두 번째 방식은 임상 성숙 과정과 관련된 것으로, 임상의가 임상 경험을 점진적으로 축적하여 성숙하기 위해서는 시간이 필요하다는 것이었습니다. 한 참가자는 다년간 다양한 케이스에 노출되며 쌓은 임상 경험을 통해 보다 총체적이고 환자 중심적인 방식으로 진료할 수 있었다고 회고했습니다: "처음 시작했을 때는 많은 지식과 과학에 대한 교육을 받았지만... 시간이 지남에 따라 인생 여정이 진행되고 더 많은 경험을 쌓기 시작하면서 과학 중심에서 사람 중심으로 바뀌었습니다." (I13).
The second way in which the experts spoke about time was in relation to the process of developing clinical maturity: the passage of time was needed for clinicians to mature through gradual accumulation of their clinical experience. A participant reflected that clinical experiences, accumulated through many years of exposure to a wide variability of cases, enabled him to practice in a more holistic and patient-centred manner: “when we first started, we were trained with a lot of knowledge and a lot of science…But over time as our life journey progresses and we start to accumulate more experience, then I adjusted away from (being) science-focused to person-focused.” (I13).

주제 3: 탐구하는 조직 문화 발판 마련하기
Theme 3: Scaffolding organisational culture of inquiry

참가자 중 일부는 임상 전문가일 뿐만 아니라 행정 리더이기도 했습니다(표 1). 이들은 행정 경험을 바탕으로 적응형 전문가가 되기 위해서는 호기심, 질문하기 등 개인 차원의 특성과 습관뿐만 아니라 탐구와 학습을 촉진하는 조직 문화가 뒷받침되어야 한다고 강조했습니다. 특히 심리적 안정과 멘토링의 역할이 중요하다고 언급했습니다.
Some of the participants were administrative leaders, in addition to being clinical experts (Table 1). Drawing on their administrative experience, they highlighted that the learning experience of an adaptive expert required not only individual-level attributes and habits (such as curiosity, asking questions) but also a supportive organisational culture which fostered inquiry and learning. In particular, they mentioned the critical roles played by psychological safety and mentoring.

하위 주제: 심리적 안전의 문화
Subtheme: The culture of psychological safety

조직의 탐구 문화는 신뢰와 심리적 안전이 유지되는 환경에서 의미 있는 상호작용을 촉진함으로써 적응형 전문가의 학습 경험에 중요한 역할을 합니다. 심리적 안전이란 대인 관계에서 위험을 감수하기에 주변 환경이 안전하다고 느끼는 것을 말합니다(Edmonson, 1999). 한 참가자는 복잡한 사례에 대한 토론을 장려하기 위해서는 심리적 안전감이 중요하다고 강조했습니다: "심리적으로 안전한 환경을 조성하는 것은 정말 큰 도움이 됩니다. 토론할 수 있는 개방성, 확실하지 않은 사례에 대해 안심하고 토론할 수 있다는 느낌, 이 모든 것이 동시에 자신감을 키울 수 있습니다." (I8) 또 다른 참가자는 그렇게 하는 것이 어려웠지만, 비난이 아닌 배움에 중점을 두는 것이 전문가가 취약한 부분을 드러내고 판단받지 않는 안전한 대화 환경을 조성하는 데 중요하다고 말했습니다: "처벌적이지 않은 환경이 필요합니다... 처벌적 문화는 방어적인 문화를 만들 것입니다. 토론은 비판을 위한 것이 아니라 학습을 위한 것임을 이해해야 합니다. ... 때때로 우리는 그 사람을 비판하는 것처럼 보이기 때문에 매우 어렵지만, 사건에 대해 안전하게 토론할 수 있는 환경이 정말 필요합니다." (I11). 
An organisational culture of inquiry plays a critical role in the learning experience of adaptive experts by facilitating meaningful interactions in an environment which maintains trust and psychological safety. Psychological safety refers to a person’s sense that the immediate environment is safe for interpersonal risk-taking (Edmonson, 1999). A participant highlighted that a sense of psychological safety is important to encourage discussions about complex cases: “Having an environment of psychological safety – that really helps a lot. Openness to discuss, feeling safe to discuss cases that you're not sure of – all these can build up confidence at the same time.” (I8) Another participant commented that while it was challenging to do so, placing emphasis on learning and not blame was critical to creating a safe environment for conversations whereby the expert could be vulnerable and not be judged: “You need an environment that is not punitive…a punitive culture will create a defensive culture. Understanding that discussion is for learning and not for criticising. …sometimes we find it very difficult because it seems that we are criticising the person, but we really need an environment that we feel safe to discuss a case.” (I11).

하위 주제: 멘토링 문화
Subtheme: The culture of mentoring

전문가들은 전문성을 개발하는 데 도움이 되는 임상적 통찰력을 공유하고 전문성 개발에 필요한 기대되는 규범과 행동을 역할 모델링하는 측면에서 멘토가 학습 경험에 중요한 역할을 한다고 언급했습니다. 한 참가자는 선배 임상의가 자신의 관점을 공유함으로써 임상적 결정의 이면에 있는 이유를 이해할 수 있었다고 설명했습니다: "(저는) 선배들을 관찰하고 (사례) 관리에 대한 그들의 생각을 공유하면서 배웠습니다..... 누군가가 공유하면 그들이 생각하는 방식이 이런 것이구나, 왜 특정 일을 하는지 알게 되거든요....... 그래서 선배들이 자신의 경험을 공유하면 도움이 됩니다." (I9). 
The experts mentioned that mentors play a crucial role in their learning experiences, both in terms of sharing clinical insights to help develop expertise and in role modelling expected norms and behaviour needed for expertise development. A participant elaborated that having senior clinicians share their perspectives allowed him to understand the reasons behind their clinical decisions: “(I learnt) from observing my seniors and having them share their thoughts about (case) management…. Because when someone shares, then you realise this is the way they're thinking, why they are doing certain things…. So it helps when seniors share their experience.” (I9).

또 다른 참가자는 지속적인 학습과 개발에 중요한 행동을 모범적으로 보여준 선배 임상의가 어떻게 자신이 전문가가 되는 길에 들어섰는지 공유했습니다: "선배들이 같은 일을 했기 때문에 제가 하는 일을 하고 있습니다. XXX 박사님이나 YYY 교수님처럼... 네, 아주 선배 임상의사분들인데, 그분들은 저에게 '매일 특정 교과서의 한 장을 읽는다'고 말씀하시거나 그런 식으로... 그분들이 발전시켜온 습관이고, 저를 포함한 수많은 후배들에게 전수해 주셨어요. 그래서 이 모든 것이 역할 모델링입니다. 컨설턴트가 이런 일을 할 수 있고 가족까지 있다면 우리도 변명의 여지가 없습니다." (I10). 
Another participant shared how senior clinicians who had exemplified behaviours crucial to continual learning and development had set him on the path to becoming an expert himself: “I do what I do because my seniors did the same thing. It's not something that is new… Like Dr. XXX and Prof YYY… Yeah, these are very, very senior clinicians, and they tell me, 'Oh, you know, every day I read… I study one chapter of a particular textbook’, or something like that …It's a habit that they have developed, and they have passed it on to countless other juniors including myself. So, it's all role modelling. If your consultant can do this, and he's got a family and all that, there’s no excuse for us.” (I10).

전문가들은 개별 멘토를 확보하는 것 외에도 멘토링 문화를 조성하는 것도 중요하다고 강조했습니다. 학습자에게 '발판'이 되어줄 수 있는 선배 의사 풀이 있다면 다양한 전문 지식의 원천으로부터 배울 수 있을 것입니다: "부서 직원들은 이 사람이 업무를 진행함에 따라 모든 사각지대를 커버하기 위해 그 사람을 '감싸 안아야' 할 것입니다." (I8). 또 다른 참가자는 복잡한 사례에 대한 결정을 내리기 전에 다양한 선임 임상의로부터 다양한 관점을 수집하는 것이 중요하다고 설명했습니다: "(저는) 여러 컨설턴트에게 이 복잡한 케이스를 어떻게 진행할 것인지에 대한 그들의 관점과 제안을 구합니다. 그래서 항상 의지할 수 있는 사람들이 있고 합의에 도달할 수 있습니다." (I14).
In addition to having individual mentors, the experts also stressed that fostering a culture of mentoring was equally important. Having a pool of senior doctors who were able to provide support to ‘scaffold’ the learner would enable learning from various sources of expertise: “The department staff will have to “wrap” themselves around this person to cover all their blind spots… as they progress in their work.” (I8). Another participant elaborated that it was important to gather different perspectives from various senior clinicians before reaching a decision on a complex case: “(I ask) different consultants to get their perspectives and suggestions on how to move forward with this complex case. So there's always people that we can turn to and a consensus can be reached.” (I14).

이 연구는 개인 내, 개인 간, 조직 수준에서의 상호작용 형태의 학습 경험이 복잡한 노인의학 분야에서 적응 전문성을 개발하는 데 어떻게 기여했는지 이해하는 것을 목표로 합니다. 이전 연구에서는 적응 전문가가 보여주는 핵심 철학과 신중한 관행을 명확하게 설명했습니다(Mahant 외., 2012). 본 연구는 3차 병원에서 노인의학 전문가의 학습 경험을 통해 적응적 전문성을 개발하는 과정을 조사함으로써 새로운 증거를 기반으로 합니다. 학습 경험의 핵심은 '모른다는 것을 아는 것'의 여정으로 설명되었으며, 사람 중심 진료의 정신, 호기심을 갖는 자세, 조직의 탐구 문화 발판이라는 주요 테마로 정교화되었습니다. 
This study aims to understand how learning experiences in the form of interactions at the intra-personal, inter-personal and organisational levels contributed to the development of adaptive expertise in the complex field of geriatric medicine. Previous research has clearly articulated the core philosophies and deliberate practices which adaptive experts display (Mahant et al., 2012). Our study builds upon the emerging body of evidence by examining the development of adaptive expertise through the learning experiences of geriatrician experts in a tertiary hospital. The core essence of the learning experiences was described as a journey of ‘knowing that you don’t know’, elaborated by the major themes of anchoring ethos of person-centric care, enabling stance of being curious, and scaffolding organisational culture of inquiry.

[환자 중심]은 적응형 전문가의 중요한 특성입니다(Mahant 외., 2012; Mylopoulos 외., 2017). 본 연구에서는 의사가 환자 및 보호자와 상호작용할 때 도출되는 핵심 가치와 사람 중심의 진료를 이끌어내는 핵심 가치를 확립했습니다. 언급된 핵심 가치 중 일부는 공감, 자기 인식 및 자기 통제입니다. 공감은 환자의 고통을 '느끼는' 능력뿐만 아니라 '환자의 입장이 되어보는' 인지적 능력도 포함하는 것으로 설명됩니다(Reiss, 2010). 공감 능력이 뛰어난 의사는 의료 결과가 개선되고(Mercer 외., 2016; Shanafelt 외., 2002), 직업적 만족도가 더 높습니다(Shanafelt 외., 2012). 참가자들은 환자의 관점을 고려하는 이러한 능력을 아무리 복잡한 사례라도 환자 관리의 우선순위를 명확하게 설정할 수 있는 핵심적인 이유로 자주 언급했습니다. 공감은 감정 기반 추론의 기초를 형성하며, 공감을 능숙하게 활용하면 의사와 환자를 연결하고 상호 작용에 의미를 부여하여(Ekman & Halpern, 2015) 의료 계획에 대한 참여도를 높여 환자 치료 결과를 개선할 수 있습니다(Ekman & Krasner, 2017). 
Being patient-centered is a valuable trait of an adaptive expert (Mahant et al., 2012; Mylopoulos et al., 2017). Our study establishes the key values elicited as the physician interacts with patients and their caregivers, and which drive person-centric care. Some of the core values mentioned are empathy, self-awareness and self-control. Empathy is described as having not just an ability to ‘feel’ with the suffering of the patient but also the cognitive ability to ‘put oneself in the shoes of the patient’ (Reiss, 2010). Physicians with greater empathy have improved medical outcomes (Mercer et al., 2016; Shanafelt et al., 2002) and experience greater professional satisfaction (Shanafelt et al., 2012). This ability to take the perspective of the patient has been frequently cited by our participants as the core reason they are able to set clear priorities in the management of patients no matter how complex the case is. Empathy forms the basis for emotion-based reasoning and the skillful utilisation of empathy connects the doctor to the patients and gives meaning to the interaction (Ekman & Halpern, 2015), resulting in better patient outcomes with improved engagement with medical care plans (Ekman & Krasner, 2017).

임상 개입의 이점과 해악을 평가하고 발생하는 도덕적 및 시스템 문제에 따라 관리의 우선순위를 정하기 위해서는 절제와 자제력을 적용해야 합니다(Pellegrino & Thomasma, 1993). '현명한' 의사는 환자의 임상적 관찰과 평가뿐만 아니라 환자의 심리사회적 실존적 관심사까지 관리하고 환자가 복잡한 치료 시스템을 탐색하여 그들의 필요를 충족할 수 있도록 돕습니다. 참가자들은 절제와 공감이 시너지 효과를 발휘한다는 점을 분명히 했습니다. 이러한 상호 보완적인 관계는 적응 전문가가 치료 필요를 예측할 수 있도록 준비하고 환자에게 가장 중요한 것에 집중할 수 있도록 도와주기 때문에 필수적입니다. 적응형 전문가는 근거 기반 지식을 엄격하게 적용하려는 충동을 거부하고 대신 '근거 균형 의학'의 적용을 통해 환자 치료에 변화를 가져올 수 있는 것에 초점을 맞추기로 선택합니다(Lim & Ding, 2015). 이를 인지적 자기 조절 과정이라고 하며, 의료 전문가가 지식을 행동으로 옮기는 방법을 뒷받침하는 것으로 설명되어 왔습니다(Kahlke et al., 2020; Kuhl & Beckmann, 1985). 
The application of temperance and self-control, is required to weigh the benefits and harms in clinical interventions and prioritise management based on moral and systems issues that arise (Pellegrino & Thomasma, 1993). The ‘wise’ physician manages not only the clinical observations and evaluations of the patient but also the psychosocial existential concerns of the patient and helps them navigate through the complex systems of care to fulfill their needs. Our participants articulated that temperance and empathy work synergistically. This complementary relationship is essential for adaptive experts as it prepares them for anticipating care needs and anchors them to what matters most to the patients. The adaptive experts resist the urge to rigidly apply their evidence-based knowledge but choose to shift the focus to what could make a difference to the care of the patient instead through the application of ‘evidence-balanced medicine’ (Lim & Ding, 2015). This is known as cognitive self-regulatory process and has been described to support how health professions translate knowledge into action (Kahlke et al., 2020; Kuhl & Beckmann, 1985).

호기심은 적응형 전문가의 핵심 속성으로 설명되어 왔습니다(De Arment et al., 2013). 호기심은 동료들과 사례를 논의하고 선배에게 도움을 구하는 상호작용을 통해 더욱 키울 수 있습니다. 호기심은 반성적 실천, 비판적 사고, 새로운 지식에 대한 탐구라는 좋은 습관을 기르는 데 도움이 되기 때문에 임상적 추론에 필수적입니다(Redelmeier, 2005). 이러한 메타인지 능력은 적응 전문가에 대한 이전 연구에서 잘 설명되어 있습니다(Carbonell 외., 2014; Hayden 외., 2013; Mahant 외., 2012; Mylopoulos 외., 2011; Yoon 외., 2015). 우리의 연구에 따르면 지식을 늘리기 위해 동료 및 선배와의 상호 작용을 유도하는 것은 인식론적 호기심입니다. 이러한 상호작용을 통해 인식론적 호기심은 다양성 호기심으로 발전하고, 이는 새로운 것에 대한 흥미와 개방성의 기반이 됩니다. 인식론적 호기심은 적응형 전문가의 특징인 창의적 문제 해결 및 창의적 성과와 관련이 있습니다(Hardy et al., 2017). 
Curiosity has been described as a key attribute of adaptive experts (De Arment et al., 2013). We propose that curiosity is further nurtured through interactions when discussing cases with peers and seeking help from seniors. Curiosity is integral to clinical reasoning (Redelmeier, 2005) as it helps develop good habits of reflective practice, critical thinking and a quest for new knowledge (Shulman et al., 1968). These metacognitive skills have been well-described in previous research on adaptive experts (Carbonell et al., 2014; Hayden et al., 2013; Mahant et al., 2012; Mylopoulos et al., 2011; Yoon et al., 2015). Our research suggests that it is epistemic curiosity that drives the interactions with the peers and seniors to increase their knowledge. Through these interactions, epistemic curiosity further develops to diversive curiosity which is the basis for the interest and openness to novelty. Epistemic curiosity has been associated with creative problem solving and creative performance which are all hallmarks of an adaptive expert (Hardy et al., 2017).

성찰은 '[어떤 신념이나 가정된 지식의 형태]를 그것을 [뒷받침하는 근거와 그 결론]에 비추어 [능동적이고 지속적이며 신중]하게 고려하는 것'으로 정의됩니다(Dewey., 1910). 성찰은 학습자가 자신의 의료행위에 영향을 미치는 더 깊은 지식을 생산하도록 변화시키는 것을 목표로 합니다(Ng et al, 2019a, 2019b). 성찰은 학습자가 '무엇'에 대해 아는 것을 넘어 '왜'를 아는 것으로 나아가는 사고와 추론의 방식입니다(Mylopoulos et al., 2018).
Reflection is defined as ‘active, persistent and careful consideration of any belief or supposed form of knowledge in the light of the grounds that support it and further conclusions to which it tends’ (Dewey., 1910). Reflection aims to transform the learner to produce deeper knowledge that influences one’s practice of medicine (Ng et al, 2019a, 2019b). It is a way of thinking and reasoning that pushes the learner beyond knowing about the ‘what’ to knowing ‘why’ (Mylopoulos et al., 2018).

또한 전문성이 발달하는 데는 시간이 필요합니다(Kawamura et al., 2014). 교육자는 학습자에게 속도를 늦출 수 있는 시간을 제공하는 데 주의를 기울여야 합니다. 이는 학습자가 사례를 다른 관점에서 바라보면서 자신의 가정을 비판적으로 검토할 때 호기심 어린 성찰을 장려함으로써 호기심을 키우는 데 도움이 됩니다(Dyche & Epstein, 2011). 자신과 자신의 역량에 대한 이러한 비판적 검토는 때때로 학습자에게 방향을 잃게 할 수 있지만, 방향을 잃게 하는 딜레마는 혁신적 학습을 촉진합니다(Laros, 2017). 옹호 및 질문과 같은 적절한 피드백 기법을 사용하여 안내할 경우(Loo 외, 2018), 변혁적 학습은 학습자가 복잡한 의료 시스템 내에서 불확실성에 접근할 때 자신의 가정과 신념을 비판적으로 성찰하면서 관점의 전환을 가져옵니다(van Schalkwyk 외, 2019).
In addition, time is required for expertise to develop (Kawamura et al., 2014). Educators need to be mindful to provide learners time to slow down. This helps to nurture their curiosity by encouraging curious reflection, as the learners critically examine their own assumptions as they view the case from another perspective (Dyche & Epstein, 2011). This critical examination of themselves and their competence can sometimes be disorienting to the learner, but a disorienting dilemma catalyses transformative learning (Laros, 2017). When guided with appropriate feedback techniques, for example using advocacy and inquiry (Loo et al., 2018), transformative learning results in perspective transformation as the learner critically reflects on his own assumptions and beliefs as they approach uncertainty within a complex healthcare system (van Schalkwyk et al., 2019).

이번 연구는 개인과 주변 환경을 넘어 조직이 적응형 전문가 개발에 미치는 영향에 주목합니다. 조직의 문화는 조직 구성원에게 허용되는 행동과 관행에 대해 안내하고 알려주는 가치와 기대에 의해 구성됩니다. 적응적 전문성은 당혹감이나 조롱, 수치심에 대한 두려움 없이 우려와 관점을 표현할 수 있도록 심리적 안전이 보장되고 비난의 문화 대신 학습의 문화가 강조되는 조직을 중요하게 여깁니다(Edmonson, 2018). 심리적 안전에 대한 인식은 임상 전문가가 필요할 때 도움을 구하거나, 현 상황에 의문을 제기하거나, 실수를 처벌받거나 은폐해야 할 범죄로 취급하는 대신 학습의 원천으로 함께 노력할 것이라는 확신을 갖는 등 임상 모호성에 직면했을 때 대인 관계 위험을 감수할 수 있는 충분한 안정감을 느낄 수 있는 발판을 제공합니다(Torralba et al., 2020). 활기찬 멘토링 문화도 도움이 됩니다. 적응 전문가들은 학습자에게 어려움을 겪을 때 도움을 구하는 겸손함을 롤모델로 삼을 수 있습니다(Mahant et al., 2012; Mylopoulos & Reghr, 2007). 또한 성찰과 비판적 사고를 통해 문제에 대해 더 깊이 이해하도록 자극함으로써 학습자의 호기심을 키우는 데 중요한 멘토링 역할을 합니다. 흥미롭게도, 누구에게 도움을 구할지 결정하는 감각 형성 과정에서 학습자는 접근하기 쉽고 신뢰할 수 있다고 인식하는 사람에게 접근하는 경향이 있습니다(Hofmann et al., 2009). 종합하면, [심리적 안전]을 중시하고 [멘토링 문화]를 포용하는 학습 조직에서 학습자는 [상호 연결된 지식 네트워크]에 접근하고 [창의성과 혁신]을 통해 [한계를 뛰어넘을 수 있는 용기]를 발견함으로써 적응형 전문가가 되기 위한 여정을 보다 쉽게 진행할 수 있습니다(Bransford 외., 2000). 
Beyond the individuals and their immediate environment, our study recognizes the impact of the organisation on the development of an adaptive expert. An organisation’s culture is constituted by values and expectations that guide and inform the members of the organisations about accepted behaviours and practices. Adaptive experts value an organisation where there is psychological safety and an emphasis on a culture of learning instead of a culture of blame, such that concerns and viewpoints can be expressed without fear of embarrassment or ridicule or shame (Edmonson, 2018). The perception of psychological safety provides the scaffold for clinician experts to feel secure enough for interpersonal risk-taking when confronted with clinical ambiguity, be it seeking help when required, questioning the status quo, or having the assurance that mistakes will be worked on together as a source of learning instead of being treated as a crime to be punished or covered up (Torralba et al., 2020). A vibrant culture of mentoring is also helpful. Adaptive experts can role model to learners the humility to seek help when they encounter difficulties (Mahant et al., 2012; Mylopoulos & Reghr, 2007). They also play a critical mentoring role in nurturing curiosity within learners by stimulating them to develop deeper understanding of the issues through reflection and critical thinking. Interestingly, in the sensemaking process when deciding who to seek help from, learners tended to approach those whom they perceive as accessible and trustworthy (Hofmann et al., 2009). Taken together, in a learning organisation which places high premium on psychological safety and which embraces a culture of mentoring, learners can progress more readily in their journey of becoming an adaptive expert through the guided discovery of accessing their interconnected knowledge networks and having the courage to push boundaries through creativity and innovation (Bransford et al., 2000).

참가자들은 학습 경험을 적응형 전문성을 개발하기 위한 여정에서 두드러진 사건과 영향력으로 특징지었습니다. 이러한 프레임워크는 학습자가 참여하는 활동으로서 적응 전문성이 문헌에서 일반적으로 제시되는 방식에서 벗어납니다(Mylopoulos & Reghr, 2007). 그러나 우리 참가자들은 이 여정 자체가 역동적이라는 것을 인정했고, 그들 스스로도 끊임없이 학습하고 호기심을 갖고 자신의 실천을 성찰하고 있었습니다. 많은 전문가들이 자신의 경험과 활동에 대해 현재 시제로 이야기하기로 한 것은 중요한 의미가 있었는데, 이는 그들이 이미 '열반의 상태'에 도달한 여행자가 아니라 여전히 전문성을 개발하기 위해 (지속적으로) 여행 중이라고 생각한다는 것을 나타냅니다. "  
Our participants had characterised their learning experiences as salient events and influences in their journey towards developing adaptive expertise. This framing deviates from the way in which adaptive expertise is commonly presented in literature, as an activity that learners engage in (Mylopoulos & Reghr, 2007). However, our participants had also acknowledged that this journey was in itself dynamic, and they themselves were continually learning, being curious and reflecting on their practice. It was significant that many of the experts chose to talk about their experiences and activities in the present tense – indicating that they saw themselves as still on the journey to (continually) develop expertise, rather than travellers who had already reached ‘a state of nirvana’. “

이번 연구에는 개업 기간이 5년 미만인 노인의학 전문의 2명만 참여했습니다. 그들은 주로 선배 노인 전문의와 비슷한 견해를 공유했지만, 향후 연구에서 후배 적응 전문가의 학습 경험을 더 이해하는 것이 중요합니다. 또한 횡단면 인터뷰에서는 시간에 따른 성숙의 효과를 설명할 수 없었습니다. 또한, 본 연구는 조직 차원의 상호작용과 문화에 대한 조직 리더의 관점이 적응 전문가와 일치하는지 확인하기 위해 권한 있는 위치에 있는 조직 리더의 상호보완적인 관점을 활용할 수 있을 것입니다. 향후 연구에서는 허약한 노인을 돌보는 데 관여하는 다른 전문가 집단에 대해서도 연구하여 이번 연구 결과가 의료계를 넘어 다른 분야에도 적용될 수 있는지 확인해야 합니다. 마지막으로, 본 연구에서는 사회문화적 요인이 개인, 사회 및 조직 차원의 상호작용에 미치는 영향에 대해서는 조사하지 않았습니다. 특히 의사들 사이에서 의료 전문직 교육에서 선배 임상의는 존경받으며 전문가들은 전통적으로 권위 있는 인물로 간주되어 '체면'을 잃지 않기 위해 '모든 것을 아는' 존경의 겉치장을 유지하는 경우가 많습니다. 이러한 상황에서는 본 연구에서 적응 전문가의 '모른다는 것을 아는 것'의 핵심이 덜 적용될 수 있으며, 시니어 임상의가 적응 전문가의 속성을 롤모델로 삼을 수 있는 충분한 심리적 안전성을 갖춘 환경을 제공하기 위해 라포 관리를 통해 완화될 필요가 있습니다(Hwang et al., 2003). 
Our study comprised only two geriatricians who practiced for less than 5 years. Even though they shared primarily similar views as the senior geriatricians, it is important to further understand the learning experience of junior adaptive experts in future research. Moreover, we were unable to account for the effect of maturation with time in our cross-sectional interviews. In addition, our study would benefit from the complementary perspectives of organisational leaders in positions of authority to ascertain whether their viewpoints with regards to interactions and enculturation at the organisational level are aligned with our adaptive experts. Future research should also study other inter-professional groups involved in the care of frail older persons to ascertain the transferability of our findings beyond the medical profession. Lastly, our study did not examine the influence of socio-cultural factors on interactions at the personal, social and organisational levels. In health professions education especially amongst doctors, senior clinicians are venerated and experts are traditionally regarded as authoritative figures and often maintain a veneer of ‘know-all’ respectability to avoid ‘losing face.’ In such situations, the core essence of ‘knowing that you don’t know” amongst adaptive experts in our study may be less applicable and may need to be tempered with rapport management in order to provide an environment with sufficient psychological safety for senior clinicians to role model the attributes of an adaptive expert (Hwang et al., 2003).

이번 연구를 종합해 보면 적응형 전문가의 학습 경험에서 상호작용의 중요성이 강조됩니다. 이러한 상호작용은 개인 내, 개인 간, 조직 수준에서 발생하며 적응 전문성을 개발하는 데 도움이 됩니다. 개인 내 및 개인 간 수준에서 일어나는 상호작용은 공감, 자제력, 지혜와 같은 덕목의 중요성을 강조하고 의대생들의 공감 능력을 향상시키기 위해 커리큘럼에 인문학 및 관련 분야를 통합하는 것을 지원합니다(후쿠야스 외., 2021). 학습 경험에서 호기심의 촉매 효과는 임상의 전문가가 호기심의 자세를 역할 모델링하고 올바른 판단을 바탕으로 디브리핑과 같은 증거 기반 기술을 사용하여 피드백을 제공하는 방식을 통해 학습자와의 상호 작용을 최적화하여 호기심을 유발하는 데 중요한 역할을 한다는 것을 확인시켜 줍니다. 또한 이 연구는 심리적 안전 문화와 멘토링 문화를 구축하여 학습을 지원하는 환경을 제공함으로써 적응형 전문성을 개발하는 데 조직이 크게 기여하고 있음을 강조했습니다. 따라서 이번 연구는 향후 다른 사회문화적 환경과 전문가 집단에서 학습 경험이 적응 전문성 개발에 미치는 영향을 더 연구할 수 있는 토대를 마련했습니다.

Taken together, our study highlighted the importance of interactions in the learning experiences of an adaptive expert. These interactions occur at the intra-personal, inter-personal and organisational levels to support the development of adaptive expertise. Interactions happening at the intra-personal and inter-personal levels emphasise the importance of virtues such as empathy, self-control and wisdom, and support the incorporation of humanities and related fields within the curriculum to enhance empathy amongst medical students (Fukuyasu et al., 2021). The catalytic effect of curiosity in the learning experiences affirms the critical role played by clinician experts in role-modeling the stance of curiosity and in optimizing interactions with learners to generate curiosity through the way they provide feedback using evidence-based techniques such as debriefing with good judgment. Our study also highlighted the significant contribution of the organisation to the development of adaptive expertise through the provision of an environment that is supportive of learning by building upon the culture of psychological safety and the culture of mentoring. Our study thus paves the way for future research in other socio-cultural settings and inter-professional groups to further explore the impact of learning experiences on the development of adaptive expertise.

1Department of Geriatric Medicine, Institute of Geriatrics and Active Ageing, Tan Tock Seng Hospital, 11 Jalan Tan Tock Seng, Singapore, 308433, Singapore. joanne_kua@ttsh.com.sg.

2Group Education, National Healthcare Group, Singapore, Singapore.

3Department of Geriatric Medicine, Institute of Geriatrics and Active Ageing, Tan Tock Seng Hospital, 11 Jalan Tan Tock Seng, Singapore, 308433, Singapore.

Whilst adaptive experts have well-researched beliefs and attitudes towards learning, what is unclear are the interactions that occur within the learning environment that constitute their learning experiences. The practice of geriatric medicine emphasises the interdisciplinary care of complex frail older adults. Our study sets out to understand the learning experiences of adaptive experts in geriatric medicine by examining how interactions at the intra-personal, inter-personal and organisational levels contributed to the development of adaptive expertise. We conducted an exploratory qualitative study through semi-structured interviews of 16 geriatricians experts from a tertiary hospital in Singapore. Data were analyzed via reflexive thematic analysis. The core essence of the learning experiences was described as a journey of 'knowing when we do not know', which was characterised by three themes: (i) Anchoring ethos of person-centric care where the experts drew upon their values to develop a holistic view of the patient beyond the medical domain, (ii) Enabling stance of being curious where their curiosity and openness to learning was nurtured through the practice of reflection, and with the benefit of time as a commodity and for development of expertise, and (iii) Scaffolding organisational culture of inquiry where an environment that is supportive of learning is built on the culture of psychological safety and the culture of mentoring. Taken together, our study highlighted the importance of interactions at the intra-personal, inter-personal and organisational levels in the learning experiences of adaptive experts.

검색 전략
Search strategy

검토 질문과 관련하여 이용 가능한 연구의 광범위한 특성을 고려하여 범위 설정 방법론을 선택했습니다. 조안나 브릭스 연구소(JBI)의 범위 설정 방법론에 따라 3단계 검색 전략이 사용되었습니다(Peters 외. 2015). 첫 번째 단계는 Medline과 Embase의 초기 제한 검색이었습니다. 포함 기준은 학습자와 피드백의 상호작용을 설명하는 보고서로, 피드백을 받는 사람이 학부, 대학원 또는 평생 전문 교육 과정의 학습자(즉, 보건 전문직 교육에 국한되지 않는 모든 배경의 학습자)인 경우 영어로 작성된 것이어야 했습니다. 파일럿 검토를 통해 HPE에서의 피드백은 임상적 만남의 특성으로 인해 다른 맥락과 패러다임적으로 다르다는 것이 분명해졌으며, HPE 이외의 연구에서는 [대부분 서술형인, 구두 대면 피드백]에 대해 논의하는 경우가 거의 없었습니다. 따라서 이러한 맥락의 연구에서 학습자의 피드백 사용 및 반응에 미치는 영향이 다른지 확인하기 위해 이 검토에서는 학부, 대학원 또는 평생 교육 수준의 모든 학습자를 대상으로 한 연구를 포함합니다. 
A scoping methodology was selected given the broad nature of available research related to the review question. A three-step search strategy was utilised, as per Joanna Briggs Institute (JBI) scoping methodology (Peters et al. 2015). The first step was an initial limited search of Medline and Embase. Inclusion criteria were: reports describing learner’s interaction with feedback, in the English language, where the recipients of feedback are learners at undergraduate, postgraduate, or in continuing professional education (i.e. learners from all backgrounds, not confined to health professions education). From our pilot review, it became apparent that feedback in HPE is paradigmatically distinct to other contexts due to the nature of clinical encounters; few studies outside HPE discuss verbal face-to-face feedback, which is mostly narrative. So in order to identify if studies in this context reported differing impacts on learner use and response to feedback, this review includes studies on all learners at undergraduate, postgraduate, or continuing education levels.

검색된 논문의 제목과 초록에 포함된 텍스트 단어와 논문을 설명하는 데 사용된 색인 용어에 대한 분석은 정보 전문가(PJM)의 도움을 받아 수행되었습니다. 이를 통해 모든 데이터베이스에서 검색된 키워드와 색인 용어를 식별할 수 있었습니다(보충 부록 1 참조). 파일럿 테스트를 거쳐 포함 및 제외 기준이 개발되었습니다(표 2). 검색된 데이터베이스는 다음과 같습니다: Medline, Embase, CINAHL, Web of Science, PsychINFO, Scopus. 검색은 데이터베이스 구축 초기부터 시작되었으며, 검색 문자열은 포괄성을 극대화하기 위해 개발되었습니다. 초기 검색은 2018년 5월에 수행되었으며 2020년 4월에 업데이트되었습니다. 연구 프로토콜(Spooner 2020)은 의학교육의 최고 증거(BEME) 웹사이트의 연구 리포지토리에 업로드되었습니다. 
Analysis of text words in the title and abstract of retrieved papers, and of index terms used to describe the articles, was undertaken with the assistance of an information specialist (PJM). This led to the identification of keywords and index terms that were searched across all databases (see Supplementary Appendix 1). Following piloting, the inclusion and exclusion criteria were developed (Table 2). Databases searched were: Medline, Embase, CINAHL, Web of Science, PsychINFO, and Scopus. The search was from database inception and the search string was developed to maximise inclusivity. An initial search was undertaken in May 2018 and was updated in April 2020. A study protocol (Spooner 2020) has been uploaded into the study repository on the Best Evidence in Medical Education (BEME) website.

추가 연구를 위해 인용 검색(2단계)과 확인된 모든 보고서 및 논문의 참고문헌 목록 검색(3단계)을 수행했습니다. 전문을 검색할 수 없는 경우 해당 저자에게 사본을 요청했습니다. MS는 모든 초록의 선별, 데이터 추출 및 분석을 수행했습니다. 두 명의 검토자(CD 및 JU)가 Covidence에서 수행된 초록의 절반을 독립적으로 심사했습니다(Innovation nd). 세 번째 중재자(TP)는 합의를 통해 초기 코딩 차이를 해결할 수 있었습니다. 평가자 간 신뢰도는 Cohen의 카파를 사용하여 계산했습니다(McHugh 2012, 2013). 초록 심사 후 포함된 모든 연구의 전체 논문을 검색하여 포함 및 제외 기준에 따라 검토했습니다. 시범적으로 사용하고 반복적으로 개발한 수정된 BEME 코딩 시트를 사용했습니다(MS, BM, TP). X. 다양한 연구를 대상으로 표준화 작업을 수행한 후, 두 명의 연구 저자(MS와 BM)가 온라인 양식을 통해 코딩 시트에 포함된 모든 관련 연구에서 데이터를 독립적으로 추출했습니다. 이후 MS는 이를 엑셀 스프레드시트(부록 2, 추출된 데이터 요약)로 다운로드했습니다(TP 조정). 범위 검토이므로 연구의 질 평가는 수행하지 않았습니다. 
Citation searching (step 2) and searching the reference lists of all identified reports and articles (step 3) for additional studies were performed. Where full-texts could not be retrieved, copies were requested from corresponding authors. MS undertook screening, data extraction, and analysis of all abstracts. Two reviewers (CD and JU) independently screened half of the abstracts undertaken in Covidence (Innovation n.d). A third arbitrator (TP) was available to resolve initial coding differences by consensus. Inter-rater reliability was calculated using Cohen’s Kappa (McHugh 2012, 2013). The full papers of all studies included after abstract screening were retrieved and reviewed against inclusion and exclusion criteria. We used a modified BEME coding sheet which was piloted and developed iteratively (MS, BM, TP). X. Following a standardisation exercise with a variety of diverse studies, two study authors (MS and BM) independently extracted data from all relevant studies in the coding sheet via an online form. MS subsequently downloaded this to an excel spreadsheet (Supplementary Appendix 2, Summary of extracted data) (TP moderated). Given that this is a scoping review, quality appraisal of studies was not undertaken.

설명적
Descriptive

7번의 데이터베이스 검색을 통해 5952건의 인용을 검색했으며, 이중 4090건은 중복 제거를 완료했습니다. 인용 및 수작업 검색을 통해 163개의 초록이 추가로 확인되었습니다. 총 4253개의 초록을 선별한 후 371개의 전체 텍스트 연구를 검토하여 232개를 최종 종합에 포함시켰습니다. 그림 1은 연구 정보 흐름을 보여줍니다. 표 3에는 포함된 연구의 특징이 요약되어 있습니다. 대부분의 연구에는 유럽(91건)과 북미(90건)의 저자가 포함되었습니다. 70%(162건)는 최근 10년 사이에, 25%(57건)는 2000~2009년 사이에, 2.5%(6건)는 90년대, 나머지 3%(7건)는 그 이전 수십 년 사이에 발표되었습니다. 대부분의 연구(66.3%, n = 154)는 보건 전문직 교육 또는 임상 의학 분야에서 발표되었습니다. 연구의 43%(100건)는 정량적 연구였고, 27%(64건)는 정성적 연구였으며, 18%(42건)는 혼합 방법이었으며, 리뷰는 전체 연구의 6%(13건)를 차지했습니다. 평가자 간 신뢰도는 0.87(코헨 카파)이었습니다.  
Seven database searches were done to retrieve 5952 citations, 4090 remained on de-duplication. A further 163 abstracts were identified via citation and hand searching. 4253 abstracts in total, were screened and 371 full-text studies were subsequently reviewed with 232 included in the final synthesis. Figure 1 shows the study information flow. Table 3 summarizes characteristics of the included studies. Most studies included authors from Europe (91) and North America (90). 70% (162) were published in the last ten years; 25% (57) between 2000 and 2009; 2.5% (6) in the nineties, and another 3% (7) in preceding decades. The majority of studies (66.3%, n = 154) were published in health professions education or clinical medicine. 43% (100) of the studies were quantitative; 27% (64) qualitative, with 18% (42) mixed methods; and reviews representing 6% (13) of all studies. Inter-rater reliability was 0.87 (Cohen’s Kappa).

피드백 정의
Feedback definition

14%(32개)의 연구에서 피드백에 대한 정의가 포함되어 있었습니다. 10%(22개)의 연구는 명시적인 정의는 없었지만 잘 알려진 모델을 참조했으며, 가장 흔하게는 Hattie와 Timperley(2007)의 모델을 사용했습니다. 76%의 연구는 정의가 없거나 특정 모델과 명확하게 일치하지 않았습니다. 정의가 제공된 경우 세 가지 그룹으로 하위 분류할 수 있습니다.

• 첫 번째 그룹은 '결과에 대한 지식'이라고 합니다(Kluger and DeNisi 1996). 나중에 Hattie와 Timperley에 의해 작업별 피드백으로 설명되었습니다. 쿨하비(1977)는 피드백을 '학습자에게 교수 반응이 [옳은지 그른지]를 알려주는 데 사용되는 수많은 절차 중 하나'라고 설명했습니다. 이러한 정의는 피드백을 수행과 관련된 정보로 개념화했지만 피드백의 맥락이나 목적은 언급하지 않았습니다. 이들은 [해석 없이 데이터를 전달하는 것]에 초점을 맞췄습니다.
• 두 번째 그룹은 피드백 데이터도 [특정 성과 표준과 관련되어야 한다]고 덧붙였습니다. 이 정의는 해티 모델의 [프로세스 수준]과 가장 잘 부합하며, '[실제 수준]과 시스템 매개변수의 [기준 수준] 사이의 [격차에 대한 정보]로서 어떤 방식으로든 그 [격차를 변경하는 데 사용]되는 정보'라는 라마프라사드(1983)의 정의를 떠올리게 합니다. 이 입장은 [비고츠키 이론의 관점]에서 피드백을 모델링합니다. 피드백은 [근위 발달 영역]에서 강화 도구입니다(비고츠키 1978).
• 세 번째 그룹은 피드백을 '격차를 좁히기 위한 정보'와 연결하지만, 새들러(Sadler 1989) 모델에 따라 '격차를 어느 정도 좁힐 수 있는 적절한 행동'을 추가로 요구합니다. 일부의 경우 이는 [평가적인 코멘트]를 의미하지만, 다른 일부는 [학습자-생성] 또는 [상호-생성된 실행 계획]을 제안하며, 최종적으로는 [학습자의 발전을 위한 개발 계획]을 포함한다는 점에서 전자의 정의와 구별됩니다.

14% (32) of studies included a definition of feedback. 10% (22) of studies had no explicit definition but referred to well-known models, most commonly that of Hattie and Timperley (2007). 76% of studies had neither a definition nor clear alignment to a specific model. Where definitions were provided, they could be sub-categorised into three groups.

• The first group is referred to as ‘knowledge of results’(Kluger and DeNisi 1996). It was later described as task-specific feedback by Hattie and Timperley. It is further described by Kulhavy (1977) as ‘any of the numerous procedures that are used to tell a learner if an instructional response is right or wrong.’ These definitions conceptualized feedback as information related to performance but did not refer to its context or purpose. They focus on the transmission of data without interpretation.
• A second group added that feedback data must also relate to a specific performance standard. This definition is best aligned with the process level in Hattie’s model and evokes Ramaprasad’s (1983) definition of ‘information about the gap between the actual level and the reference level of a system parameter which is used to alter the gap in some way.’ This stance models feedback in terms of Vygotskian theory; it is a potentiating tool in the zone of proximal development (Vygotsky 1978).
• The third group also links feedback with information to ‘narrow the gap’ but additionally requires ‘appropriate action which leads to some closure of the gap’ as per Sadler’s (Sadler 1989) model. For some, this means evaluative comments; others propose either a learner or mutually-generated action plan, the end result being a distinction from the former definition in that it includes a developmental plan for learner progression.

피드백 형식
Feedback formats

다양한 피드백 형식이 설명되었는데, 가장 일반적인 형식은 서면, 구두 또는 혼합 형식이었습니다(표 4). 피드백 형식은 하위 그룹의 정의와 관련된 몇 가지 패턴을 보였는데,

• 1그룹에서는 성적/결과에 대한 서면 또는 온라인 제공이 가장 많이 보고되었고,
• 3그룹에서는 양방향 대화가 포함된 대면 구두 만남이 가장 빈번하게 보고되었습니다.

다른 학과에 비해 보건 직업 교육에서는 구두 및 대면 피드백이 더 흔했습니다. 정서적 반응은 대면 피드백이 더 흔하게 보고되었습니다.
A number of feedback formats were described, the most common being written, verbal or mixed (Table 4). We highlight that feedback format showed some patterns related to the sub-group definitions,

• with written or online provision of grades/result the most commonly reported with group one, and
• face-to-face verbal encounters that included bi-directional dialogue reported most frequently for group three.

Verbal and face-to-face feedback were more common in Health Professions Education compared to other disciplines. The emotional response was more commonly reported face-to-face.

인지적 반응
Cognitive responses

[인지적 반응]을 보고한 연구에 따르면 피드백이 [학습자의 사고 과정을 변화]시켰다는 응답이 가장 많았으며, 명확성과 이해도 측면에서 가장 많았습니다(n = 96, 41%). 이러한 측면에서 피드백은 [개인의 강점과 약점을 파악]하고 [오류를 수정]하는 두 가지 주요 기능을 수행했습니다. 16건(7%)의 연구에서 피드백이 이해도에 미치는 부정적인 영향이 보고되었습니다. 학습자들은 [모호하거나 관련성이 없다고 생각되는 피드백]을 받을 때 좌절감을 느꼈습니다(Dawdy 외. 2014; Wardman 외. 2018). 피드백이 [너무 늦게 제공]되거나 [다른 모듈로 이전할 수 없는] 경우 피드백은 도움이 되지 않는 것으로 간주되었습니다(Harrison 외. 2016). 과제에 대한 감독자의 서면 코멘트와 같은 [단방향적 해설]도 학습자의 이해와 후속 피드백 활용에 장애가 되는 것으로 언급되었습니다. 피드백이 [간접적일 때 피드백을 오해]하는 경우가 더 많았습니다(Hyland와 Hyland 2001). 학습자는 명확성을 찾기 위해 감독자에게 다시 문의한다고 보고했습니다(Khowaja 외. 2014). 그들은 그러한 [해설의 행간을 읽어야 한다]고 느꼈다고 보고했습니다(Gleaves 외. 2008). 피드백이 [이해할 수 없는 것]으로 간주되면 참여도가 떨어지는 것으로 보고되었습니다. 한 연구에서 학생의 50%가 이해하기 어렵다고 생각하여 서면 피드백을 받지 못했습니다(Winter and Dye 2004). 간호학과 학생들은 [피드백을 해석할 수 없어] 무시하거나 접근하지 않는다고 설명했습니다(McSwiggan and Campbell 2017).
Studies reporting cognitive responses stated that feedback changed learners’ thought processes, most frequently in terms of clarity and understanding (n = 96, 41%). Feedback served two main functions in this respect: identifying an individual’s strengths and weaknesses, and error correction. 16 (7%) studies reported negative effects of feedback on understanding. Learners expressed frustration at receiving comments that they considered vague or irrelevant (Dawdy et al. 2014; Wardman et al. 2018). Feedback was considered unhelpful if provided too late to enact, or non-transferable to other modules (Harrison et al. 2016). Uni-directional commentary, for example, supervisors’ written comments on a written assignment, was also mentioned as a barrier to learner understanding and subsequent feedback use. Feedback was more often misunderstood when comments were indirect (Hyland and Hyland 2001). Learners reported returning to supervisors to seek clarity (Khowaja et al. 2014). They reported feeling they needed to read between the lines on such commentary (Gleaves et al. 2008). When feedback was deemed incomprehensible, disengagement is reported: in one study, 50% of students failed to pick up written feedback as they found it hard to understand (Winter and Dye 2004). Nursing students described feedback as being un-interpretable which meant they ignored or did not access it (McSwiggan and Campbell 2017).

피드백은 [수행 기준을 명확]하게 함으로써 이해에도 영향을 미쳤습니다. 학생들은 피드백을 통해 [평가 청사진을 해석]하여 시험 자료를 파악할 수 있었습니다(De Kleijn 외. 2013). 다른 학생들은 피드백이 [자신에 대한 기대치를 정의]해 주었다고 말했습니다(Chiu 외. 2014). 피드백이 명확하지 않은 경우도 있었습니다. 한 연구에 따르면 심리학 학부 3학년 학생과 지도교수는 [성과 기준에 대한 인식에 상당한 불일치]가 있는 것으로 나타났습니다(Norton and Norton 2001). 학부 심리학 학생들은 슈퍼바이저가 부정적인 피드백을 제공할 때 과제의 난이도를 과소평가한다고 느꼈습니다(Coleman 외. 1987).
Feedback also affected understanding by making performance standards clear. Students used feedback to interpret assessment blueprints to signpost exam material (De Kleijn et al. 2013). Others stated it defined expectations for them (Chiu et al. 2014). There were cases where feedback did not disambiguate. One study identified that third-year psychology students and supervisors had a significant mismatch in the perception of performance standards (Norton and Norton 2001). Undergraduate psychology students felt supervisors underestimated the task difficulty when providing negative feedback (Coleman et al. 1987).

40건(17%)의 연구에서 학습자가 [개인 학업 진도를 모니터링]하기 위해 피드백을 사용했다고 답했습니다. 38개(16%) 연구에서 [학습에 대한 성찰]이 보고되었습니다. 25개(11%) 연구에서 피드백을 통해 [실행 계획을 세웠다]고 응답했습니다. 마지막으로, [학습 전략의 변경 또는 계획된 변경]을 보고한 소수의 응답자(n = 20, 9%)가 있었으며, 시험관 관찰의 맥락에서 이를 보고한 경우는 거의 없었습니다. 예외적으로 과제 수행 중 여러 시점에서 참가자를 대상으로 미시 분석을 수행하여 학생의 [SRL 과정과 자기 효능감 신념의 변화]를 평가한 한 연구(Cleary 외. 2015)가 있었습니다. 이 연구에서는 부정적 피드백(정확/오류 모델)이 자기효능감 인식과 전략적 계획 및 메타인지 모니터링의 질을 저하시킨다고 보고했습니다. 
Forty (17%) studies showed that learners used feedback to monitor their personal academic progress. Reflection on learning was reported in 38 (16%) studies. Feedback resulted in the creation of action plans in 25 (11%) studies. Finally, a minority reported changes or planned changes in learning strategies (n = 20, 9%) and few reported this in the context of examiner observation. An exception was one study (Cleary et al. 2015) evaluating shifts in students’ SRL processes and self-efficacy beliefs, by conducting microanalysis with participants at different points during a task. This reported that negative feedback (in a correct/incorrect model) led to decreased self-efficacy perception and quality of strategic planning and metacognitive monitoring.

대부분의 연구에서는 이러한 변화가 발생한 시점에 대한 보고가 없었습니다. 위의 연구에서는 '소리 내어 생각하기' 프로토콜을 사용하여 학습자의 자기 평가, 자신감 및 수행 전략에 대한 즉각적인 효과를 관찰했습니다(Cleary 외. 2015). 한 연구에서는 초기 피드백을 받은 지 3개월 후에 설문조사를 실시하여 학습자가 실제로 얼마나 많은 변화를 보였는지 확인했으며, 다른 연구에서는 1~2년 후에 피드백을 다시 방문하여 개입 이후 학습 활동의 변화에 대해 설명했습니다(Lockyer 등. 2003; Sargeant, Mann, Sinclair 등. 2008). 
The majority of studies made no report on the timeline over which these changes occurred. In the above study, ‘think aloud’ protocols were used, observing immediate effects on learner self-assessment, confidence, and performance strategy (Cleary et al. 2015). Surgeons were surveyed 3 months after their initial feedback to determine how much change in practice they reported in one study; another described participants re-visiting the feedback one to two years later and recounting the changes in their learning activities since the intervention (Lockyer et al. 2003; Sargeant, Mann, Sinclair, et al. 2008).

행동 반응
Behavioural responses

행동 영역에서 피드백 응답의 비율은 46.4%였습니다(표 5). 가장 흔한 결과는 [피드백이 실천의 변화로 이어진 경우]였습니다(n = 53, 23%). 가장 흔한 두 가지 결과는 참가자들이 피드백이 자신의 [관행에 변화]를 가져왔다는 데 동의했거나, 변화할 것이라고 답했거나, 이미 관행에 변화를 가져왔다는 것이었습니다. 그러나 이러한 변화의 성격은 드물게 추구되고 보고되었습니다.

• Sargeant 등(2007)은 다양한 출처의 피드백을 경험한 가정의학과 의사들을 인터뷰했습니다. 의사 소통에 대한 부정적인 피드백을 받은 응답자의 절반은 이러한 기술을 개선하기 위해 변화(설명에 더 많은 시간 할애, 질문 허용, 관련 교육 활동 참석)를 했다고 답했습니다.
• 네덜란드 컨설턴트들이 360도 피드백을 사용했을 때, 23명 중 11명이 성과 개선을 위한 구체적인 조치를 취했다고 보고했습니다(Overeem 외. 2009).
• 의대 1학년 학생들은 동료와 튜터로부터 업무 습관과 대인관계 기술에 대한 형성적인 피드백을 받았습니다. 지배적인 경향이 있다는 피드백을 받은 한 학생은 포트폴리오를 제출하면서 가시적인 행동 변화를 자세히 설명했습니다(Dannefer and Prayson 2013).

The percentage of feedback responses in the behavioural domain was 46.4% (Table 5). The most common outcome was feedback leading to a change in practice (n = 53, 23%). The two most common findings were that participants either agreed that feedback led to change in their practice, or they reported that they would change, or had already made changes in practice. The nature of these changes, however, were both infrequently sought and reported.

• Sargeant et al. (2007) interviewed family doctors who had experienced multi-source feedback. Having received negative feedback on their communication, half reported making changes (spending more time on explanation, allowing questions, attending relevant educational activities) to improve these skills.
• When Dutch consultants used 360-degree feedback, 11 of 23 reported making concrete steps towards performance improvement (Overeem et al. 2009).
• First-year medical students received formative feedback on work habits and interpersonal skills from peers and tutors. Following feedback indicating they had a tendency to dominate, one student’s portfolio submission detailed tangible behavioural changes(Dannefer and Prayson 2013).

연구들은 주로 학습자의 실제 변화에 대한 [자기보고]를 기술했습니다. 소수의 연구에는 [(타인에 의해) 관찰된 변화에 대한 데이터]가 포함되었습니다. 비디오로 녹화된 상담 및 피드백에 대한 사전 사후 연구에서 간호사는 환자의 도움 요청에 더 많은 주의를 기울이고(p <0.01), 더 많은 정보를 제공하며(p = 0.02), 혈압 측정에서 개선된 결과를 보였습니다[p <0.01; 21명(10%)](Noordman 외. 2014). 연구(21편, 9%)에 따르면 학습자는 주로 감독자의 [명확성을 높이기 위해 수행에 대한 더 많은 피드백을 구함]으로써 피드백에 반응하는 것으로 나타났습니다. [이전의 피드백 경험]이 학습자가 향후 학습에서 피드백 기회를 찾도록 자극하는 것으로 보고되기도 했습니다(Smither 외. 2005). 학습자 반응으로서의 [피드백 제공]은 2건(1%)의 연구에서만 보고되었습니다. 그럼에도 불구하고 피드백이 행동 변화를 보장하지는 않았습니다. 피드백이 [무시되거나, 무시되거나, 학습이나 실습에 적용되지 않았다]는 보고가 많았습니다(n = 37, 16%). 피드백이 실습에 영향을 미치지 않았다고 보고한 연구는 아래 컨텍스트에 설명되어 있습니다.

Studies mainly described learners’ self-reports of their change in practice. A small number of studies included data of observed changes. In a pre-post study of video-recorded consultations and feedback, nurses paid more attention to patients’ requests for help (p < 0.01), gave them more information (p = 0.02), and showed improvements in blood pressure measurement [p < 0.01; 21 (10%)] (Noordman et al. 2014). Studies (21, 9%) identified that learners responded to feedback by seeking more feedback on the performance, mainly to improve clarity from the supervisor. It was occasionally reported that previous feedback experiences enthused the learner to seek feedback opportunities in future learning (Smither et al. 2005). Feedback-giving as a learner response was only reported in 2 (1%) studies. Nonetheless, feedback did not guarantee behavioural change. A number of reports indicate it was ignored, disregarded, or not applied to learning or practice (n = 37, 16%). Studies that reported no effect of feedback on practice are discussed under Context

정서적 반응
Affective responses

[동기 부여와 자신감]은 [감정emotion 이외의 여러 요인에 의해 영향을 받는다]는 점을 고려하여 감정emotion과는 독립적으로 분류되었습니다(Deci and Cascio 1972; Carver와 Scheier 1982). 피드백은 86%의 연구에서 동기 부여(n = 42, 18%)에 긍정적인 영향을 미쳤습니다. 피드백의 특성 측면에서 [점수] 대 [코멘트]의 영향을 미치는지 조사한 여러 연구에서 대조적인 결과가 나왔습니다.

• 영어 작문 수업에서 피드백에 대한 연구에 참여한 참가자들은 [성적이 없는 내러티브 코멘트]가 더 동기 부여가 된다고 느꼈습니다(Lee et al. 2015).
• 레프로이(Lefroy et al. 2015)는 3학년 의대생들에게 코멘트, 성적 또는 두 가지를 모두 선택할 수 있는 옵션을 제공했는데, 후자(코멘트와 성적 둘 다)를 선택한 학생들은 성적을 받기 위해 개선하려는 동기가 더 강해졌다고 답했습니다.
• 그러나 Harrison 등(2016)은 학생들이 '기대 수준'의 성적을 받은 경우, 특히 많은 학생들에게 이 등급이 적용될 경우 더 이상 노력하지 않는다고 보고했습니다.

Motivation and confidence were categorised independently of emotion, considering psychological models of each are influenced by multiple factors other than emotion (Deci and Cascio 1972; Carver and Scheier 1982). Feedback affected motivation (n = 42, 18%) positively in 86% of studies. In terms of feedback characteristics, several studies explored if grades versus comments had an effect; with contrasting results.

• The participants in a study of feedback in English writing classes felt narrative without grades was more motivating (Lee et al. 2015).
• Lefroy (Lefroy et al. 2015) provided year 3 medical students with the option of comments, grades, or both, with those choosing the latter expressing that it prompted more motivation to improve to receive grades.
• However, Harrison et al. (2016) reported that if students received the grade ‘at the level expected,’ it demotivated them from further effort, particularly if this rating was applied to many students.

Van-Dijk와 Kluger(Van-Dijk and Kluger 2004, Van-Dijk and Kluger 2011)는 피드백의 동기가 [자기 조절 초점]에 따라 맥락화된다는 사실을 발견했습니다. 승진을 원하는 경우(성취 추구) 긍정적인 피드백이 부정적인 피드백보다 동기를 더 증가시키고, 안전을 추구하는 경우(실패 회피) 부정적인 피드백이 동기를 증가시킨다는 것이었습니다. Burgess와 Mellis(Burgess와 Mellis 2015)는 학생들이 [동료보다 지도 교수의 피드백]에 더 큰 동기를 느낀다는 사실을 확인했습니다. 한 연구에서는 [근속 기간이 긴 직원]이 근속 기간이 짧은 직원보다 피드백을 통해 동기 부여를 받을 가능성이 더 높다고 보고했습니다(Schürmann and Beausaert 2016). 

Van-Dijk and Kluger (Van‐Dijk and Kluger 2004; Van-Dijk and Kluger 2011) found motivation from the feedback was contextualised by self-regulatory focus: if desiring promotion (pursuant of achievement), positive feedback increases motivation more than negative; if seeking security (avoiding failure), negative feedback increases motivation. Burgess and Mellis (Burgess and Mellis 2015) identified that students felt more motivated by feedback from academic supervisors than peers. One study reported that longer-serving employees were more likely to be motivated by the feedback than those with less experience (Schürmann and Beausaert 2016).

다수의 연구에서는 피드백이 동기 부여에 긍정적인 영향과 부정적인 영향을 모두 미친다고 보고했습니다(n = 13, 6%). 피드백이 동기를 저하시키는 경우, 유일하게 통일된 특성은 [부정적인 원자가 메시지]였습니다. 긍정적 원자가는 만족스러운 성과를, 부정적 원자가는 받아들일 수 없는 기준, 즉 비판을 나타냅니다. 피드백이 자신감에 영향을 미치는 것으로 보고된 연구는 37건(16%)으로, 33건(14%)은 자신감이 증가했다고 보고했고, 3건(1%)은 학습자가 자신감을 잃었다고 설명했으며, 1건의 연구에서는 피드백 후 학습자의 자신감 평가가 변하지 않았다고 보고했습니다. 동기 부여와 마찬가지로 자신감이 저하된 학습자의 경우 부정적인 피드백과 관련이 있었습니다.

A number of the studies reported feedback having both positive and negative effects on motivation (n = 13, 6%). Where feedback demotivated, the only unifying characteristic was negative valence messages.

• Positive valence indicates satisfactory performance,
• negative an unacceptable standard, that is, criticism

. Feedback was reported to affect confidence in 37 studies (16%), with 33 (14%) reporting an increase, 3 (1%) describing learners losing confidence, and 1 study where learner confidence ratings were unchanged post-feedback. As with motivation, for those where confidence deteriorated, it was associated with negative feedback.

피드백에 대한 정서적 반응(n = 30, 13%)이 빈번하게 나타났습니다. 효과는 원자가에 따라 고려되었습니다. 피드백은 [다양한 감정적 반응]을 불러일으켰으며, 그 중 가장 흔하게 보고된 것은 실망, 화, 스트레스, 분노였습니다. 기쁨, 만족과 같은 긍정적인 반응은 드물게 보고되었습니다(n = 5, 2%). 부정적인 감정이 더 널리 퍼져 있을 뿐만 아니라 학습자에게 미치는 영향과 관련하여 [훨씬 더 강한 용어로 기술]되었습니다.

• Duers와 Brown(2009)은 한 학생 간호사가 '갈기갈기 찢어질 것 같다'고 표현하며 어떻게 대처할 수 있을지 궁금해하는 내용을 인용했습니다.
• 분노를 보고한 연구는 과제에 대한 서면 해설을 받은 경험을 설명하는 액세스 프로그램의 성인 학생, 박사 과정 학생의 슈퍼비전 경험, 360도 피드백을 받은 MBA 학생 등 다양했습니다(Young 2000, Brett and Atwater 2001, Doloriert 외. 2012).
• 9건(4%)의 연구에서 학습자가 받은 피드백으로 인해 속상함을 느꼈다고 답했으며, 이 역시 다양한 학습자 프로필과 피드백 형식에 걸쳐 나타났습니다.
• HPE 학습자만이 피드백에 대한 반응으로 [굴욕감]을 느꼈다고 보고했습니다(Sargeant, Mann, van der Vleuten 외. 2008; Nofziger 외. 2010; Delva 외. 2013).

Affective responses to feedback (n = 30, 13%) were frequent. The effects are considered according to valence. Feedback prompted a range of emotional responses, of which the most commonly reported were disappointment, upset, stress, and anger. Positive reactions, for example, joy, satisfaction were infrequently reported (n = 5, 2%). In addition to negative emotions being more prevalent, they were described in much stronger terms with regards to their effects on the learner.

• Duers and Brown (2009) quote a student nurse describing being ‘torn to shreds,’ and wondering if they could cope.
• Studies reporting anger were diverse: mature students in an access programme describing their experience of written commentary on assignments, PhD students’ supervision experiences, MBA students receiving 360-degree feedback (Young 2000; Brett and Atwater 2001; Doloriert et al. 2012).
• 9 (4%) studies indicated that learners felt upset as a result of the feedback they received and again these traversed a variety of learner profiles and feedback formats.
• Only HPE learners reported humiliation in response to feedback (Sargeant, Mann, van der Vleuten, et al. 2008; Nofziger et al. 2010; Delva et al. 2013).

감정적 반응을 보고한 모든 연구에서 가장 흔한 특징은 부정적 원자가였습니다. 이와는 대조적으로, 단순히 피드백을 받을 수 있다는 것만으로도 긍정적인 정서적 반응이 나타났습니다. 학습자는 자신이 가치 있다고 느끼고 피드백을 받는 것을 [배려(Rowe 2011), 양육, 위로의 행위]로 해석한다고 설명합니다(Eide 외. 2016; Sudarso 외. 2016). 한 학생은 피드백을 주는 사람의 노력에 '튜터가 시간을 내어 자신의 과제에 세심하게 반응해 주었다는 생각에 눈물이 났다'고 말할 정도였습니다(Price et al. 2011).
The most common feature of all studies reporting emotional reactions was negative valence. In contrast, simply the availability of feedback led to positive emotional responses. Learners describe feeling valued and interpreting the receipt of feedback as an act of caring (Rowe 2011), nurturing, and comforting (Eide et al. 2016; Sudarso et al. 2016). One student went so far as to say that the effort undertaken by the feedback-giver ‘brought tears to her eyes to think that her tutor had taken the time to respond carefully to her work’ (Price et al. 2011).

24개(10%) 연구에서 피드백은 학습 자료와 환경 모두에 대한 [참여도]에도 영향을 미치는 것으로 보고되었습니다. 교육, 수익 또는 의료 부문의 직원들은 [학습 리소스에 액세스]하고 피드백 후 [동료 및 상사와 피드백에 대해 논의]한다고 보고했습니다. 광범위하고 정확하며 긍정적인 피드백이 [성찰과 토론을 자극]할 가능성이 가장 높았습니다(Mulder 2013). 

• 여러 저자(Brezis and Cohen 2004, Mains 외. 2015, Mains 외. 2015, Rana and Dwivedi 2017)는 자동 응답 시스템의 피드백을 받은 후 [코스 자료에 대한 참여도가 증가]했다고 보고합니다. 소수의 연구에서는 이러한 참여를 강화하는 요인을 자세히 설명합니다.
• Sargeant 등(2017)은 피드백 및 연습 개선(관계, 반응, 콘텐츠, 코칭)을 촉진하기 위한 R2C2 모델을 설명합니다.
• SRQ-L의 상대적 자율성 지수(RAI)로 확인된 성취도가 높은 학생과 자율적인 학습자는 피드백에 참여할 가능성이 가장 높았습니다(Liu 외. 2019).

Feedback was also reported to affect engagement both with learning material and environment, in 24 (10%) included studies. Employees in the education, profit, or healthcare sectors reported accessing learning resources and discussing feedback with colleagues and supervisors post-feedback. Extensive, precise, and positive feedback was most likely to stimulate reflection and discussion (Mulder 2013).

• Several authors (Brezis and Cohen 2004; Mains et al. 2015; Mains et al. 2015; Rana and Dwivedi 2017) report increased engagement with course materials following feedback from automated response systems. A small number of studies detail factors that potentiate this engagement.
• Sargeant et al. (2017) describe the R2C2 model for facilitating feedback and practice improvement (relationship, reaction, content, coaching).
• High-achieving students and autonomous learners, identified by the Relative Autonomy Index (RAI) of SRQ-L, were most likely to engage with feedback (Liu et al. 2019).

피드백이 [학습자를 안심시켰다]고 보고한 연구의 수는 18건(8%)이었으며, 이 중 14건(6%)은 의료 전문가 학생을 대상으로 한 연구였습니다.

• 윤리 석사 과정을 수행하는 중간 관리자는 안심 피드백을 정서적으로 지지하는 것으로 묘사했습니다(Eide 외. 2016).
• Harrison 등(2016)은 의대생들이 수치화된 성적을 중요하게 생각하며, 이러한 피드백이 제공되지 않을 때 안심이 부족하다고 느낀다고 보고했습니다.
• 피부과 수련의를 대상으로 한 연구에서 일부 수련의는 직장 기반 평가의 피드백을 안심할 수 있다고 느꼈고, 다른 수련의는 이를 부정적인 피해로 경험했으며, 이는 각각 긍정적인 가치와 부정적인 가치와 관련이 있었습니다(Cohen 등. 2009).
• 18개의 연구 중 대부분은 슈퍼바이저의 피드백에 대해 보고했지만, Burgess와 Mellis의 연구(Burgess and Mellis 2015)에 따르면 동료 피드백도 긍정적인 영향을 미칠 수 있다고 합니다.

The number of studies reporting that feedback reassured learners was 18 (8%), 14 (6%) of which were studies of healthcare professional students

• Middle managers undertaking an ethics master’s described reassuring feedback as emotionally supportive (Eide et al. 2016).
• Harrison et al. (2016) reported that medical students valued numerical grades and felt a lack of reassurance when these were not provided.
• In a study of dermatology trainees, some felt feedback from workplace-based assessments was reassuring; others experienced it as negative victimisation, these being associated with positive and negative valence respectively (Cohen et al. 2009).
• Of the 18 studies, most reported on feedback from supervisors, but a study by Burgess and Mellis (Burgess and Mellis 2015) indicated that peer feedback could also be affirming.

맥락
Context

많은 경우 [피드백에 대한 반응]은 학습자 [외부의 맥락적 요인]에 의해 영향을 받았습니다. 이는 [과제와 관련된 조건]이 [학습자의 자기 수정 및 후속 학습 행동에 기여]한다고 제안하는 자기 조절 학습 이론과 일치합니다. 이는 [학습자의 지각]과 [학습 상황]이 모두 학습자의 경험에 영향을 미친다는 [사회 구성적 관점]을 지지합니다. [외부 요인]을 다룬 연구는 대부분 [피드백 수용]의 상황에서 이루어졌습니다. 이러한 요인은 학습자 특성, 피드백 특성, 감독자 특성, 피드백 이벤트, 학습자-감독자 관계의 측면에서 논의되었습니다.
The response to feedback in many cases was affected by contextual factors external to the learner. This aligns with self-regulatory learning theory, which proposes that the conditions pertaining to the task contribute to the learner’s self-modification and subsequent learning actions. It supports a socio-constructive stance: both the learner’s perception and the learning situation will impact their experience. Studies that addressed external factors mostly did this in the setting of feedback acceptance. These are discussed in terms of

• learner characteristics,
• feedback characteristics,
• supervisor characteristics,
• the feedback event, and
• learner-supervisor relationships.

소수의 연구에서 [학습자의 특성]이 피드백 수용 증가와 관련이 있다고 설명했습니다. 그러나 일반적인 패턴은 존재하지 않았으며, 실제로 상반된 결과가 보고되었습니다.

• 호주 학부 간호사를 대상으로 한 연구에서는 여성, 외국 국적, 나이가 많은 학습자가 피드백을 더 잘 수용하는 것으로 나타났습니다(Carter 외. 2019).
• 피드백은 또한 고령의 인적 자원 및 마케팅 직원의 비공식 학습에 가장 큰 영향을 미쳤습니다(Schürmann and Beausaert 2016).
• 여성과 성취도가 높은 학부 3학년 의대생은 피드백을 더 자주 수집했습니다(Sinclair and Cleland 2007).
• Orsmond와 Merry(Orsmond and Merry 2013)의 연구에 따르면 성취도가 높은 학생들은 감독자의 피드백을 이해하기 위해 자기 평가, 동료 토론, 내부 보정을 더 많이 사용했으며, 피드백을 통해 타인 지시형에서 자기 주도형으로 진화했습니다. 성취도가 낮은 학생들은 이해의 증거 없이 피드백을 무시하거나 그대로 암기했습니다. 또한 피드백을 학습 목표에 반영할 가능성이 낮았으며, 피드백을 통해 확인되지 않더라도 자기 평가를 통해 목표를 설정하는 것을 선택했습니다.
• OSCE에서 최소한의 역량을 달성한 학생은 온라인 피드백을 이용할 가능성이 가장 낮았습니다(Harrison 외. 2013).
• 한 연구에 따르면 남성 학습자는 긍정적인 피드백을 받아들이고 부정적인 피드백을 무시할 가능성이 더 높은 반면, 여성 학습자는 피드백의 원자가에 관계없이 피드백에 더 많은 영향을 받는 것으로 나타났습니다(Roberts and Nolen-Hoeksema 1989).

A small number of studies described learner characteristics that were associated with increased feedback acceptance. However, no prevailing patterns existed; indeed, conflicting findings were reported.

• Female, non-national and older learners were more accepting of feedback as reported for Australian undergraduate nurses (Carter et al. 2019).
• Feedback was also most influential on the informal learning of older human resources and marketing employees (Schürmann and Beausaert 2016).
• Female and higher-achieving undergraduate third-year medical students collected feedback more frequently (Sinclair and Cleland 2007).
• Orsmond and Merry (Orsmond and Merry 2013) found that high-achieving students employed more self-assessment, peer discussion, and internal calibration in trying to make sense of supervisor feedback: they evolved from other-directed to self-directed via feedback. Low-achieving students either ignored or memorised feedback literally, without evidence of understanding. They were also less likely to incorporate feedback into their learning goals, opting to use self-assessment for creating their goals instead, even if this was disconfirmed by feedback.
• Students who achieved minimal competence in an OSCE were least likely to access online feedback (Harrison et al. 2013).
• One study reported that male learners were more likely to accept positive feedback and discount negative feedback; while female learners were more impacted by feedback, irrespective of feedback valence (Roberts and Nolen-Hoeksema 1989).

[피드백의 특성]도 수용에 영향을 미쳤습니다.

• 피드백이 너무 일반적이고 인지된 유용성이 부족하다고 느껴지는 경우 피드백을 수집하거나 수락하지 않았습니다(Sinclair and Cleland 2007, Price 외. 2011, Harrison 외. 2013, Jonsson 2013, Watling 외. 2013, McSwiggan and Campbell 2017).
• 학습자는 피드백을 사용하기 위해 피드백을 해독해야 한다고 느끼는 경우 피드백에 참여하지 않았습니다(Jonsson 2013; Winstone 외. 2017b).
• 일부 연구에서는 피드백 특성이 학습자의 사용에 영향을 미치는지에 대해 보고했습니다. 피드백 원자가가 매개 요인으로 확인되었습니다.
  • 노프지거(Nofziger et al. 2010)는 피드백이 부정적일 경우 의대생이 실습에서 변화를 시도할 가능성이 더 높다고 보고했습니다.
  • 그 반대도 있다. 즉 부정적인 피드백을 의도적으로 무시한 경우는 여러 연구에서 보고되었으며, 피드백이 실무 변화에 영향을 미치지 않는 몇 가지 이유 중 하나로 지적되었습니다(Sargeant 외. 2009, Eva 외. 2012, Delva 외. 2013).
• 부정적인 피드백을 받은 사람들을 대상으로 한 한 연구에서는 절반만이 피드백의 결과로 변화를 일으켰다고 답했습니다(Sargeant 외. 2007). 긍정적인 피드백을 받은 사람들은 그 피드백에 동의할 가능성이 더 높았습니다(Sargeant 외. 2003).
• 너무 권위적인 어조로 간주되는 피드백은 사용되지 않았습니다(Jonsson 2013).

Characteristics of the feedback also influenced acceptance.

• Feedback was neither collected nor accepted if felt to be too general and lacking in perceived utility (Sinclair and Cleland 2007; Price et al. 2011; Harrison et al. 2013; Jonsson 2013; Watling et al. 2013; McSwiggan and Campbell 2017).
• Learners disengaged from feedback where they felt they needed to decode it in order to use it (Jonsson 2013; Winstone et al. 2017b).
• Some studies reported on whether feedback characteristics affected learner usage. Feedback valence was an identified mediating factor.
  • Nofziger (Nofziger et al. 2010) reported that medical students were more likely to undertake changes in their practice if feedback was negative.
  • The opposite; where negative feedback was purposely ignored; was reported in a number of studies and is one of several reasons pinpointed where feedback did not effect any practice change (Sargeant et al. 2009; Eva et al. 2012; Delva et al. 2013).
• In one study of those who received negative feedback, only half reported making changes as a result of it (Sargeant et al. 2007). Those receiving positive feedback were more likely to agree with it (Sargeant et al. 2003). The feedback that was considered too authoritative in tone was not used (Jonsson 2013).

[피드백 제공자]는 학습자의 수용에 영향을 미치는 특성, 즉 감독자의 신뢰성, 인지된 전문적 역량, 대인관계 기술을 보여주었습니다(Bing-You 외. 1997; Watling 외. 2012).

• Sargeant는 360도 피드백에 대한 가정의의 반응을 연구한 결과, 환자로부터의 피드백을 받아들이고 동료로부터의 피드백에 동의하지 않을 가능성이 가장 높다는 사실을 발견했습니다(Sargeant 외. 2003; Sargeant, Mann, Sinclair 외. 2008)
• 중간 및 고위급 관리자는 같은 인종, 이성의 피드백을 받을 가능성이 더 높았습니다(Ryan 외. 2000).
• 피드백 상호 작용의 일부 특성은 수용성을 증가시켰습니다. Overeem 등(2009)은 여러 출처의 피드백을 받은 후 구체적인 목표를 제시하면 컨설턴트가 피드백을 사용하여 자신의 관행을 바꾼다고 설명합니다.
• 목표에 대한 대화가 중요했으며, 슈퍼바이저와 교육생 간에 목표 정렬이 이루어지지 않으면 향후 학습에서 피드백이 실행되지 않았습니다(Watling 외. 2014).
• 피드백 수용을 돕는 것으로 가장 많이 언급된 관행은 촉진된 성찰 또는 자기 성찰이었습니다.
• 대부분의 학생에게 서면 피드백 요약은 [비공식 피드백 토론]에 비해 중요하게 여겨지지 않았으며, 피드백 요약의 1/3은 한 번도 열람하지 않았습니다(Lefroy 외. 2017).
• 학생들은 점수(64%), 체크리스트(42%), 동영상(28%)을 검토하는 빈도는 감소했지만 학생-교수 디브리핑 회의가 진행되었을 때 모든 양식에 대한 검토가 향상되었습니다(p <0.001)(Bernard 외. 2017).
• 의사들은 부정적인 피드백을 처리하는 것이 어려웠지만 오랜 시간 숙고한 후 이를 받아들였다고 설명했습니다(Sargeant 외. 2009).

Feedback providers showed characteristics that affected learner acceptance: supervisor credibility, perceived professional competence, and interpersonal skills (Bing-You et al. 1997; Watling et al. 2012).

• Sargeant studied family physicians’ responses to 360-degree feedback and found that they were most likely to accept feedback from patients and to disagree with it from colleagues (Sargeant et al. 2003; Sargeant, Mann, Sinclair, et al. 2008)
• Middle and high-level managers were more likely to be receptive to feedback if it was from someone of the same race, and of the opposite gender (Ryan et al. 2000).
• Some characteristics of the feedback interaction led to increased receptivity. Overeem et al. (2009) describe consultants using feedback to change their practice if provided with concrete goals following multi-source feedback.
• Dialogue on goals was important, with feedback not being actioned in future learning if goal alignment did not occur between supervisor and trainee (Watling et al. 2014).
• The practice most commonly cited as aiding feedback acceptance was reflection, both facilitated or self-reflection.
• For most students, written feedback summary was not valued compared to informal feedback discussions – one-third of feedback summaries were never accessed (Lefroy et al. 2017).
• Students reviewed scores (64%), checklists (42%), and videos (28%) in decreasing frequency but the review of all modalities improved when student-faculty debriefing meetings were conducted (p < 0.001)(Bernard et al. 2017).
• Physicians described finding negative feedback difficult to process but accepting it following long periods of reflection (Sargeant et al. 2009).

피드백 수용의 중요한 매개 요인으로 [인간관계]가 자주 언급되었습니다.

• 돌로리어트(Doloriert) 등은 박사 과정 학생들의 피드백과 지도교수와의 경험을 조사했습니다(돌로리어트 외. 2012). 한 참가자는 관계적인 측면을 특히 간결하게 설명했습니다: '슈퍼바이저가 저와 함께 길을 걸어주기를 바랄 뿐입니다.'
• 여러 연구에서 감독자와의 친밀감, 종종 종적 관계의 맥락에서 피드백 수용을 촉진하는 것으로 언급되었습니다(Ryan 외. 2000; Veloski 외. 2006; Embo 외. 2010; Bates 외. 2013; Ramani 외. 2018).
• 일부 학생들은 피드백을 직접 관찰한 후, 이상적으로는 여러 번 관찰한 후 피드백을 더 신뢰한다고 합리화했으며, 이와 유사하게 수행이 관찰되지 않은 경우 피드백을 무시한다는 보고도 있었습니다(Eva 외. 2012; Watling 외. 2013; 2014).
• 학습자들은 이전에 긍정적인 피드백을 경험한 적이 있는 경우 향후 동일한 감독자에게 더 많은 피드백을 구하고, 부정적인 피드백을 경험한 감독자에게는 피드백을 피한다고 보고했습니다(Gaunt, Patel, Fallis 등, 2017).

Relationships were frequently cited as a crucial mediator of feedback acceptance.

• PhD students’ experiences of feedback and supervisors were explored by Doloriert et al (Doloriert et al. 2012). One participant described the relational aspect particularly succinctly: ‘You just want her to walk part of the way with me.’
• Familiarity with the supervisor, often in the context of a longitudinal relationship, was cited by several studies as promoting feedback acceptance (Ryan et al. 2000; Veloski et al. 2006; Embo et al. 2010; Bates et al. 2013; Ramani et al. 2018).
• Some students rationalised this: feedback was more credible following direct observation, ideally on multiple occasions; similarly, reports of discounting feedback where performance was unobserved occurred (Eva et al. 2012; Watling et al. 2013; 2014).
• Learners reported seeking more feedback from the same supervisor in the future when they had a prior positive feedback experience; and avoiding feedback from supervisors with whom they had a negative feedback experience (Gaunt, Patel, Fallis, et al. 2017).

인지적 반응
Cognitive responses

연구의 거의 절반(n = 96, 41%)이 피드백이 [명확성과 이해도]에 영향을 미쳤다고 보고했으며, 대부분은 피드백이 학습자의 [강점과 약점]을 파악하는 데 도움이 되고 [예상 성과 기준]을 명확히 하는 등 두 가지 주요 하위 주제에 대해 긍정적인 효과를 보고했습니다.
Almost half of the studies (n = 96, 41%) reported that feedback affected clarity and understanding, the majority reporting a positive effect with two main sub-themes: feedback helped identify strengths and weaknesses in the learner and made expected performance standards clear.

피드백은 학습자의 [유능한 성과와 부족한 성과] 측면을 현미경처럼 들여다보는 역할을 합니다. 이는 관찰된 성과 기준과 바람직한 성과 기준 사이의 '격차'를 좁히기 위한 피드백의 개념화와 잘 맞아떨어집니다(Sadler 1989). 이 효과를 보고한 많은 연구에서 학습자가 역량의 특성을 인식하는 데 도움이 필요하다는 것을 확인했습니다. ['문제 소싱Trouble sourcing']은 학생이 [오류가 발생했을 때 정확한 라벨링]이 필요하거나, 피드백 상호작용을 통해 수정되지 않은 오해를 남기고 확장 학습의 기회를 놓칠 위험이 있다는 개념입니다(Rizan 외. 2014). 수행에서 강점과 부족한 영역을 강조하면 학습자에게 자기조절 주기의 여러 지점과 상호 작용할 수 있는 [정보]를 제공합니다.

• 이를 통해 내부의 '앎의 느낌'(FOK)과 '학습의 판단'(JOL)을 [외부 엔드포인트에 매핑]할 수 있습니다.
• 학습자는 자신의 역량 수준에 대한 슈퍼바이저의 평가를 받으면 효능감과 학습 용이성(EOL)에 대한 판단을 내릴 수 있습니다.

피드백이 [혼란을 야기하고 이해도를 악화시킨다]고 보고한 연구들은 피드백이 모호하거나, 구체적이지 않거나, 전달이 불가능하고, 양방향 대화가 불가능하다는 반복적인 특징과 관련이 있었습니다. Orsmond 등(2000)은 [성취도가 높은 학생]이 [성취도가 낮은 학생]보다 감독자의 피드백을 이해하기 위해 자기 평가, 동료 토론, 내부 보정을 더 많이 사용하며, 즉 학습을 스스로 조절한다는 사실을 발견했습니다. 연구진은 [성취도가 높은 학생]들이 피드백을 통해 타인 주도형에서 [자기 주도형으로 진화]했다는 점에 주목했습니다. 이는 교육자들에게 [학습자의 특성]과 [제공된 피드백] 중 어느 것이 더 결정적인 요소인가라는 질문을 던집니다. 자기 조절을 지원하는 피드백을 제공하면 모든 학생이 높은 성취도를 달성할 수 있을까요? 만약 그렇다면, SRL을 촉진하는 피드백을 조기에 제공하면 더 효과적인 학습자를 만들 수 있다는 것이 실무에 시사하는 바가 있습니다.
Feedback served as a microscope on aspects of the learner’s competent and deficient performance. This fits well with conceptualising feedback to ‘narrow the gap’ between observed and desirable performance standards (Sadler 1989). Many studies reporting this effect identified that learners need assistance with recognising the characteristics of competency. ‘Trouble sourcing’ is the concept that the student needs precise labelling of an error when it occurs, or risks leaving a feedback interaction with uncorrected misunderstanding while missing the opportunity for expansive learning (Rizan et al. 2014). Highlighting strong and deficient areas in performance provides the learner with information that can interact with multiple points in the self-regulation cycle.

• It allows mapping of internal ‘feeling of knowing’ (FOK) and ‘judgment of learning’ (JOL) to an external endpoint.
• They can make efficacy and ease of learning (EOL) judgements once they are equipped with the supervisor’s evaluation of their competency level.

Those studies which reported feedback causing confusion and worsening understanding associated it with recurring characteristics: feedback was ambiguous, non-specific, or non-transferable, and bi-directional dialogue was not available. Orsmond et al. (2000) found that that high-achieving students employed more self-assessment, peer discussion, and internal calibration to make sense of supervisor feedback than low-achieving students, that is, they self-regulated their learning. They noted that high-achievers evolved from being other-directed to self-directed, via feedback. This poses the question for educators: which is the determining factor – the learner’s traits or the feedback provided? Can all students become high-achieving if given feedback that supports self-regulation? If this is the case, the implication for practice is that early provision of feedback which facilitates SRL can create more effective learners.

'인지적' 범주의 두 번째 결과인 피드백이 [평가 기준을 명확하게 함으로써 이해를 돕는다]는 사실은 평가 리터러시(평가 리터러시)라고 불립니다(Winstone 외. 2017a). 그녀는 학습자가

• (a) 평가와 학습 간의 관계와 학습자에게 기대되는 바를 이해하고,
• (b) 암묵적 또는 명시적 채점 기준에 따라 자신과 타인의 작업을 평가하며,
• (c) 피드백에 사용되는 용어와 개념을 이해하고,
• (d) 평가와 피드백을 위한 적절한 기술과 이를 적용할 시기를 알아야 한다고 설명합니다.

The second finding in the ‘cognitive’ category – that feedback aided understanding by making assessment criteria clear – has been termed assessment literacy (Winstone et al. 2017a). She describes that the learner must

• (a) understand the relationship between assessment and learning, and what is expected of them;
• (b) appraise their own and others’ work against implicit or explicit grading criteria;
• (c) understand the terminology and concepts used in feedback and
• (d) know suitable techniques for assessing and giving feedback, and when to apply them.

'평가' 리터러시라고 불리지만, 첫 번째 항목을 제외한 모든 항목은 다른 상황에서의 피드백과 관련될 수 있다는 점을 인식하고 있습니다.

• 니콜과 맥팔레인-딕(Nicol and Macfarlane-Dick 2006)은 최적의 피드백은 '좋은 성과(목표, 기준, 기대 기준)가 무엇인지 명확히 하는 데 도움이 되며, 학생이 학습 목표를 식별하는 데 사용할 수 있는 전략을 개괄적으로 설명'한다고 선언합니다.
• 다른 곳에도 적용된다. [피드백의 모호성]은 퍼실리테이션, 명확성을 위한 감독자 미팅, 피드백을 효과적으로 풀고 '사용'하기 위한 성찰 연습을 통해 해결되었습니다(Sargeant 외. 2009; Embo 외. 2010).
• 또 다른 제안은 피드백 리터러시를 최적화하기 위해 더 많은 자기 평가를 통해 학생의 평가 기술을 강화하는 것입니다. 

While termed ‘assessment’ literacy, it is recognised that, with the exception of the first, all of these points can relate to feedback in other situations.

• Nicol and Macfarlane-Dick (Nicol and Macfarlane‐Dick 2006) declare that optimal feedback ‘helps clarify what good performance is (goals, criteria, expected standards),’ and outline strategies that could be used in helping students identify learning targets.
• These are applied elsewhere; feedback ambiguity has been addressed via facilitation, meeting supervisors for clarification, reflection exercises to effectively unpack and ‘use’ feedback (Sargeant et al. 2009; Embo et al. 2010). Another suggestion is strengthening students’ evaluative skills via more self-assessment to optimise feedback literacy.

그러나 [감독자가 사용하는 용어가 다를 경우] 피드백에 대한 어려움은 문해력을 넘어서는 것입니다. 이러한 문제는 자주 발생하는 것으로 보입니다.

• 학습자는 감독자와 비교하여 [표준에 대한 인식에 상당한 불일치]가 있을 수 있습니다(Norton 및 Norton 2001).
• 학습자는 특히 [익숙하지 않은 학문적 전문 용어]로 인해 '이해'에 어려움을 겪을 수 있습니다(Hounsell 1987).
• 학생들은 감독자의 피드백을 의도한 것과는 [상당히 다른 의미로 받아들입니다](Chanock 2000). 교사가 [의도적으로 모호한 표현을 사용]하는 경우, 즉 [헤징, 간접적 또는 완화된 표현]를 사용하는 경우 더 큰 문제가 발생합니다(Hyland and Hyland 2001).
• Yorke(2003)는 '기대되는 표준, 커리큘럼 목표 또는 학습 결과에 대한 진술은 일반적으로 그 안에 담긴 풍부한 의미를 전달하기에 불충분하다'고 지적합니다.
• Ginsburg 등(2015)은 평가에 사용되는 [서술형 평가에 '숨겨진 코드'가 사용되어 다양한 해석의 위험]을 초래할 수 있다고 설명합니다.

평가 과제 난이도, 진행 상황 모니터링, 인지 전략 선택, 시간 및 노력 할당 등 다양한 [자기조절 행동]을 실행하기 위해서는 [피드백이 명확하고 눈에 띄는 성과 결과와 명시적으로 연결]되어야 합니다. 이번 연구 결과에 따르면 피드백을 통해 목표가 명확해지고 목표에 대한 방향이 명확해질 수 있지만, 이는 [피드백 과정과 품질]에 따라 크게 달라집니다.

However, the challenges with feedback transcend literacy, if the supervisor is speaking a different language. This appears to occur frequently.

• Students can have a significant mismatch in their perception of standards compared with supervisors (Norton and Norton 2001).
• Learners may experience difficulty ‘making sense,’ in particular due to unfamiliar academic jargon (Hounsell 1987). Students take a significantly different meaning from supervisor feedback than what was intended (Chanock 2000).
• A further challenge lies when teachers are purposefully ambiguous – if hedging, indirectness, or mitigation are employed (Hyland and Hyland 2001).
• As Yorke (2003) notes, ‘statements of expected standards, curriculum objectives or learning outcomes are generally insufficient to convey the richness of meaning that is wrapped up in them.’
• Ginsburg et al. (2015) describes a ‘hidden code’ employed in written comments used in evaluations, leading to a risk of variable interpretations.

In order to employ a number of self-regulation actions – evaluation task difficulty, monitoring progress, selection of cognitive strategies, and allocation of time and effort – feedback must be clear and explicitly linked to salient performance outcomes. Our results indicate that while feedback can make the goalposts visible and the direction towards them clearer; this is highly dependent on the feedback process and quality.

학습자는 [진행 상황을 자기 모니터링하기 위해 피드백을 사용]한다고 설명합니다. 피드백은 자기조절 학습자가 적용한 전략이 원하는 결과를 달성했는지 판단하는 데 [필요한 인풋 중 하나]입니다. 피드백이 사용되는 방식은 [인풋 품질]에 직접적인 영향을 받습니다. [명확하고 투명한 피드백]은 이해도를 높이고 학습자가 객관적인 기준과 개인적인 목표에 따라 자신의 성과를 보정할 수 있도록 합니다. 이를 통해 학습자는 [메타인지적으로 강화, 수정 및 조정]할 수 있습니다. 학습자들은 피드백을 통해 [자기 모니터링에 대한 인센티브]를 받는다고 설명하므로(Price 외. 2010; Mann 외. 2011), 피드백은 [시간이 지남에 따라 자기 규제 행동을 종적으로 촉진]할 수 있습니다. 우수한 피드백 프레임워크가 있음에도 불구하고, (Nicol and Macfarlane-Dick 2006, Hattie and Timperley 2007, Sargeant 외. 2015) 연구에 따르면 이해에 부정적인 영향을 미치는 피드백 경험이 보고되어 이론과 실제 사이에 잠재적인 격차가 있음을 나타냅니다.
Learners describe using feedback for self-monitoring of progress. Feedback is one input that the self-regulated learner requires to determine if the strategies they apply have achieved the desired outcome. How feedback is used is directly affected by input quality. Clear, transparent feedback enhances understanding and allows the learner to calibrate their performance against both objective standards and personal goals. This then allows them to metacognitively reinforce, correct and adjust. Learners describe being incentivised to self-monitor by feedback (Price et al. 2010; Mann et al. 2011), thus it can catalyse self-regulatory actions longitudinally over time. Despite the availability of excellent feedback frameworks, (Nicol and Macfarlane‐Dick 2006; Hattie and Timperley 2007; Sargeant et al. 2015) studies report feedback experiences that negatively affect understanding, indicating a potential gap between theory and practice.

[성찰]은 모든 영역(인지, 정서, 행동)에서 수행되는 모니터링 및 반응 단계에 필요하기 때문에 [모든 자기 조절의 기초]가 됩니다. 이는 학습자가 나중에 피드백을 생산적으로 활용할 수 있도록 피드백에 대한 초기의 부정적인 반응을 관리하는 데 강력한 처리 도구로 작용할 수 있습니다(Sargeant, Mann, Sinclair 외. 2008). 일부 연구에 따르면 건설적인 성찰을 위해서는 전문가의 촉진이 필요하다고 합니다(Macafee 외. 2012).
Reflection is at the basis of all self-regulation, as it is required for monitoring and reaction phases to be undertaken in any area (cognitive, affective, and behavioural). It may act as a powerful processing tool in managing initial negative reactions to feedback in order for the learner to make productive use of it at a later stage (Sargeant, Mann, Sinclair, et al. 2008). Some studies indicate that constructive reflection requires expert facilitation (Macafee et al. 2012).

[학습 전략 변경 계획]은 이 범주에서 확인된 최종 결과입니다. 이는 [자신의 성과, 목표 및 환경을 지속적으로 재평가하고 원하는 목표를 달성하기 위해 조정하는 역동적인 학습자]라는 [SRL 이론의 핵심적인 실제 결과]를 요약합니다. 이 요소를 피드백에 대한 학습자의 반응으로 명시적으로 보고한 연구(n = 19, 8%)가 거의 없다는 점은 주목할 만합니다. 이는 연구 설계에서 피드백에 대한 반응으로서 학습 과정의 장기적인 변화를 탐구하지 않았기 때문일 수 있습니다. 이는 연구자와 교육자 모두에게 고려해야 할 사항입니다. [프로그램 방식의 평가 모델]이 널리 보급됨에 따라 학습자가 학습 활동을 수정하기 위해 내부적으로 피드백을 처리하는 방법도 외부화해야 한다는 점에서 모든 이해관계자의 피드백에 대한 투자가 활발해지고 있습니다.
Planning to change learning strategies is the final outcome identified in this category. It sums up the key practical outcome of SRL theory: the dynamic learner who constantly revaluates their performance, goals, and environment, and adjusts to effect desired goals. It is notable that few studies (n = 19, 8%) reported this element explicitly as a learner response to feedback. This may be because study designs have not explored the long-term changes in learning processes as a response to feedback. This is a consideration for researchers and educators alike. With programmatic assessment models becoming more widespread, there is heavy investment in feedback from all stakeholders: how learners internally process feedback to modify learning activities needs to be externalised.

행동 반응
Behavioural responses

'행동' 측면에서 피드백은 실제로 변화를 가져왔고, '행동'과 '맥락' 영역 모두에서 '통제'와 '반응' 단계에 반영된 더 많은 피드백을 추구하게 되었습니다. 이는 [피드백 이후 행동]이 [개인의 내부 처리]로만 설명할 수 없고 [환경과의 상호작용이 필요하다]는 것을 전달하기 때문에 중요한 중첩입니다. [부정적인 피드백]을 무시하고 신뢰할 수 없는 것으로 치부하여 결국 관찰된 행동에 아무런 변화를 가져오지 못했다는 보고가 여러 차례 있었습니다. 이는 학습자가 인지적 조절 영역에서 모니터링할 때 이러한 데이터를 제외하기로 선택했기 때문으로 설명할 수 있습니다. 다르게 해석하자면, 피드백은 받아들였지만 동기/정서 영역에서 목표 지향 채택에 부정적인 영향을 미친다고 해석할 수 있습니다. 분명한 것은 피드백이 상호 작용하여 궁극적으로 [미래의 시간과 노력 계획 및 실행에 영향]을 미칠 수 있는 몇 가지 [메커니즘]이 있다는 것입니다. 이는 행동과 관련된 두 번째 발견으로 이어지며, [피드백]이 [추가 피드백을 구하게 된다는 것]입니다. 학습자는 재보정의 일부에 추가 데이터 입력이 필요하다고 판단할 수 있습니다. 피드백은 학습자가 이전의 노력을 포기하도록 부추길 수 있습니다. 이는 한 연구에서만 관찰되었는데, 부정적인 피드백은 일부 포기로 이어졌습니다(Young 2000). 피드백의 결과로 취해지는 외부 행동(실행의 변화, 피드백 추구)은 학습자가 내린 내부 결정의 일부에 불과할 수 있습니다. 교육자로서 피드백의 결과를 행동의 측면에서만 고려하면 학습에 대한 투자를 과소평가할 위험이 있습니다.
In terms of ‘behaviour,’ feedback led to change in practice, and to more feedback-seeking, which are reflected under the ‘control’ and ‘reaction’ phases, both in the ‘behaviour’ and also the ‘context’ areas. This is an important overlap as it conveys how the actions are undertaken after feedback cannot be singularly explained by the individual’s internal processing, but require an interaction with the environment. There were multiple reports of negative feedback being discounted, dismissed as not being credible, and ultimately leading to no changes in observed behaviours. This could be explained by the learner choosing to exclude these data when monitoring, at the cognitive area of regulation. It could be otherwise interpreted that the feedback is accepted, but then negatively affects goal orientation adoption at the motivation/affect area. What is clear is that there are several mechanisms by which feedback can interact to ultimately affect future time and effort planning, and implementation. This leads to the second finding related to behaviour; that feedback led to seeking further feedback. The learner may decide that part of their re-calibration requires additional data inputs. Feedback may incite learners to abandon prior efforts; this was seen in only one study, negative feedback led to some giving up (Young 2000). The external actions are taken as a result of feedback – changes in practice, feedback-seeking – probably represent a fraction of the internal decisions which the learner made. As educators, we risk under-estimating the learning investment undertaken if we consider feedback outputs in terms of behaviours alone.

정서적 반응
Affective responses

피드백에 대한 동기 부여 반응을 보고한 연구의 85%가 동기 부여가 증가했다고 설명했습니다. 긍정적인 동기 부여 반응과 관련된 특정 유형의 피드백은 없었습니다. 실제로 연구에 따르면 피드백의 내용이나 가치에 관계없이 [피드백을 받는 것만으로도 동기 부여가 되는 것]으로 나타났습니다(Lizzio and Wilson 2008; Eide et al. 2016). 이는 학습자의 성과 기준에 관계없이 학습자의 노력을 인정해 주었기 때문입니다. 이는 학습을 사회적으로 맥락화된 것으로 간주할 때에도 마찬가지입니다. [교수진과의 긍정적인 관계]는 학습에 도움이 됩니다(Drew 2001). 여러 연구에서 부정적인 피드백을 건설적으로 처리하고 학습 목표를 지속하는 데 [정서적 지원]이 중요하다고 언급합니다(Treglia 2008; Rowe 2011; Taylor 외. 2011). 피드백이 학습 의욕을 떨어뜨리는 경우, 대개 부정적인 피드백이나 실험 연구의 맥락에서 이루어졌습니다. 이러한 실험은 학습자가 촉진 또는 예방에 초점을 맞출 수 있다고 제안하는 [조절 초점 이론](Higgins and Silberman 1998)에 기초했습니다. 이는 드웩의 [동기부여 이론](드웩과 레겟 1988) 및 데시와 라이언의 [자기 결정 이론](데시와 라이언 1985)과 겹치는 부분이 있습니다. 이러한 연구에 따르면 예방에 초점을 맞출 때는 부정적인 피드백이 동기 부여를 증가시키는 반면, 승진에 초점을 맞출 때는 긍정적인 피드백이 동기 부여에 더 큰 영향을 미칩니다. 그러나 동기는 관계적이고 역동적인 경향이 있으며, 자기조절 학습자의 현실은 이러한 구성된 모델보다 재현성이 떨어질 수 있습니다. 학습자와 학습자에게 요구되는 복잡한 과제는 promotion과 prevention이라는 [양극화된 범주]에 거의 들어맞지 않습니다. 많은 연구의 내러티브는 학습자가 자기 개발과 외부 성과 기준 충족이라는 두 가지 목표 사이에서 균형을 맞추기를 희망하는 현실을 시사합니다.
85% of the studies that reported motivational response to feedback described increased motivation. There were no specific types of feedback associated with positive motivational reactions. Indeed, studies indicated that merely receiving feedback, irrespective of the content or valence, was motivating (Lizzio and Wilson 2008; Eide et al. 2016). This was due to acknowledging learners’ effort, irrespective of their performance standard. This follows when considering learning as socially contextualized – positive relationships with academic staff are supportive of learning (Drew 2001). Multiple studies mention emotional support as crucial to process negative feedback constructively and persist with learning goals (Treglia 2008; Rowe 2011; Taylor et al. 2011). Where feedback was demotivating, it was usually in the context of negative feedback or experimental studies. Such experiments drew on regulatory focus theory (Higgins and Silberman 1998) which proposes that the learner can have either a promotion or prevention focus. This overlaps with Dweck’s motivational theory (Dweck and Leggett 1988) and Deci and Ryan’s self-determination theory (Deci and Ryan 1985). These studies suggest that with prevention focus, negative feedback increases motivation, while positive feedback is more motivating in a promotion focus. However, motivation tends to be relational and dynamic and the reality of the self-regulated learner may be less reproducible than these constructed models. Learners, and the complex tasks demanded of them, rarely fit polarised categories of promotion and prevention. The narrative in many of the studies suggests a reality where learners hope to balance both self-development and meeting external performance standards.

자신감이 피드백의 영향을 받은 대부분의 연구에서 [자신감이 향상]되었습니다. 자신감 향상과 동기 부여 강화는 일반적으로 공존했습니다. 학습자가 모니터링 소스를 입력하면 자신의 FOK와 EOL을 평가할 수 있습니다. 피드백은 이 두 가지를 개선하여 자존감을 높일 수 있습니다. 이 영역은 잠재적으로 목표 지향 및 후속 시간 및 노력 계획과 상호 작용할 수 있으므로 자기조절 학습에서 이 둘의 조합은 의미가 있습니다.
Most studies where confidence was affected by feedback, led to improvements. Increased confidence and enhanced motivation commonly co-existed. As the learner inputs monitoring sources, they can evaluate their FOK and EOL. Feedback can ameliorated both, supporting self-esteem. This domain potentially interplays with goal orientation and subsequent time and effort planning and so the pairing makes sense in self-regulated learning.

이 리뷰는 피드백에 대한 정서적 반응은 흔한 일이면서 강렬하다는 것을 나타냅니다. 이전 리뷰에서는 학습자가 피드백에 반응하는 방법의 주요 특징으로 이를 강조하지 않았습니다. 자기조절 학습 이론은 [동기/정서]에 중요성을 부여합니다. 이 이론은 학습 전략의 진화를 결정할 때 정서를 인지 및 행동 영역과 함께 배치합니다. [긍정적인 정서]는 학습을 촉진하는 반면, [부정적인 정서]는 학습을 억제하는 등 정서와 학습 사이의 연관성은 잘 확립되어 있습니다(Fredrickson 2001). SRL 모델은 피드백 입력이 [단순히 감정적 반응을 유발]하는 것이 아니라 학습자의 [향후 학습 전략에 영향]을 미쳐 [특정 감정의 재발을 반복하거나 피할 수 있다]고 간주합니다. 피드백은 '자신에 대한 정보이며, 감정적으로 충전되어 있기' 때문에 강한 감정을 유발할 수 있습니다(Ashford와 Cummings 1983). [부정적인 감정]은 더 자주, 더 생생하게 보고되며, 때로는 광범위한 영향을 설명하기도 합니다. 학습자의 지속적인 개인적 반응을 설명할 뿐만 아니라 피드백 사용에도 상당한 영향을 미쳤습니다. 부정적인 정서적 반응은 일반적으로 받은 [피드백을 거부하거나 부분적으로만 수용하는 것]과 관련이 있었습니다(Sargeant, Mann, Sinclair 등, 2008). [자신감과 자존감에 대한 해로운 영향]도 보고되었습니다(Lizzio와 Wilson 2008). 이론적 관점에서 부정적인 원자가 감정이 피드백과 심오한 상호작용을 하는 이유에 대한 여러 가지 제안이 있기 때문에 이는 주목할 만합니다. 자신의 자기 평가에 반할 수 있는 데이터를 받는 것은 어려운 일입니다(Porter 외. 1974; Mann 외. 2011). 이는 학습자가 학습을 지원하는 피드백의 긴장과 자기 인식에 대한 위협 사이의 균형을 맞출 필요가 있음을 시사합니다. 반대로 피드백은 학습자의 주관적인 반응을 완화하는 기능을 할 수도 있습니다. 평가는 감정적으로 이루어지며 피드백은 불안한 학습자의 자기 평가보다 더 균형 잡힌 시각을 제공할 수 있습니다(Munro와 Hollingworth 2014).
This review indicates that affective reactions to feedback are both commonplace and intense. Previous reviews have not highlighted these as a major feature of how learners respond to feedback. Self-regulatory learning theory assigns significance to motivation/affect. It situates emotion alongside cognitive and behavioural areas, in determining the evolution of learning strategy. The connection between emotion and learning is well established: positive valence emotions are associated with facilitating learning, while negative valence inhibits learning (Fredrickson 2001). The SRL model considers that feedback inputs do not just provoke emotional reactions, but that a learner’s future learning strategies will be influenced to replicate or avoid specific feelings re-occurring. Feedback may provoke such strong feelings because ‘it is information about the self, it is emotionally charged’ (Ashford and Cummings 1983). Negative emotions are reported more frequently, and in more vivid terms, sometimes describing far-reaching effects. In addition to describing enduring personal reactions in the learner, they also had significant effects on their use of feedback. Negative emotional reactions were commonly associated with rejection of received feedback or only partial acceptance (Sargeant, Mann, Sinclair, et al. 2008). Deleterious effects on confidence and self-esteem were also reported (Lizzio and Wilson 2008). This is notable as, from a theoretical perspective, there are multiple proposals for why negative valence emotions interact profoundly with feedback. It is challenging to receive data that may counter one’s self-assessment (Porter et al. 1974; Mann et al. 2011). It suggests that the learner needs to balance the tension of feedback supporting learning with the threat it presents to self-perception. Conversely, feedback can function to temper a learner’s subjective reaction. Evaluation is emotionally charged and feedback may offer a more balanced view than the self-assessment of an anxious learner (Munro and Hollingworth 2014).

[감정적 비용]은 [학습자의 선택을 지배]하고 향후 학습 활동을 좌우할 수 있습니다(Trope and Neter 1994). 실무 관점에서 피드백을 받는 사람에게 [감정이 미치는 영향을 고려]하는 것이 중요한 이유는 무엇일까요? 이러한 [긴장을 인정하고 공감하는 맥락을 개발하는 것]은 피드백 전달의 전제 조건입니다. 그렇지 않으면 교수자는 학습자가 피드백을 잘 받아들이지 않을 뿐만 아니라 피드백을 회피할 위험이 있습니다. 학습자는 [수정 피드백을 요청하거나 받을 준비]가 되기 전에 [일정 수준의 편안함, 경험 및 자신감]을 경험해야 합니다(Eva 외. 2012). 학습자는 처음 감정을 표출한 후 이를 극복할 수 있는 능력을 보유할 수도 있습니다(Quinton and Smallbone 2010). 예를 들어, 상호작용에서 [격려적인 대화를 제공하는 등 감독자 의존적 요인]이 피드백으로 인해 유발된 [부정적인 감정을 중재]할 수 있습니다(Lizzio and Wilson 2008). 추가 연구에 따르면 가혹하고 비판적인 피드백을 학습자가 유용하다고 생각하는 정보로 변환하는 데 있어 감독자와 수신자 간의 목표 정렬이 중요하다고 합니다(Watling et al. 2014). R2C2 모델은 대화를 포함하고 관계에 초점을 맞춤으로써 학습자가 피드백 대화에 참여하는 것을 입증했습니다(Sargeant 외. 2018). 마음챙김 감독자는 피드백 관련 감정의 건설적인 처리를 촉진할 수 있습니다. 마지막으로, 감정, 특히 부정적인 원자가는 이러한 연구에서 피드백에 대한 일반적인 반응이었지만 여전히 과소 보고되고 있을 가능성이 높습니다. 여러 연구에서 학생들이 피드백과 관련된 동기 및 정서를 관리하기 위한 수단으로 [선택적 필터링]을 채택하는 것으로 나타났습니다. 학생들은 자기 보호 필터링을 통해 이득(펌핑)을 유도하는 피드백을 선택적으로 찾고 피해를 피하기 위해 피드백을 구하는 행동을 변경했습니다(Trope and Neter 1994; Quinton and Smallbone 2010; Gaunt, Patel, Rusius 외. 2017). 
Emotional costs may dominate the learner’s choices and dictate future learning activities (Trope and Neter 1994). From a practice point, why is it important to consider the effects of emotion on the feedback recipient? Developing a context that acknowledges and is sympathetic towards this tension is a prerequisite in feedback delivery. Otherwise, faculty risk not just poor feedback learner receptivity, but feedback avoidance. The learner needs to experience a particular level of comfort, experience, and confidence prior to being prepared to ask for, or receive, corrective feedback (Eva et al. 2012). Learners may possess the ability to get past their emotions after initial venting (Quinton and Smallbone 2010). Supervisor-dependent factors can mediate the negative emotions induced by feedback, for example, providing encouraging dialogue in the interaction (Lizzio and Wilson 2008). Further work suggests goal alignment between supervisor and recipient is key in translating harsh, critical feedback into information that the learner considered useful (Watling et al. 2014). The R2C2 model has demonstrated learner engagement with the feedback conversation, by including dialogue and focussing on relationships (Sargeant et al. 2018). The mindful supervisor can facilitate constructive processing of feedback-related emotion. Finally, while emotion, in particular negative valence, was a common response to feedback in these studies, it is still likely to be under-reported. Several studies identified that selective filtering is adopted by students as a means of managing motivation and affect related to feedback. Students changed their feedback-seeking behaviours to selectively seek out feedback that prompted gain (pumping) and avoid harm via self-protective filtering (Trope and Neter 1994; Quinton and Smallbone 2010; Gaunt, Patel, Rusius, et al. 2017).

컨텍스트
Context

감독자, 수신자, 피드백 관련 요인 등 다양한 요인이 피드백 수용에 영향을 미치는 것으로 확인되었습니다. 학습에 대한 [사회 구성주의적 관점]에서는 학습에 대한 학생의 참여가 [사회적 맥락]에 놓여 있으며 '관계의 교육학'이 존재한다는 점을 강조합니다(Bingham and Sidorkin 2004). '더 많은 지식을 가진 타자'와의 관계는 '근위 발달 영역'에서 학습을 최적화할 수 있습니다(비고츠키 1978). 특정 학습 자원으로서의 [피드백은 그 자체로 사회적으로 구성된 활동]이며, 피드백이 생산, 배포 및 수신되는 조건에 영향을 받습니다(Fairclough 1995). 따라서 맥락은 다음의 측면에서 논의될 것입니다.

• 피드백 자체의 특성,
• 학습자 특성,
• 감독자 특성
• 피드백 이벤트의 특성

A number of factors – supervisor, recipient and feedback-related – were identified as influencing acceptance of feedback. A socio-constructivist view of learning emphasises that student engagement with learning is situated in their societal context and a ‘pedagogy of relation’ exists (Bingham and Sidorkin 2004). Relationships with the ‘more knowledgeable other’ can optimise learning in the ‘zone of proximal development’ (Vygotsky 1978). Feedback as a specific learning resource, is a socially constructed activity in itself and is affected by the conditions in which it was produced, distributed, and received (Fairclough 1995). Thus context will be discussed in terms of characteristics of 

• the feedback itself,
• the learner,
• the supervisor, and
• the feedback event.

Introduction: Little is known of processes by which feedback affects learners to influence achievement. This review maps what is known of how learners interact with feedback, to better understand how feedback affects learning strategies, and to explore enhancing and inhibiting factors.

Methods: Pilot searching indicated a wide range of interpretations of feedback and study designs, prompting the use of scoping methodology. Inclusion criteria comprised: (i) learners (undergraduate, postgraduate, continuing education) who regularly receive feedback, and (ii) studies that associated feedback with subsequent learner reaction. The screening was performed independently in duplicate. Data extraction and synthesis occurred via an iterative consensus approach. Self-regulatory learning theory (SRL) was used as the conceptual framework.

Results: Of 4253 abstracts reviewed, 232 were included in the final synthesis. Understandings of feedback are diverse; a minority adopt recognised definitions. Distinct learner responses to feedback can be categorized as cognitive, behavioural, affective, and contextual with complex, overlapping interactions. Importantly emotional responses are commonplace; factors mediating them are pivotal in learner recipience.

Conclusion: Feedback benefits learners most when focussed on learner needs, via engagement in bi-directional dialogue. Learner emotions must be supported, with the construction of positive learner-teacher relationships. A developmental agenda is key to learner's acceptance of feedback and enhancing future learning.

Self-regulated learning (SRL) includes the cognitive, metacognitive, behavioral, motivational, and emotional/affective aspects of learning. It is, therefore, an extraordinary umbrella under which a considerable number of variables that influence learning (e.g., self-efficacy, volition, cognitive strategies) are studied within a comprehensive and holistic approach. For that reason, SRL has become one of the most important areas of research within educational psychology. In this paper, six models of SRL are analyzed and compared; that is, Zimmerman; Boekaerts; Winne and Hadwin; Pintrich; Efklides; and Hadwin, Järvelä and Miller. First, each model is explored in detail in the following aspects: (a) history and development, (b) description of the model (including the model figures), (c) empirical support, and (d) instruments constructed based on the model. Then, the models are compared in a number of aspects: (a) citations, (b) phases and subprocesses, (c) how they conceptualize (meta)cognition, motivation and emotion, (d) top-down/bottom-up, (e) automaticity, and (f) context. In the discussion, the empirical evidence from the existing SRL meta-analyses is examined and implications for education are extracted. Further, four future lines of research are proposed. The review reaches two main conclusions. First, the SRL models form an integrative and coherent framework from which to conduct research and on which students can be taught to be more strategic and successful. Second, based on the available meta-analytic evidence, there are differential effects of SRL models in light of differences in students' developmental stages or educational levels. Thus, scholars and teachers need to start applying these differential effects of the SRL models and theories to enhance students' learning and SRL skills.

불일치
Mismatch

사회가 빠르게 변화함에 따라 의료 수요도 변화하고 있다. 지속 가능하고 목적에 적합한 저렴한 의료 시스템을 유지하려는 욕구에 있어 의료 전문가의 공급을 사회적 요구에 맞추는 것은 필수적입니다[1]. 그러나 많은 서구 사회에서는 최적의 진료 제공에 필요한 전문직 종사자와 관련하여 [의사의 직업 열망과 진로] 및 [사회적 요구] 사이에 불균형이 지속되고 있다[1, 2]. 의대생이 부족하지는 않지만 전공 간 의대 졸업생의 분포가 문제다. 예를 들어 사회는 더 많은 공중 보건 및 노인 의료 의사를 필요로 하지만, 의학 졸업생들은 오히려 소아과나 내과에서 직업을 추구한다[1, 3]. 이러한 불일치는 의료 전문가의 부족과 실업으로 이어졌다. 이러한 불일치를 해결하는 것은 의료 인력뿐만 아니라 사회에서도 시급한 관심사이다. 그러기 위해서는 의대생들의 진로 열망에 대한 더 나은 이해가 필수적이다.

As society is rapidly changing, health care demands are changing as well. Matching the supply of health professionals to societal demands is essential in aspiring to maintain an affordable healthcare system, which is sustainable and fit for purpose [1]. However, in many Western societies there is a continuing imbalance between the career aspirations and paths of medical doctors and societal needs with regard to the professionals required for optimal care delivery [1, 2]. Although there is no shortage of medical students, the distribution of medical graduates over specialties is problematic. Whereas society needs for instance more public health and elderly care doctors, medical graduates rather pursue careers in pediatrics or internal medicine [1, 3]. This mismatch has led to both shortages and unemployment of medical professionals. Solving this mismatch is of urgent interest for the medical workforce as well as society. For that purpose, a better understanding of the career aspiration of medical students is essential.

경력 포부
Career aspirations

전문성 측면에서 학생들의 잘못된 분포는 연구자들에 의해 점점 더 많이 다루어지고 있다[1, 4, 5]. 의학 전공 선택과 같은 진로 결정에 중요한 역할을 하기 때문에 의대생들의 진로 열망이 문제의 핵심에 있는 것으로 보인다. 학생들은 의학 분야에 대한 어떤 야망, 걱정, 희망을 가지고 의대에 입학하는 경우가 많다. 이상적으로는 의과대학 시절 현장 경험을 통해 학생들이 필요로 하는 것과 좋아하는 것, 일과 삶에 대해 더 깊이 믿거나 가치 있게 여기는 것, 잘하는 것, 중요한 기술과 능력이 무엇인지 점차 깨닫게 된다. 이러한 동기, 가치관, 재능은 [그들의 포부를 견인할 직업 관련 선호의 포괄적인 패턴]으로 점차 모이게 되는데, 이것은 그들의 [직업 지향career orientation]이라고도 불린다. 의대생들의 [직업 지향]에 대한 통찰력은 의학 전공 선택 과정의 추진력을 더 잘 이해하는 데 도움이 될 것입니다. 이 지식은 전문 분야에 대한 의대 졸업생의 문제 있는 분포에 대한 문제를 해결하고 해결책을 제안하기 위해 노력할 때 필수적이다.
The maldistribution of students in terms of specialties has been increasingly addressed by researchers [1, 4, 5]. Career aspirations of medical students appear to lie at the heart of the problem, as they play an important role in career decisions such as medical specialty choice. Students often already enter medical school with certain ambitions, concerns, and hopes about the medical field. Ideally, through experiences in the field during medical school, students gradually learn to realise what they need and like, what they more deeply believe or value about work and life, what they are good at, and what skills and abilities are critical. These motives, values and talents gradually come together in a comprehensive pattern of job-related preferences that will drive their aspirations, which is also referred to as their career orientation. Insight in the career orientations of medical students will likely help us to better understand the drives in their medical specialty choice process. This knowledge is essential when striving to address issues and propose solutions for the problematic distribution of medical graduates over specialties.

의대생들이 어떻게 진로 방향을 개발하고 그들이 어떻게 그들의 의학 전공 선호에 도달하게 되는지는 복잡하며 오랜 세월 동안 연구되어 왔습니다 [6–8]. 일반적으로 학자들은 다음에서 의학 전문 선택과 관련된 중요한 측면을 식별하려고 노력해 왔다.e 

• 학생의 특성(성별 및 성격 등) [9],
• 가치(예: 개인 선호) [10],
• 진로 요구 또는 선호(예: 기대 소득 또는 근무 시간) [11],
• 의료 전공별 특성에 대한 인식(예: 개인 경험)[12]
• 의료 커리큘럼 특성(예: 커리큘럼 설계) [13].

이로 인해 의료 전문 선택 과정에서 역할을 하는 광범위한 측면에 대한 지식이 증가했지만, 프로세스에 대한 명확한 이해는 여전히 부족하다[8].

The process of how medical students develop their career orientation and how they come to their medical specialty preferences is complex and has been researched for many years [6–8]. In general, scholars have tried to identify aspects of importance for medical specialty choice in

• students’ characteristics (such as gender and personality) [9],
• values (e.g. personal preference) [10],
• career needs or preferences (e.g. expected income or working hours) [11],
• perceptions of medical specialty characteristics (e.g. personal experience) [12], and
• medical curricula characteristics (e.g. curriculum design) [13].

Although this has resulted in increased knowledge on a broad variety of aspects which play a role in the medical specialty choice process, a clear understanding of the process is still lacking [8].

본 연구는 선택과 관련된 모든 측면이 상호 연관된 의사 결정 과정으로 접근함으로써 이 의학 전문 선택사항에 대한 이해에 기여하고자 했다. Cleland와 동료들은 이러한 관점을 취하는 데 앞서, 개별적인 측면을 보는 대신 사람들을 [특정 대안으로부터 멀어지게] 하거나, [사람들을 그 쪽으로 끌어당기는] 주요 측면인 [밀고 당기는 요소]에 초점을 맞출 수 있다고 주장했습니다 [14, 15]. 그들이 [이산 선택 실험]을 사용한 그들의 연구는 아마도 영국의 의학 졸업생들이 그들의 직업 의사 결정에서 어떻게 다른 측면을 가치 있게 여기고 절충하는지를 조사하는 것에 가장 근접할 것이다. 이는 금전적 이득과 관련된 이러한 측면의 중요성에 대한 통찰로 이어졌다.

The present study sought to contribute to the understanding of this medical specialty choice by approaching it as a decision-making process in which all relevant aspects of the choice are interrelated. Cleland and colleagues have preceded us in taking this perspective and argued that instead of looking at individual aspects one could also focus on push and pull factors [14, 15], the principal aspects that either drive people away from a certain alternative or draw people towards it. Their studies, in which they used discrete choice experiments, probably come closest to investigating how medical graduates in the UK value and trade-off different aspects in their career decision-making. This led to insights regarding the importance of these aspects relative to financial gains.

이러한 [선택 실험]은, 그 설계 특성상, 제한된 수의 측면의 상대적 중요성을 조사하기에 적합하다. 그러나 의대생들의 전공 선택에 크고 다양한 가치관, 필요성, 동기의 집합이 역할을 할 수 있다. 따라서 의대생들이 전공 선택에 있어 이 모든 다른 측면이 어떻게 우선시되는지에 대한 광범위한 이해는 의료 인력의 잘못된 분배를 해결하는 데 도움이 될 수 있는 개입을 설계하는 데 필수적이다. 게다가, 학생들이 미래의 직업을 위해 중요하다고 생각하는 것에 있어서 학생들 사이의 상당한 이질성을 예상할 수 있다. 따라서, 우리의 연구에서 우리는 [Q-방법론]을 사용하여 학생들이 의학 전문 선택과 관련된 모든 측면을 어떻게 절충하는지 조사했다. 이 접근방식은 참가자들에게 광범위한 항목들의 순위를 매기도록 요청하고 의대생들의 뚜렷한 직업 지향성 사이의 유사성뿐만 아니라 차이점을 식별할 수 있게 한다. 또한 양적, 질적 데이터를 모두 수집함으로써 다양한 진로 지향에 대한 풍부한 해석을 생성할 수 있다.

Such choice experiments, by design, are suitable for investigating the relative importance of a limited number of aspects. However, a large and varied set of values, needs and motives may play a role in specialty choices of medical students. Therefore, a broader understanding of how all these different aspects are prioritised by medical students in their speciality choices is essential for designing interventions that could help solve the maldistribution of the medical workforce. In addition, one may expect considerable heterogeneity between students in what they consider important for their future careers. Thus, in our study we investigated how students trade-off all the relevant aspects with regard to medical specialty choice using Q-methodology. This approach makes it possible to ask participants to rank an extensive set of items, and to identify similarities as well as differences between distinct career orientations of medical students. In addition, by collecting both quantitative and qualitative data, rich interpretations of different career orientations can be generated.

Q-방법론은 이전에 경력 연구에서 사용되었지만 [16–18] 의료 경력 연구에 이 접근법을 적용한 것은 이 연구가 처음이다.
Although Q-methodology has previously been used in career research [16–18], this study is the first to apply this approach to medical career research.

대부분의 진로선택 이론에서 진로선택 과정은 주로 [매칭 프로세스]로 접근한다. 즉, 의식적으로든 무의식적으로든 개인의 필요, 가치, 동기, 재능과 일치하는 전문성을 선호한다고 가정한다[19]. 결과적으로, [당신이 원하는 것을 아는 것]과 [당신의 자질과 가치가 무엇인지 아는 것]은 적절한 직업 선택을 하기 위해 필수적이다. 따라서 이러한 많은 이론들은 의대생들이 진로지향을 개발하고 효과적인 진로결정을 하기 위해서는 [철저한 자기탐구]로 시작하는 것이 필요하다고 제안한다. 후자는 적절한 의료 전문 분야를 선택하는 것이 직업 만족에 도움이 되고, 따라서 제공되는 의료의 질에 도움이 되기 때문에 더욱 관련이 있다[19–22]. 그러나 현재 연구의 맥락에서 훨씬 더 중요한 것은 의대생들의 진로 방향에 대한 더 많은 통찰력이 의대생들의 의학 전공 선택에 대한 우리의 이해를 향상시킬 수 있다는 것이다[19].
In most career choice theories, the career choice process is approached mainly as a matching process. This means that it is assumed that a person -consciously or unconsciously- prefers a specialty that matches their individual needs, values, motives and talents [19]. Consequently, self-knowledge about what you want and what your qualities and values are, is essential for making appropriate career choices. Many of these theories thus suggest that starting with a thorough self-exploration is necessary for medical students to develop a career orientation and for effective career decision-making. The latter is all the more relevant because choosing the proper medical specialty will benefit job satisfaction, and thereby the quality of care delivered [19–22]. But even more important in the context of the current study, more insight into the career orientations of medical students could improve our understanding of their medical specialty choices [19].

연구목표
Research aim

본 연구는 학생 진로지향에 초점을 맞춰 의약특기자선호 형성 과정에 대한 이해에 기여하고자 한다. Q-방법론[23]을 사용하여, 이 연구는 의대생들이 전공 선택에 대한 광범위한 가치, 요구 및 동기에 부여하는 중요성의 패턴을 탐구하며, 양적 및 질적 데이터를 사용하여 이러한 패턴을 별개의 직업 지향으로 설명한다. 마지막으로, 이 연구는 의대생들의 열망과 의료 전문가에 대한 사회적 요구 사이의 불일치에 대한 의료 전문 선택과 잠재적 해결책에 대한 그들의 함의를 상세히 설명한다.

This study aims to contribute to the understanding of the process of medical specialty preference formation, by focusing on student career orientations. Using Q-methodology [23], this study explores patterns in the importance medical students attach to a broad set of values, needs, and motives for specialty choice, and uses quantitative and qualitative data to describe these patterns as distinct career orientations. Finally, the study elaborates on their implications for medical specialty choices and potential solutions for the mismatch between the aspirations of medical students and societal needs for medical professionals.

연구설계
Study design

Q-방법론의 혼합 방법 특성은 주관적 현상의 패턴과 다양성을 체계적으로 탐색하고 설명하는 데 특히 적합하다[23]. 데이터는 참가자들에게 연구 주제와 관련된 광범위한 이슈를 나타내는 일련의 진술의 순위를 매기도록 요청함으로써 수집된다. 참가자가 전체 진술 집합의 순서를 정함으로써 자신의 관점을 드러내고, 서로 다른 참가자가 유사한 방식으로 진술의 순위를 매기면 주제에 대해 비슷한 견해를 갖는다는 가정이다. 참가자 간의 유사점과 차이점을 식별하기 위해, 순위 데이터는 사람별 요인 분석을 통해 진술 대신 인물의 상관관계를 분석한다[23].
The mixed method characteristic of Q-methodology is particularly suited to systematically explore and explain patterns and diversity in a subjective phenomenon [23]. Data are gathered by asking the participants to rank a set of statements that represent the broad set of issues that are relevant to the topic of study. The assumption is that participants reveal their viewpoint through ordering the full statements set, and that if different participants rank the statements in a similar way, they hold a similar view on the topic. To identify similarities and differences between participants, the ranking data is subjected to by-person factor analysis, thus correlating the persons instead of the statements [23].

맥락
Context

이 연구는 네덜란드의 두 대학의 의과대학에서 이루어졌다. 학생들의 인구통계학적 특성과 커리큘럼은 상당히 유사하다[24]. 두 대학 모두 광역대학으로 학생들의 배경 특성이 비슷한 분포를 보인다. 두 대학 모두 6년제 학부 의학과정이 있는데 3년제 학사과정은 이론과, 3년제 석사과정은 임상과가 주를 이룬다. 네덜란드에서 의과 전문의를 목표로 하는 의과대학 졸업생은 의과대학 졸업 후 바로 의과대학 전공의 선발 절차를 신청할 수 있거나, 전문분야에서 비훈련 전공의resident-not-in-training로 근무를 시작할 수 있는 두 가지 선택지가 있다. 후자의 옵션은 전공이 적합한지 더 잘 알거나, 선택한 전공에 지원하기 전에 더 나은 이력서를 작성할 수 있는 업무 경험을 얻기 위해 자주 사용됩니다. 결과적으로, 실제 의학 전공의 결정의 순간은 학생 개개인에 따라 다를 수 있다.

This study took place in medical schools at two universities in the Netherlands. Demographic characteristics of their students and their curricula are quite similar [24]. Both universities are metropolitan universities, with similar distribution of background characteristics of the students. Both universities have a 6-year undergraduate medical curriculum of which the 3-year Bachelor is mainly theoretical, and the 3-year Master is mainly clinical. In the Netherlands, medical school graduates that aim to become a medical specialist have two options: one can apply for a medical residency selection procedure directly after medical school or one can start working in a specialty as a resident-not-in-training. The latter option is frequently used to get a better sense of whether a specialty fits, or to gain work experience to build a better resume before applying for the specialty of choice. As a consequence, the moment of the actual medical specialty decision making can differ between individual students.

참가자
Participants

이 연구의 참여자들은 두 의과대학의 6년 과정 모두에서 온 학생들이었다. 학생들 사이에 어떤 진로 오리엔테이션이 존재하고 어떤 학생들이 이런 다른 오리엔테이션을 가지고 있는지에 대한 사전 정보가 없었기 때문에 편의성 샘플링과 스노우볼링을 조합하여 사용했다. 데이터 수집의 출발점으로 우리는 의대생들의 편리한 샘플, 즉 의대생들 사이의 다양한 관점을 포착하는 데 관련될 것으로 예상한 의대 학년과 배경 특성에 따라 다양한 참가자로 구성된 접근하기 쉬운 그룹에 접근했고, 이는 Q-방법론에서 흔히 볼 수 있다. [23]. 더 다양한 그룹에 도달하기 위해, 스노우볼링이 사용되었습니다. 즉, 편의 샘플의 참가자들에게 이러한 다른 학생들이 비슷하거나 다른 진로 포부를 가질 것이라는 그들의 기대를 바탕으로 연속 참가자들을 제안하도록 요청했다는 것을 의미합니다. 표본 추출 전략의 주요 목적은 직업 지향의 다양성을 확인하는 데 도움이 되는 다양한 의대생 그룹을 포함하는 것이었습니다. Q-방법론 연구의 참가자들은 많은 항목을 평가하고 순위를 매기기 때문에, 잘 선택된 제한된 수의 참여자들은 포화 상태에 도달하고 주제에 대한 주요 관점을 식별하기에 충분하다[23]. 모든 참가자들이 연구를 완료했습니다.

Participants in this study were students from all six years of the undergraduate curriculum of the two medical schools. As we had no prior information about which career orientations exist among students and which students have these different orientations, a combination of convenience sampling and snowballing was used. As a starting point of the data collection we approached a convenience sample of medical students, i.e. an easy-to-reach group consisting of participants varying in year of medical school and background characteristics that we anticipated to be relevant for capturing the diversity of viewpoints among medical students, as is common in Q-methodology [23]. In order to reach a more diverse group, snowballing was used. This means we asked participants from the convenience sample to suggest consecutive participants, based on their expectations that these other students would have similar or dissimilar career aspirations. The main purpose of our sampling strategy was including a diverse group of medical students that would help us to identify the variety in career orientations. Since participants in a Q-methodology study evaluate and rank a large number of items, a limited number of well-selected participants is sufficient to reach saturation and to identify the main viewpoints about a topic [23]. All participants completed the study.

진술문 집합
Statement set

Q-방법론 연구를 수행하는 데 있어 중요한 부분은 조사 중인 문제에 대해 사람들이 말하거나 생각할 수 있는 다양한 것들을 포괄하는 포괄적인 진술 세트를 개발하여 모든 참가자가 자신의 견해를 밝힐 수 있도록 하는 것이다[23]. 따라서, 임상 및 의료 교육 전문가들로 구성된 팀이 성명 세트를 개발하기 위해 힘을 합쳤다. 우리는 다음 질문에 대한 가능한 응답의 다양성을 나타내기 위해 이 세트를 목표로 했다. "당신의 미래 직업에 대해 생각하면서, 의학 전공 선택에 있어 당신에게 중요한 것은 무엇입니까?" 우선, 전문 선호도에서 중요한 측면이 문헌에서 확인되었다. 회수된 물품의 긴 목록은 검토되었고 팀의 경험으로 보충되었다. 다음으로, 이 항목들은 앞에서 말한 질문에 대한 대답이 될 수 있는 진술로 변환되었다. 예를 들어, "명망 있는 의료 전문 분야에서 일하는 것"입니다. 그 후, 그 진술들은 모호성, 명확성 및 의대생과 함께 사용 적합성에 대해 의대생들과 전문가들과 논의되었다. 조정 후, 진술서는 학생들 사이에서 시험적으로 테스트되었다. 파일럿 참가자들에게 일련의 진술의 완전성과 이해가능성에 대한 의견을 요청하였다. JvE, KSJ, LG의 최종 개정으로 62개의 문장이 만들어졌다. 설명 집합에서 다루는 주제는 다음과 같습니다. 개인 개발/진보, 라이프스타일, 프레스티지, 서비스/알트루시즘, 보안 및 안정성, 자율성 및 업무 관련 콘텐츠.

A crucial part in conducting a Q-methodology study is developing a comprehensive set of statements, covering the variety of things that people may say or think about the issue being investigated, allowing all participants to reveal their viewpoint [23]. Therefore, a team of clinical and medical education professionals joined forces to develop the statement set. We aimed the set to represent the diversity of possible responses to the question: “thinking about your future career, what is important to you in your medical specialty choice?”. To start, aspects important in specialty preference were identified in the literature. The long-list of items retrieved was reviewed and supplemented with experiences of the team. Next, these items were transformed into statements that could be an answer to the previously stated question. For example: “Working in a prestigious medical specialty”. Subsequently, the statements were discussed with medical students and specialists regarding their ambiguity, clarity, and suitability for use with medical students. After adjustments, the statement set was pilot-tested among students. Pilot participants were asked to comment on the completeness and comprehensibility of the set of statements. Final revisions (by JvE, KSJ and LG) resulted in a set of 62 statements. Themes covered in the statement set included: Personal development/advancement, Lifestyle, Prestige, Service/Altruism, Security and stability, Autonomy and Work-related content.

자료수집
Data collection

참석자들은 직접 인터뷰를 했다 순위는 다음과 같이 지시되었다. 

• 첫째, 참가자들은 카드에 인쇄된 진술서를 무작위로 건네받았고, 모든 진술서를 읽고 의학 전공을 선택하기 위해 중요, 중요하지 않음 및 중립의 세 가지 더미로 분류하도록 요청받았다. 
• 다음으로, "중요한" 더미에 있는 진술서를 받아 다시 한 번 읽어보고, 의학 전공을 선택하는데 가장 중요하다고 생각하는 진술서 두 개를 선택하여 점수표의 오른쪽에 5번 아래 두 자리(그림 1 참조)에 배치하도록 했다. 
• 그런 다음, "중요한" 더미의 나머지 문장을 읽고, 현재 가장 중요하다고 생각되는 네 개의 문장을 선택한 다음, 다음 열인 4 아래에 배치하도록 요청받았습니다. 이 과정은 더미 안에 어떤 진술도 남아 있지 않을 때까지 반복되었다. 
• 그런 다음, "중요하지 않은" 더미의 문장과 "중립" 더미의 문장에 대해서도 유사한 절차가 수행되었다(왼쪽에서 오른쪽으로 순서 지정). 이러한 정렬 단계는 그림 2에 나와 있습니다. 
• 진술의 순위를 마친 후, 참가자들은 대면 면접에서 자신의 순위와 특히 진술의 가장자리에 대한 배치에 대해 설명하고 종이 기반 설문지에서 일부 인구통계학적 배경 질문에 답변하도록 요청받았다(S1 부록 참조).

Participants were interviewed in person (by LG). The ranking was instructed as follows: first, participants were handed the statements printed on cards, in random order, asked to read all statements and to categorise them in three piles: important, unimportant and neutral for their choice of a medical specialty. Next, they were asked to take the statements in the “important” pile, to read them once again, and to select the two statements they felt were the most important for their choice of a medical specialty, and place these on the right-hand side of the score sheet in the two spots below the number 5 (see Fig 1). Next, they were asked to read through the remaining statements of the “important” pile, select the four statements they now felt were the most important, and place them in the next column, below 4. This process was repeated until no statements remained in the pile. Then, a similar procedure was followed for the statements in the “unimportant” pile (then ordering from left to right), and for the “neutral” pile (placed in the remaining spots in the middle). These sorting phases are shown in Fig 2. After finishing the ranking of the statements, participants were asked in a face-to-face interview to explain their ranking and in particular the placement of the statements at the extreme ends, and to answer some demographic background questions in a paper-based questionnaire (see S1 Appendix).

분석.
Analysis

[개인별 요인 분석]은 개인 순위 데이터에서 뚜렷한 진로 방향을 식별하기 위해 사용되었다[23]. 먼저, 참가자에 의한 진술의 순위 사이의 상관 행렬이 계산된다. 두 참가자가 62개의 진술에 유사한 방식으로 순위를 매긴다고 가정하면, 요인 분석(즉, 중심 인자 추출에 이어 varimax 회전[23])이 순위 데이터의 주요 패턴을 식별하기 위해 적용된다. 데이터에서 추출할 패턴(또는 요인) 수의 선택은 다음과 같습니다. 

• 통계적 기준(즉, 고유값 >1 및 패턴과 통계적으로 유의하게 연관된 최소 2명의 참가자) 
  
• 그리고 패턴이 인터뷰의 해당 정성 데이터에 의해 뒷받침되는 일관된 해석을 가지고 있는지 여부.

By-person factor analysis was used to identify distinct career orientations from the individual ranking data [23]. First, a correlation matrix between the rankings of the statements by the participants is computed. Assuming that if two participants rank the 62 statements in a similar way, they have a similar career orientation, factor analysis (i.e., centroid factor extraction followed by varimax rotation [23]) is then applied to identify the main patterns in the ranking data. The selection of the number of patterns (or factors) to extract from the data is based on

• statistical criteria (i.e., Eigenvalue >1 and a minimum of two participants statistically significantly associated with the pattern) and
• whether patterns have a coherent interpretation that is also supported by the corresponding qualitative data from the interviews.

식별된 각 패턴에 대해 데이터의 이상화된 순위가 계산된다. 이는 통계적으로 유의한 패턴(p < 0.0.05)과 체중으로 상관 계수와 관련된 참가자의 순위를 바탕으로 한 62개 문장의 가중 평균 순위이다.
For each identified pattern, an idealized ranking of the data is computed. This is a weighted average ranking of the 62 statements, based on the rankings of participants statistically significantly associated with the pattern (p < .0.05) and their correlation coefficient as weight.

이러한 이상적인 순위는 의대생들 사이에서 뚜렷한 진로 지향으로 해석된다. 각 패턴의 해석은 패턴에서 +5, +4, -4 또는 -5의 점수를 가진 문장과 다른 패턴에서 통계적으로 유의한 다른 점수(p<0.05)를 가진 문장으로 시작한다. 그러나 패턴은 62개의 모든 문장으로 구성되며 궁극적으로 우리의 해석을 주도하는 것은 많은 항목의 상호 관계이다.
These idealized rankings are then interpreted as distinct career orientations among medical students. Interpretation of each pattern starts by the characterising statements, those with a +5, +4, -4 or -5 score in that pattern, and the distinguishing statements, those with a statistically significant different score (p<0.05) in a pattern as compared to the other patterns. However, a pattern consists of all 62 statements and it is the interrelationship of the many items that ultimately drive our interpretation.

마지막으로, 패턴(p < 0.0.05)과 통계적으로 유의미한 참가자로부터의 정성적 인터뷰 데이터(즉, 참가자가 제공한 진술의 순위에 대한 동기)를 사용하여 해석을 검증하고 다듬는다. 이러한 질적 재료에서 선택한 인용문은 패턴의 해석을 입증하는 데 사용됩니다.

Finally, the qualitative interview data (i.e. the motivations for their ranking of the statements provided by participants) from participants statistically significantly associated with the pattern (p < .0.05) are used to verify and refine the interpretations. Selected quotes from these qualitative materials are used to substantiate the interpretations of the patterns.

윤리적 고려사항
Ethical considerations

참가에 앞서, 모든 참가자들에게 연구의 목적에 대해 알려주었다. 사전에 충분한 동의를 얻었다. 참여는 자발적인 것이었다. 참가자들은 이 연구가 의학 과정에서의 진행에 영향을 미치지 않는다는 것을 분명히 알게 되었다. 모든 참가자들은 서면으로 충분한 동의를 했다. 데이터는 기밀로 처리되었으며 네덜란드 데이터 보호 당국의 요구 사항에 따라 처리되었습니다. 이 연구는 네덜란드에서 NVMO 윤리심사위원회(NERB 번호 812)에 의해 승인되었다.
Prior to participation, all participants were informed about the purpose of the study. Informed consent was obtained beforehand. Participation was voluntary. Participants were explicitly informed that this research did not influence their progression at the medical course. All participants gave written informed consent. Data were processed confidentially and were handled according to the requirements of the Dutch data protection authority. This study was approved in the Netherlands by the NVMO Ethical Review Board (NERB number 812).

직업 오리엔테이션 1: 소명으로서의 평생 학습
Career orientation 1: Lifelong learning as a calling

이러한 진로 방향은 1학년, 2학년, 3학년, 4학년 의대생으로 구성된 3명의 남성과 3명의 여성 참가자로 구성된 Q-sorts로 대표되었다. 이러한 진로지향을 가진 학생들은 자신을 발전시킬 기회를 높이 평가한다. (st.44:+4) "그것은 내가 좋아하는 것이다. 계속 배우다. 그래서 그것이 제가 미래의 직업에서 찾고 있는 것이기도 합니다." [R5]. 그들은 연구에 관여하고, 혁신적이고, 가르치는 역할을 맡는 것에 관심이 있으며, 따라서 학업적 세팅이 매력적이라고 생각한다. 그들은 또한 육체적으로 그리고 정신적으로 그들의 일을 처리할 수 있는 능력에 높은 가치를 둔다 (st.6: +5; st.46: +4). "하지만 그것이 당신을 불행하게 만들지 않아야 하고, 정신적으로 대처할 수 있어야 한다." [R16]. 그들의 미래 연구의 중요한 특징은 환자의 삶에 미치는 영향이며(st.16:+5) 대부분의 참가자는 환자와 더 긴 관계를 가질 수 있는 환경을 찾는다(st.20:+2; st.36:0). 그들은 흥분과 행동을 가지고 일을 추구하지 않고 또한 매일의 일의 다양성에 거의 중요성을 두지 않는다. 
This career orientation was represented by the Q-sorts of three male and three female participants, being first, second, third and fourth year medical students. Students with this career orientation place high value on opportunities to develop oneself (st.44: +4): “That is what I love to do. Keep learning. So that is also what I’m looking for in a future job” [R5]. They are interested in getting involved in research (st.55: +4), being innovative (st.10: +2) and perhaps taking up a teaching role (st.15: +2), and therefore find the academic work setting appealing (st.11: +2). They also place high value on being able to physically and mentally handle their work (st.6: +5; st.46: +4): “But it shouldn’t make you unhappy, you should be able to cope with it mentally” [R16]. An important feature of their future work is its impact on the lives of patients (st.16: +5) and, most of all participants, they seek a setting where they would be able to have longer relationships with patients (st.20:+2; st.36: 0). They don’t pursue work with excitement and action and also attach little importance to the diversity in daily tasks (st.2: +3; st.43:-1).

이 의대생들은 대부분 자신의 소명을 따르기를 원한다. 따라서, 그들은 직업에 대한 외부 인식(st.38: -5; st.49: -1; st.21; -4; st.50: -4; st.40: -3; st.14: -2; st.13: -4), 일과 삶의 균형(st.28:+1; st.13: -4), 또는 그 직업이 제공하는 학습 부채를 신속하게 갚을 수 있는 가능성(st.41: -5:)에 대해 다른 사람들보다 덜 우려한다."그렇게 서두를 필요는 없습니다. 조만간 그렇게 될 것입니다. 하지만 서두를 필요는 없습니다.  

These medical students mostly want to follow their calling (st.51; +4). Accordingly, they are concerned less than others with external recognition for their job (st.38: -5; st.49: -1; st.21; -4; st.50: -4; st.40: -3; st.14: -2; st.13: -4), work-life balance (st.28:+1), or the possibility the job provides to pay off their study debt swiftly (st.41: -5): “Look, that loan has really quite favourable terms, relatively, there’s no hurry as such and yes sooner or later it’ll come to it, but there’s no hurry” [R5].

직업 오리엔테이션 2: 일과 삶의 균형
Career orientation 2: Work-life balance

이번 진로 오리엔테이션은 여성 9명, 남성 1명 등 10명이 참가했으며, 의대 2학년생부터 6학년생까지 다양했다. 이러한 진로지향을 가진 의대생들도 자신의 소명을 따르는 것이 중요하다고 생각하지만(st.51:+2) 무엇보다도 일과 삶의 균형과 관련된 측면을 강조한다. 그들의 미래의 직업을 그들의 사생활에 대한 생각과 일치시키는 것은 그들에게 가장 중요한 측면이다. (st.28; +5): "나중에 저는 일뿐만 아니라 집에서만 행복했으면 좋겠고, 그래서 두 사람이 잘 어울리는 것이 저에게 중요합니다." [R8]. 따라서, 그들은 직장까지의 거리(st.1:0), 교육직을 얻기 위해 필요한 시간과 노력(st.12:+2) 그리고 파트타임으로 일할 기회(st.39:+2)와 같은 직업적 측면을 매우 중요하게 여긴다. 

This career orientation was represented by 10 participants, nine female and one male, and they varied from second to sixth year medical student. Although medical students with this career orientation also find it important to follow their calling (st.51: +2), they most of all emphasise aspects that are associated with work-life balance. To match their future job with their ideas of their private life is the most important aspect to them. (st.28; +5): “Later on I would just like to be happy at home and not only at work, so it is important to me that the two go well together” [R8]. Accordingly, they attach high importance to job aspects like distance to work (st.1: 0), time and effort needed for obtaining a training position (st.12: +2), and opportunities to work part-time (st.39: +2).

또한 관리 가능한 작업량(st.45: +3)을 선호하며, 특히 모든 참가자는 작업에서의 일상적인 작업(st.61: -1)을 염두에 두는 것으로 보인다. 그들이 정말로 관심을 갖는 일의 또 다른 측면은 그 일이 그들의 자질에 맞는지 여부이다(st.57:+5). 이들은 관리 또는 리더십 역할을 맡거나(st.9: -2; st.21: -4), 혁신적이거나(st.10:0), 최신 기술 도구(st.32: -5)에 별로 관심이 없습니다. 
They also prefer a manageable workload (st.45: +3) and, least of all participants, seem to mind routine in work (st.61: -1). Another aspect of work they really care about is whether the work suits their qualities (st.57:+5). They are not very interested in taking up a management or leadership role (st.9: -2; st.21: -4), or being innovative (st.10: 0) or working with the newest technical instruments (st.32: -5).

다른 패턴(41:-3; 17:+3)과 비교할 때, 이러한 관점에서 재정 및 직업 안전이 더 중요한 것으로 보입니다. "…결국 당신은 실제로 사용할 수 있고 궁극적으로 당신에게 일자리를 얻을 수 있습니다." [R7]. 
Financial and job security seem to be of greater importance to students in this viewpoint when compared to the other patterns (41:-3; 17: +3): “…at the end of the day you want to do an education you can actually use and ultimately gets you a job” [R7].

첫 번째 직업 오리엔테이션을 받은 의대생들처럼, 그들은 자신의 직업에 대한 외부 인정을 거의 중요하지 않게 여긴다(st.38: -4; st.49: -2; st.21: -4; st.50: -5; st.40: -3; st.14: -2; st.31: -3). 
Like medical students with the first career orientation, they perceive external recognition with regard to their job as of little importance (st.38: -4; st.49: -2; st.21: -4; st.50: -5; st.40: -3; st.14: -2; st.31: -3).

진로 오리엔테이션 3: 성취도 및 인정
Career orientation 3: Achievement and recognition

이 직업 오리엔테이션은 의대 1학년, 4학년, 5학년 남학생 3명과 여학생 2명으로 대표되었다. 이 직업 오리엔테이션에서는 소명을 따르는 것이 아니라 그들의 자질에 맞는 직업을 찾는 것이 더 중요합니다. 그리고 일상 업무에서 충분한 다양성(st.2: +5)과 흥분을 제공할 것입니다. 이 학생들은 일상적인 일을 별로 좋아하지 않습니다(st.61:-5). "글쎄요, 제가 생각하는 것은 제가 신경 쓰지 않는 것입니다. 정말 일상적인 일이고 제가 신경 쓰는 것과는 정반대이고, 다양하고 흥미진진합니다." [R10] 
This career orientation was represented by the sorts of three male and two female students, which were first, fourth and fifth year medical students. In this career orientation it is less about following a calling (st.51: +2) but more about finding a job that fits with their qualities (st.57: +5) and will provide sufficient diversity (st.2: +5) and excitement (st.43: +4) in day-to-day work. These students do not care for much routine work (st.61:-5): “Well, you know, what strikes me is something I don’t care about, that it is really routine and quite opposite to what I do care about, that it is diverse and exciting as well” [R10].

이러한 의대생들에게 사회적 영향을 주고(st.7: +3) 그들의 업적에 자부심을 가질 수 있는 것이 중요하다(st.59: +4): "내 경력을 자랑스러워하고, 그것에 대해 좋게 느껴라. 의학분야가 아니더라도, 저는 그저 제가 하는 일을 즐기고, 자랑스러워하고, 잘하고 싶습니다. 왜냐하면 그것이 저에게 만족감을 줄 것이기 때문입니다." [R9] 하지만, 그들이 다른 사람들로부터 인정받는 것(st.14:+1;st.58:0)과 감탄하는 것(st.40:+1)을 얻는 것 또한 중요하다; 그들의 부모와 가까운 사람들(st.40:+1).38:0; 성 49:0), 그러나 사회로부터도 (성 14:+1). 다른 사람들보다, 이러한 의대생들은 직업 자율성을 높이 평가하고, 또래들보다 (st.13: -1) 더 뛰어나고, 관리나 지도적 역할을 맡는 것에 어느 정도 관심을 가질 것이다(st.9: +1; st.21: -1) 그들은 다른 사람들보다 학문적 의학(st.11: -2)에 종사하는 것을 목표로 하고 있으며, 훈련 직책을 얻는 데 필요한 시간과 노력(st.12: -4), 레지던스의 위치(st.1: -3), 파트타임(st.39: -3), 직업 안정성(st.17:0) 또는 관리 가능한 업무량(st.45:-1)과 같은 측면에는 거의 관심이 없다. 그들에게는 짧은 레지던트 교육 프로그램(st.35:-5)이 가장 흥미롭지 않았다. 

For these medical students it is important that they have societal impact (st.7: +3) and can be proud of their achievements (st.59: +4): “Be proud of my career, just feel good about it. Even if it wouldn’t be in medicine, I just want to enjoy the work I do, be proud of it, be good at it, ‘cause that is what would give me satisfaction” [R9]. However, it is also important that they gain recognition (st.14:+1; st.58: 0) and admiration (st.40: +1) from others; their parents and people close to them(st.38: 0; st.49: 0), but also from society (st.14: +1). More than others, these medical students appreciate job autonomy (st.60: +2; st.52; +1), would not mind to outperform their peers (st.13: -1) and have some interest in taking up a management or leadership role (st.9: +1; st.21: -1). Less than others they aim for work in academic medicine (st.11: -2) and they are little concerned with aspects like the time and effort needed for getting in a training position (st.12: -4), the location of the residency (st.1: -3), the possibility to work part-time (st.39: -3), job security (st.17:0) or a manageable workload (st.45: -1). Of least interest to them was a short residency training program (st.35: -5).

Introduction: In pursuing optimal health care, an adequate medical workforce is crucial. However, many countries are struggling with a misalignment of students' specialty preferences and societal needs regarding the future medical workforce. In order to bridge this gap, it is relevant to gain a better understanding of the medical career choice processes. We explored career orientations among medical students in the Netherlands and their implications for future career choices.

Methods: We used Q-methodology, a hybrid qualitative-quantitative method, to explore career orientations of medical students. Medical students from two universities in the Netherlands, varying in year of progression of medical school, ranked 62 statements with regard to importance for their future career choice. Participants explained their ranking in an interview and completed a questionnaire regarding demographics. Using by-person factor analysis we identified groups of individuals with similar orientations.

Results: Twenty-four students participated in this study, resulting in three distinct orientations towards future careers: a first career orientation that highly values lifelong self-development; a second that values work-life balance, and a third that was more concerned with achievement and recognition of their work.

Conclusion: Medical students' career orientations differed in the importance of challenge, work-life balance, and need for recognition. This knowledge can help to design interventions to shift career choices of medical students closer towards future needs in society. Offering career coaching to students that challenges them to explore and prioritise their values, needs and motivations, for example using the materials form this study as a tool, and stimulates them to consider specialties accordingly, could be a promising strategy for guiding students to more long-term satisfying careers.

Problem: Learners who underperform on standardized tests are common throughout all levels of medical education and require considerable faculty time and effort to remediate. Current methods for remediating test-taking difficulties are typically not grounded in educational theory or supported by high-quality evidence.

Approach: A test-taking assessment was developed based on self-regulated learning (SRL) microanalytic assessment and training and used during academic year 2012-2013. This method assesses the SRL subprocesses of strategic planning, self-monitoring, causal attributions, and adaptive inferences during the educational task of answering test questions. The method was designed for one-on-one use by teacher and learner, and for learner self-assessment and practice.

Outcomes: At one academic institution, this method was used to categorize learners into struggling test-taker subtypes which correspond to deficiencies in the SRL subprocesses outlined above. A learning plan based on the SRL deficiency was developed for each struggling test-taker subtype. In a small number of internal medicine residents with low in-training examination scores, use of this method yielded improvements in 2013 in-training examination score that doubled the expected improvement based on historical averages.

Next steps: This method is a novel application of SRL theory to a commonly encountered problem in medical education: the learner who performs poorly on tests. Large-scale, multicenter studies of medical learners at a variety of training levels and program types are needed to determine the effectiveness and generalizability of this intervention.

연구 프로젝트의 목적
Aim of the research project

우리는 두 가지 목표를 추구했다.

• 우선, 학생의 SDL을 [의학 교육의 관점]에서 소그룹 학습으로 설명하고 싶다고 생각하고 있습니다.
• 둘째, [그룹 역학]이 소규모 그룹 학습에서 SDL 행동을 어떻게 방해하거나 촉진하는지 알아보는 것을 목표로 했습니다.

We pursued two aims.

• First, we wanted to describe students’ SDL in small group learning, in the context of medical education.
• Second, we aimed to explore how group dynamics impedes or promotes SDL behaviour in small group learning.

맥락
Context

본 연구에서는 네덜란드 Nijmegen의 Radboudumc에서 [의학 및 생물의학 전공 1학년 학생들이 8개월 동안 팀을 이루어 건강(관리) 문제를 식별하고 정의하며 이를 위한 혁신적인 솔루션을 개발]하는 이른바 '혁신 프로젝트'의 맥락에서 SDL을 조사하기로 선택했습니다. 그러기 위해서는 혁신 프로젝트가 실제 상황과 매우 유사하도록 하는 분야(의사, 환자, 업계, 의료 관리 등)의 이해관계자와 협력해야 합니다. 중요한 것은 프로젝트 과제가 사전에 정의된 세부 가이드라인 없이 제공된다는 것입니다. 학생은 자신의 프로젝트를 관리하고 학습 프로세스를 지시합니다. 이 설정은 그룹 작업, 목표 설정, 감시가 장기간에 걸쳐 필요하기 때문에 그룹별로 SDL에 대한 조사에 적합합니다.
In this study, we choose to investigate SDL in the context of the so-called ‘Innovation project’, where first year students of medicine and biomedical sciences of the Radboudumc, Nijmegen, the Netherlands, over an 8-month period work in teams to identify and define a health(care) problem, and develop an innovative solution to it. To be able to do so, they need to engage with stakeholders in the field (physicians, patients, industry, healthcare management, etcetera), which ensures that the Innovation project closely resemble an authentic situation. Importantly, the project assignment comes without detailed predefined guidelines; students manage their own projects and hence direct their own learning processes. This setting is suitable for our research on SDL in groups, because it requires group work, goal setting and monitoring over a long period of time.

팀은 4~6명의 학생으로 구성되며, 팀의 45%는 의대생과 생물의대생이 혼합된 팀입니다. 팀은 일반적으로 자신의 이상과 아이디어를 바탕으로 혁신 주제를 자유롭게 선택하거나 친척이나 친구의 건강 문제에 직면할 수 있습니다. 예를 들어, 한 그룹의 학생들이 아이들이 천식 약을 기억하도록 돕는 게임을 고안했다. 또 다른 팀은 안약을 필요로 하는 환자들이 디스펜서를 더 잘 배치하고 복용량을 조절할 수 있도록 도와주는 장치를 고안했다. 이들은 실제 파트너와 협업하고 이해관계자 인터뷰를 기반으로 컨텍스트 분석을 수행하며 혁신적인 아이디어의 일부를 실현하려고 합니다. 학생들은 SDL 전략을 사용할 필요가 있습니다. 자신의 경험과 효과를 반영하고 이를 바탕으로 프로젝트 전체의 장기적인 목표와 관련된 미팅의 학습 목표를 특정해야 한다. 결국, 각 팀은 프로토타입 또는 모델의 형태로 혁신을 제공합니다. 또한, 그들은 자신의 혁신을 설명하는 그룹 보고서를 작성하고, 자신의 학습 과정과 그룹 과정에 대한 성찰 에세이를 개별적으로 작성합니다. 프로젝트의 최종 성적은 보고서와 에세이 결과에 기초한다.
Teams consist of 4–6 students and 45% of the teams are mixed teams with both medical and biomedical students. Teams are free to choose a topic for innovation, which is commonly based on their own ideals and ideas, or encounters with health(care) problems of relatives or friends. For example, a group of students designed a game to help children remember their asthma medication. Another team designed a device to help patients who need eye medication to better position the dispenser and control the dosage. They collaborate with real-world partners, perform a context analysis based on stakeholder interviews and try to realize part of their innovative idea. Students need to use SDL strategies: they reflect on their experiences and effectiveness, and on this basis they identify learning goals for the meetings that relate to their long-term goals for the entire project. In the end, each team delivers an innovation in the form of a prototype or model. In addition, they write a group report explaining their innovation, and they individually write a reflection essay about their own learning process and the group process. The final grade for the project is based on the results of both the report and the essay.

학생들은 자신들의 주제에 대해 어느 정도 전문 지식을 가진 교수자, 소위 '혁신-전문가'로부터 지도를 받을 수 있습니다. 또한 최종 프로젝트와 그룹 프로세스를 코스 마지막에 채점합니다. 그 다음, 학생들은 현실 세계에서 '고객'을 찾습니다. 즉, 혁신 분야의 기업 또는 개인 이해관계자이기 때문에 학생들에게 혁신 개발을 알리거나 도울 수 있습니다. 프로젝트 기간 동안 학생들을 지도하기 위해 과정 내내 한 달에 한 번 워크샵에 참여할 수 있습니다. 워크숍 내용은 다음과 같습니다. 팀워크(Belbin 2014), 이해관계자 분석, 인터뷰 스킬 및 프로젝트 관리에 있어 역할을 이해하는 데 도움이 되는 Belbin 역할.

Guidance is available from teachers with some expertise on the student’s topic, the so-called ‘Innovation-experts’, whom students can approach for support. This person also grades their final project and the group process at the end of the course. Next to that, the students find a ‘Customer’ in the real world: a company or individual stakeholder in the area of the innovation and thus can inform or help the students with the development of their innovation. To guide the students during the project, they can participate in workshops once a month throughout the course. Workshops include: Belbin roles to help understand roles in teamwork (Belbin 2014), stakeholder analysis, interviewing skills, and project management.

참가자 선정 및 모집
Selection and recruitment of participants

2016년 11월 이노베이션 프로젝트 과정의 첫 번째 워크숍에서 우리는 모든 학생을 이 연구에 참여시키고 8개월 프로젝트 기간 동안 팀 미팅에서 관찰하도록 초대하였습니다. 학생 그룹을 집중적으로 추적하고 싶었기 때문에 연구자가 대부분의 학생 팀 회의에 참석할 수 있도록 최소 3개 팀, 최대 7개 팀을 포함시키는 것을 목표로 했습니다. 학생들은 그룹 전체가 연구에 참여하기로 동의해야만 모집되었다. 그들은 사전동의서를 작성했고 첫 번째 작성자의 연락처를 받았다. 그 후 학생들은 이메일이나 WhatsApp을 통해 첫 번째 작가에게 연락하여 그들의 약속에 대한 최신 정보를 계속 전달했습니다. 첫 번째 저자가 한 달 넘게 학생들로부터 소식을 듣지 못하자, 그들이 여전히 연구 프로젝트에 참여하고 싶은지에 대한 질문과 함께 독촉장이 보내졌다. 학생들의 그룹 미팅에서, 첫 번째 작가는 대화를 녹음하고 짧은 메모를 했다. 그룹 회의의 녹화 허가를 미리 요청하고 각 녹화 시작은 항상 학생들에게 명시적으로 언급되었습니다. 이 연구의 프로토콜은 네덜란드 의학 교육 협회(NVMO)의 윤리 검토 위원회(파일 번호 677)에 의해 승인되었다.

During the first workshop of the Innovation project course in November 2016, we invited all students to participate in this study and be observed during team meetings throughout the 8-month project. We wanted to intensively follow the groups of students, so to make sure a researcher would be able to attend most meetings of the student teams, we aimed to include at least three teams and a maximum of seven teams. Students were only recruited if the entire group agreed to participate in the study. They filled out an informed consent form and received contact information of the first author. Students then approached the first author via e-mail or WhatsApp, to keep her updated about their appointments. When the first author did not hear from the students for more than a month, a reminder was sent along with the question whether they still wanted to participate in the research project. During the group meetings of the students, the first author made audio recordings of the conversation and kept short notes. Permission to make recordings of the group meetings was asked beforehand and the start of each recording was always explicitly mentioned to the students. The protocol for this study was approved by the ethical review board of the Netherlands Association for Medical Education (NVMO), file number 677.

데이터 수집
Data collection

이 연구는 오디오 녹음에 기초한 정성적 연구로 설정되었다. 이 연구는 Giacomini와 Cook(2000)의 질적 연구에 대한 지침을 따랐다. 이전 연구에 따라 대부분의 학습 행동이 명시적으로 발생할 것으로 예상하였다(Chi 2009). 그룹 프로세스의 일부 측면은 의견 불일치를 나타내는 눈살을 찌푸리거나 반성을 위해 잠시 멈출 시간을 나타내는 웅얼거림처럼 구두로 나타나지 않을 수 있기 때문에 첫 번째 저자는 추가적인 관찰을 하기 위해 항상 동석했다. 오디오 녹음은 분석 전에 녹음되었습니다(단절과 망설임 포함). 학생 이름이 숫자 식별자로 대체되었습니다. 학생들의 목소리는 녹취록 전반에 걸쳐 각각의 학생들이 동일한 식별자를 가지고 있는지 확인하기 위해 추적되었다. 이렇게 하면 그룹뿐만 아니라 그룹 내 개별 학생도 시간이 지남에 따라 그룹 역학에서 패턴을 볼 수 있고 학생들이 역할을 수행하거나 역할을 바꾸는 것을 볼 수 있습니다.
This research was set up as a qualitative study, based on audio recordings. This study followed the guidelines for qualitative research of Giacomini and Cook (2000). Following previous research, we expected most of the learning behaviour to occur explicitly (Chi 2009). Since some aspects of the group process may not manifest themselves verbally, such as a frown indicating disagreement or a hum indicating a moment to pause for reflection, the first author was always present to make additional observations. The audio recordings were transcribed before analysis, including breaks and hesitations. Student names were replaced by numeric identifiers. The students’ voices were traced to make sure each student had the same identifier throughout the transcripts. This way, we could follow not only the group, but also the individual student in the group over time, to see patterns in group dynamics and students taking on roles or changing roles.

학생 팀은 평균 2주에 한 번 만났고, 특히 프로젝트 시작과 종료에 한 주에 두 번 만난 팀도 있었습니다. 회의 중에 학생들은 프로젝트의 진행 상황에 대해 토론하고, 정보를 공유하고, 계획을 세우고, 약속을 정하고, 아이디어를 실험하고, 보고서를 쓰고, 서로를 알아가는 데 시간을 보내고, 불평하고, 어려움을 공유하는 등 여러 활동을 할 수 있다. 우리는 총 39회의 학생회의를 기록했고, 이는 기록된 시간의 23시간 이상에 달했다. 학생들은 몇 번 더 회의를 가졌지만 연구원이 참석하지 못하거나 다른 그룹의 회의가 겹치는 시간이었습니다. 간섭을 최소화하기 위하여, 우리는 첫 번째 저자(TW)만 관찰을 하도록 결정했다.

The student teams met once every 2 weeks on average, with short peak moments when some of the teams met two times in 1 week, especially in the beginning and at the end of the project. During the meetings, students could have several activities: they may discuss the progress of the project, share information, make plans, set appointments, experiment with ideas, write on their report, spend time getting to know each other, complain, share hardship, etc. We recorded 39 meetings of the students in total, which amounted to over 23 h of recorded time. The students had some more meetings, but those were on times when the researcher could not be present or the meeting of different groups was overlapping. For reasons of being minimally intrusive, we decided to let only the first author (TW) make the observations.

데이터 분석 및 템플릿 개발
Data analysis and template development

템플릿 분석을 사용하여 데이터를 코드화하고 구조화함으로써 보충 부록에 표시된 템플릿으로 이어졌습니다. 템플릿 분석은 다른 인식론 및 온톨로지에 적용할 수 있는 방법입니다. [사회적 구성주의 패러다임]이 결과를 체계화하기 위해 사용되었습니다. 이러한 관점에서 SDL은 세계를 이해하기 위한 수단으로서 개념화되어 있으며, 세계에 관한 지식을 구축하고 있습니다(Li et al. 2010). 이 인식론과 우리의 연구 목적에 부합하는 주요 관심사는 사회적 맥락이 SDL의 발전을 어떻게 구성하느냐이다. 이는 개별 학습 행동 대신 대화에서 학생과 에피소드 간의 상호작용에 초점을 맞췄다는 것을 의미한다. 참가자가 대화할 때 데이터가 수집되었기 때문에 코드는 이러한 상호작용을 반영합니다. 예를 들어, '정서적 가이드'는 누군가의 감정 표현에 대한 반응을 반영하는 코드이며, '계획과 실행'은 개인이 아닌 그룹 토론에서 이루어졌다.
We used template analysis to code and structure the data (Waring and Wainwright 2008; Brooks and King 2012), which led to the template displayed in Supplementary Appendix. Template analysis is a method that can be adapted to different epistemology and ontology (Braun and Clarke 2006; Brooks et al. 2015). A social constructivism paradigm was employed to frame the results. From this point of view, SDL is conceptualized as a means to come to an understanding of the world, while constructing knowledge in relation to this world (Li et al. 2010). Given this epistemology and in line with our research aims, a major concern is how the social context constitutes the development of SDL (Thoutenhoofd and Pirrie 2015). This means that the focus was on interactions between students and episodes in their conversation, instead of individual learning behaviour. Since data were collected when the participants were in a conversation, the codes reflect this interaction. For instance, ‘Emotional guidance’ is a code reflecting a reaction on someone’s expression of emotion, and ‘Planning and implementation’ took place in group discussions, not individually.

템플릿의 첫 번째 버전은 1년 전에 동일한 코스의 별도의 파일럿 연구에서 처음 개발되었으며, 이는 현재 연구와 유사하며 혁신 프로젝트의 맥락에서 수행되었습니다. 이 템플릿은 처음에 3개의 트랜스크립트의 오픈 코딩에 의해 작성되었습니다. 그런 다음 다양한 설문지(MSLQ, SDL-SRS, SDLRS, PRO-SDL; 문학: Brookfield (1995), de Groot et al. (2014), Lloyd-Jones 및 Turner (2004)에서 SDL 및 관련 학습 행동의 정의를 인용하여 문헌에 맞게 조정했다. 그 결과 43개의 코드로 구성된 초기 코드북이 생성되었습니다. 
A first version of the template was initially developed in a separate pilot study in the same course 1 year earlier, which was similar to the present study and conducted in the context of the Innovation project as well. This template was initially constructed through open coding of three transcripts. These codes were then aligned to literature by taking the definitions of SDL and related learning behaviour from different questionnaires: MSLQ (Pintrich et al. 1993), SDL-SRS (Fisher and King 2010), SDLRS (Guglielmino 1978), PRO-SDL (Stockdale and Brockett 2011); and literature: Brookfield (1995), de Groot et al. (2014), Lloyd-Jones and Hak (2004), Meyer and Turner (2002), Redwood (2010). This resulted in an initial codebook of 43 codes.

다음 단계에서는 현재 프로젝트의 대본을 읽고 성찰성 노트를 보관했습니다. 데이터에 익숙해진 후, 두 명의 연구자(TW와 동료는 학력이 있지만 프로젝트에 공식적으로 참여하지 않은 사람)가 템플릿을 사용하여 4개의 트랜스크립트를 코드화했다. 동기 부여 또는 목표 설정 행동과 관련된 인용문에 대해 차이가 발생했다. 예를 들어, 이러한 차이에 대한 논의는 학생들이 프로젝트나 다른 학습 목표를 완수할 수 있을지 고민한다는 것을 인정하는 '자기 개념' 코드를 추가하는 결과를 낳았다. 다른 예로는 일부 코드의 삭제 또는 조정이 있습니다. 예를 들어, 우리는 '배움의 사랑'을 사용하기로 하고, 밀접하게 연관된 '배움의 욕구'를 없앴다. 다음으로 템플릿은 TW, JK 및 GW에 의해 3개의 추가 트랜스크립트에 사용되었습니다. 코딩의 나머지 차이점을 논의하여 해결하였다(TW, JK, RR, GW). 이를 통해 템플릿의 최종 버전이 생성되었습니다. 그룹 회의의 39개의 모든 대화록은 이 템플릿을 사용하여 코드화되었습니다.
In the next step, the transcripts of the current project were read, and reflexivity notes were kept. After becoming familiar with the data, two researchers (TW and a colleague with an educational background but no formal affiliation to the project) coded four transcripts by use of the template. Differences occurred for quotes relating to motivation or goal-setting behaviour. Discussion about these differences resulted in, for instance, adding a code ‘Self-concept’ to acknowledge that students contemplated whether they would be able to complete the project or other learning goals. Another example is removal or adjustments of some codes: We decided, for instance, to use ‘Love of learning’ and removed the closely related ‘Desire for learning’. Next, the template was used by TW, JK and GW for three additional transcripts. Remaining differences in coding were discussed and settled (TW, JK, RR, GW). This led to the final version of the template. All 39 transcripts of group meetings were coded using this template.

Atlas.ti® 소프트웨어 버전 8을 사용하여 스크립트를 코드화하고 분석했습니다. Atlas.ti에서 프로세스를 보다 잘 이해하기 위해 시퀀싱 분석을 실시하였습니다. 이 방법은 여러 코드 간의 가장 중요한 관계를 이해하는 데 도움이 됩니다. 이 그룹의 프로젝트 보고서 최종 성적, 반영 보고서 및 과정의 최종 성적도 고려되었습니다.
We used Atlas.ti® software version 8 to code and analyse the transcripts. To understand more about the processes, we conducted a sequencing analysis in Atlas.ti. This method helps to understand what the most prominent relations between the different codes are. The group’s final grades for the project report, the reflection report and final grade for the course were also taken into account.

성찰성
Reflexivity

저자인 JK, RR, GW, TW는 모두 교사로서 이노베이션 프로젝트에서 적극적인 역할을 했으며, 코스의 이념에 공감했습니다. JK, RR 및 GW에게 이노베이션 프로젝트는 프로젝트가 (바이오) 의학 커리큘럼의 필수적인 부분이 되기 전에 소규모 환경에서 시범적으로 시행한 아이디어였습니다. 학생 전체로 확대하는 것은 고객이 설정한 과제에서 벗어나는 등 일부 타협을 수반했지만, 그들의 약속에는 영향을 미치지 않았습니다. AJ는 연구원으로서 이노베이션 프로젝트에 관여하지 않았지만, 더 큰 규모의 연구 프로젝트에 관여했습니다. 사회적 구성주의적 패러다임은 의미 형성 과정에서 우리를 인도했다. 여기에는 대화록의 상호 작용과 대화록에 부여되는 의미가 모두 함께 만들어졌다고 생각하는 것도 포함됩니다. 환경과 학습자는 서로 영향을 미치지만, 연구자와 그 환경 또한 서로 영향을 끼친다. 이 의미가 어떻게 구성되는지에 대한 이해를 돕기 위해, 우리는 대화록의 일부를 보여주고 어떻게 해석했는지 설명하는 것이 중요하다고 생각합니다.

The authors JK, RR, GW and TW all had an active role in the Innovation project as teachers and sympathized with the ideology of the course. For JK, RR and GW, the Innovation project was an idea that they had piloted in a smaller setting, before the project became an integral part of the (bio)medical curricula. Scaling up to the entire student population did involve some compromises, such as departing from assignments set by clients, but that did not influence their commitment. AJ as researcher was not involved in the Innovation project but affiliated with the larger research project. A social constructivist paradigm guided us in the process of meaning-making. This includes that we think that both the interactions in the transcripts, as well as the meaning we give to the transcripts, is co-created. The environment and learner influence each other, but also the researcher and his/her environment influence each other. To give insight into how this meaning is constructed, we think it is important to show parts of the transcripts and explain how we interpreted this.

참가자 및 수집된 데이터
Participants and gathered data

세 그룹의 학생들이 이 프로젝트에 참여하기로 합의했다. 그들은 회의를 할 때 연구원에게 연락했다. 그룹에 대한 설명은 표 1에서 찾을 수 있습니다. 이들 3개 그룹 중 2개 그룹은 생물의학과 의대생 모두 혼성팀이었다. 한 팀은 의대생으로만 구성되었다. 남학생 비율(26%)과 의대생 비율(66.6%)은 남학생 30%, 의대생 65%로 학생 수가 많은 것과 비슷했다.

Three groups of students agreed to be part of this project. They contacted the researcher when they had a meeting. A description of the groups can be found in Table 1. Two out of the three groups were mixed teams with both students from biomedical sciences and medicine. One team consisted of only medicine students. The percentage of males (26%) and the percentage of medicine students (66,6%) was comparable to the larger student population with 30% males and 65% students of medicine.

총 39개의 스크립트를 코드화하여 템플릿으로 텍스트의 약 34.19%를 코드화할 수 있었습니다. 텍스트의 다른 부분은 전날 학생들과 있었던 일 또는 다음날 일어날 일 등 잡담을 포함하고 있었다. 그들이 이야기할 주제는 음식, 친구, 대중교통 문제, 또는 프로젝트, 팀, 그리고 학습과 관련이 없는 것으로 보이는 다른 주제들이다. 학습과 관련된 토론(예: 다른 과정이나 바쁜 일정에 대한 토론)은 코드화되었습니다. 표 2는 그룹이 얼마나 자주 관찰되었는지를 요약한 것이다.

We coded 39 transcripts in total and could code about 34.19% of the text with our template. The other parts of the text involved small talk: things that happened with the students the day before or what would happen the next day(s). Topics they would talk about were food, friends, problems with public transport, or other topics that evidently were not related to the project, the team, and learning in general. Discussions that did relate to learning, e.g., about other courses or their busy schedule, were coded. Table 2 summarizes how often the groups were observed.

게다가, 많은 녹음물이 소셜 토크나 가십을 포함하고 있기 때문에, 학생들은 자유롭게 대화하는 것처럼 보였는데, 녹음물이나 연구원의 존재에 대해 학생들이 매우 경각심을 가졌다면 아마 일어나지 않았을 것이다. 그들은 종종 연구나 연구자의 상태에 대해 묻곤 했지만, 보통 그들의 대화에 연구자를 끌어들이지 않았다. 성적표 1에서 볼 수 있듯이, 학생들은 서로 녹음에 대해 상기시켰습니다.

Furthermore, students appeared to have talked freely as many recordings involved social talk or gossip, which would probably not occur had the students been highly alert about the recordings or the presence of the researcher. They usually did not engage the researcher in their conversations, although sometimes they would ask about the research or how the researcher was doing. At some points students reminded one another or themselves about the recordings, as can be seen in Transcript 1.

소규모 그룹 학습에서의 SDL 설명
Description of SDL in small group learning

첫 번째 연구의 목적은 소규모 그룹 학습의 맥락에서 SDL이 어느 정도 발생하는지를 이해하는 것이었습니다. 템플릿 내 코드의 개요를 표 3에 나타냅니다. 또한 이 표는 코드가 다른 그룹에서 인식된 정도를 나타내며, 각 그룹의 모든 인용에 대한 백분율로 나타냅니다. 템플릿에 대한 자세한 개요는 부록을 참조하십시오. 자기 모니터링, 지식 습득 및 대인 관계가 가장 자주 코드화되었습니다.
The first research aim was to understand the degree to which SDL occurs in the context of small group learning. An overview of the codes in the template is displayed in Table 3. This table also shows the degree to which the codes have been recognized in the different groups, expressed as a percentage of all quotations of each group. A more detailed overview of the template can be found in Supplementary Appendix. Self-monitoring, knowledge acquisition and interpersonal behaviour were coded most often.

그룹 다이내믹스와 SDL
Group dynamics and SDL

두 번째 연구 목표는 소규모 그룹에서 그룹 역학이 SDL을 촉진하거나 방해하는 방법을 이해하는 것이었다. Atlas.ti의 시퀀스 분석에서는 자기 모니터링(예를 들어 무엇을 알아야 합니까?)과 비판적 사고(예를 들어, 그러한 가정이 유효한가요?)가 지식 습득을 유도하는 것으로 자주 나타나지만(예를 들어, 다른 정보 소스를 사용하여 학습하는 등), 책임감에 대해서도 마찬가지다(예를 들어 학생이 뭔가 해야 한다고 느낌). 이러한 관계는 단방향적이지 않다: 학생들은 다른 종류의 행동들 사이를 왔다 갔다 할 수 있다. 예를 들어, 스트레스(감정)의 느낌을 표현하는 것이 그룹 내 학생들이 이에 대해 토론하고 서로 지지하도록 만들어줄 수 있는 반면(대인 행동), 그룹 프로세스에 대한 피드백에 대한 직접적인 질문(대인 행동)은 스트레스나 좌절감(감정)을 공유하는 것으로 이어질 수 있다. SDL의 메카니즘을 특정하기 위한 본 연구의 목적을 고려하여 자기 감시, 지식 습득, 비판적 사고 하에 파악된 그룹 역학이 이러한 학습에 영향을 미치는 관계에 초점을 맞추고 있습니다. 또, SDL에 관해서 개인이 팀에 영향을 주는 메카니즘도 포함했습니다.이 메카니즘에 근거해, 다음의 3개의 메카니즘은 다음과 같습니다.

The second research aim was to understand more about the way group dynamics promote or impede SDL in small groups. The sequencing analysis in Atlas.ti shows many relations, for instance self-monitoring (e.g., what do we need to know?) and critical thinking (e.g., is that assumption valid?) are often seen to induce knowledge acquisition (e.g., using different sources of information to learn), but this is also the case for responsibility (e.g., a student feeling he or she needs to do something). These relations are not unidirectional: students can go back and forth between the different kinds of behaviour. For example, expressing feelings of stress (affect) may lead the students in a group to discuss this and support one another (interpersonal behaviour), whereas direct questions for feedback about the group processes (interpersonal behaviour) may lead to sharing feelings of stress or frustration (affect). In view of the aim of our study to identify mechanisms of SDL, we have focused on relations where group dynamics influenced this kind of learning as captured under self-monitoring, knowledge acquisition, and critical thinking. We also included mechanisms by which the individual had an influence on the team in terms of SDL. On this basis, we have identified three main mechanisms, where:

• [감정]은 [자기 모니터링 또는 책임]으로 이어지는 대인 행동을 유도한다.
• [개방성]이 [비판적 사고]를 유지시킨다.
• [논쟁적 대화]는 [배움을 좌절]시킨다.

1. Affect induces interpersonal behaviour leading to self-monitoring or responsibility
2. Openness sustains critical thinking
3. Disputational talk frustrates learning.

이러한 메카니즘에 대해서는, 이하에 자세하게 설명합니다.

We explain these mechanisms in greater detail below.

영향 및 대인관계 행동
Affect and interpersonal behaviour

학생 집단에서 [감정]은 [스트레스나 분노]의 감정을 표현하는 방식으로 나타나는 경향이 있다. 학생들은 그들이 경험하는 스트레스, 프로젝트의 결과에 대한 두려움, 또는 때때로 어떻게 동기를 잃는지에 대해 이야기함으로써 그룹 내에서 그들의 감정을 드러낸다. 이러한 발언에 대한 반응은 학생 그룹마다 다르며 다양하다. 어떤 그룹에서는, 그 반응은 대부분 개인적인 것이고 누군가의 기분을 좋게 만드는 것을 목표로 한다. 다른 그룹에서는 대부분 학습 과정으로 반응이 향합니다. 통상적으로, [감정]은 SDL 프로세스의 시작을 나타냅니다. 두 가지 방식의 반응은 모두 최종적으로 SDL 동작으로 이어집니다.
Affect tends to show in the groups of students by expressing emotions of stress or anger. Students show their emotions in the group by talking about the stress they experience, their fears about the outcomes of the project, or how they sometimes lose motivation. The reaction to these remarks differs and varies between the groups of students. In some groups, the reaction is mostly personal and targeted at making someone feel better. In other groups, the reaction is mostly directed towards the learning process. Usually affect marks the start of a SDL process, with both kinds of reaction leading to SDL behaviour in the end.

예를 들어, 한 그룹에서 한 학생이 프로젝트에 대한 동기를 유지하는 데 어려움을 겪고 있다고 말합니다. 그녀는 이 프로젝트를 즐기지 않는 반면, 그녀의 동료들은 그것에 열광하기 때문에 이것에 대해 화가 나 있다. 게다가, 그 그룹은 저녁을 함께 먹고 대학 밖에서 만나는 등 꽤 친해졌다. 학생이 자신의 문제에 대해 목소리를 높이면, 그 그룹은 정확히 무슨 일이 일어나고 있는지 탐색함으로써 그 문제를 추적합니다. 그리고 나서 그들은 어떻게 그들이 학생을 도울 수 있는지에 대한 결론에 도달한다. 이렇게 하면 Transcript 2에서 볼 수 있듯이 그룹이 공동 책임을 집니다.

For instance, in one group a student tells that she has trouble staying motivated for the project. She is upset about this, because she does not enjoy the project, whereas her peers are enthusiastic about it. Moreover, the group has become quite close, having dinner together and meeting up outside university. When the student speaks up about her problem, the group follows up on that by exploring what is going on exactly. They then come to a conclusion about how they can help the student. This way the group assumes a shared responsibility, as seen in Transcript 2.

또 다른 예에서, 한 학생은 또한 동기 상실을 언급하고, 마감시한에 의한 압박도 느끼지 않음을 암시한다. 그녀는 또한 의욕이 없는 것에 대해 화가 나 있다. 그녀의 코멘트에도 불구하고, 그녀는 그녀의 어조로 압박감을 전달한다. 그 그룹은 감정을 모방하고 다양한 해결책을 제시함으로써 반응한다. 그런 다음 프로젝트에서 수행할 다음 단계를 결정합니다. 이 경우 동료들의 반응은 개인적인 문제보다는 학습 과정에 초점이 맞춰집니다. 대화 내용은 Transcript 3에 나와 있습니다.

In another example, a student also mentions a loss of motivation, and implies that she misses the pressure from a deadline. She is also upset about not being motivated. Despite her comment, she does convey feelings of pressure in her tone of voice. The group reacts by mimicking the feelings and offering a variety of solutions. They then go on to decide on the next steps to take in the project. In this case, the reaction of the peers is focused on the learning process rather than the personal problem. The conversation is shown in Transcript 3.

개방성이 비판적 사고를 유지하다
Openness sustains critical thinking

두 번째 메커니즘은 [개방성]과 [비판적 사고]를 포함한다. Transcript 4에서 한 학생이 문학 검색 결과를 자신의 주제에 대한 생각과 연관지어 질문하고 정보를 놓치지 않도록 합니다(비판적 사고). 또한 학생들은 그것이 어떨지 상상하고 그것에 대한 몇 가지 생각을 실험하기 위해 개방성과 관련된 발언들을 포함한다. 따라서, 이 대본은 개방성과 비판적 사고가 서로를 어떻게 강화시키는지 보여준다.
The second mechanism involves openness and critical thinking. In Transcript 4, one of the students is questioning the results of their literature search by relating it to her own idea about the topic and trying to make sure they have not missed out on information (critical thinking). It also involves some remarks that relate to openness, as students try to imagine what it would be like and experiment with some thoughts on that. Thus, the transcript shows how openness and critical thinking reinforce each other.

정보의 공유와 다양한 지식의 원천의 결합은 Transcript 5에 나타나 있다. 이것은 [지식 습득과 비판적 사고의 관계]를 예시하고 있으며, [개방성]도 이에 한몫하고 있다. Transcript 5는 비판적 사고를 표현하는 학생을 보여준다. 다른 그룹 구성원의 반응은 지식 습득에서 시작해 개방성으로 변한다.

Sharing information and combining different sources of knowledge is seen in Transcript 5. This exemplifies the relation between knowledge acquisition and critical thinking, and that openness plays a role in this as well. Transcript 5 shows a student expressing critical thinking. The reaction of the other group members starts with knowledge acquisition and turns into openness.

논쟁적 대화는 배움을 좌절시킨다.
Disputational talk frustrates learning

세 번째 메커니즘은 [논쟁적 대화]에 관한 것입니다. 이것은 학습 과정에서 [생각의 선을 멈추는 상호작용]입니다. 학생들은 종종 [교육조직의 문제]를 인식한다. 예를 들어 디지털 학습 환경에 파일을 업로드할 수 없거나, 회의를 준비하려고 할 때 팀원 개개인의 스케줄로는 업로드할 기회가 없습니다. 이는 좌절감을 야기하고 결국 눈앞의 일에 더 이상 집중할 수 없게 될 수 있습니다. 다음 대본은 대화가 계획에서 논쟁적인 대화로 어떻게 흘러가는지를 보여준다. 이 경우 학생들은 해야 할 일의 양에 압도감을 느끼고 시간에 쫓긴다. 학생들은 최종 보고서를 위한 계획을 세우지 않고 피드백 시간을 계획하지도 않습니다.
The third mechanism concerns disputational talk, which is an interaction that stops the line of thinking, in this case, in a learning process. Students often perceive problems with the organization of education. For instance, when they cannot upload a file to the digital learning environment, or when they try to arrange a meeting, but the schedules of the individual team members leave no opportunity to do that. This may result in feelings of frustration and ultimately escalate in not being able to focus on the task at hand anymore. The next transcript illustrates how the conversation goes from planning to disputational talk. In this case, the students feel overwhelmed by the amount of work they need to do and feel time pressure. The students do not come back to planning for the final report, nor to scheduling a feedback moment.

학생들이 좌절감이나 다른 부정적인 감정들에 어떻게 대처할 수 있는가는 또한 그룹에 달려있다. 어떤 학생들은 부정적인 감정을 공유하는 데 유능하고 그 이후에 나아갈 수 있다. 다른 그룹에서는, 개인 차원이나 그룹 차원 중 하나에서 더 깊은 감정이나 사회적 문제가 있을 때, 그들은 상세한 설명을 삼가는 경향이 있다. 학생들은 동료들로부터 통합을 받기도 하지만, 아래 설명과 같이 항상 원인이나 해결책에 대해 논의하지는 않습니다. 이 그룹에서는 스트레스를 받은 학생들이 다른 학생들이 충분히 열심히 공부하지 않거나 프로젝트에 대한 동기부여가 되지 않는다는 생각을 가지고 있었기 때문에 결국 더 심해졌다. 이것은 좌절과 오해로 이어졌다.
How students can cope with frustration or other negative emotions also depends on the group. Some students are competent at sharing negative emotions and can move on after that. In other groups, when it comes to deeper emotional or social problems on either an individual level or group level, they tend to refrain from elaborating. Although students receive some consolidation from their peers, they do not always discuss the causes or solutions, as shown in the transcript below. In this group, it ultimately escalated, because the students that felt stressed had the idea that the other students did not work hard enough or were not motivated for the project. This led to frustration and misunderstanding.

메커니즘
Mechanisms

첫 번째 메커니즘은 [감정]과 [대인관계 기술]이 SDL 행동을 향한 프로세스에서 중요한 역할을 한다는 것을 나타냅니다. 학생들이 해결해야 할 문제의 지표로서 감정을 인식하는 것은 중요하다. 이것은 학습의 중요한 출발점이 되는 이전의 발견과 일치합니다. 현재의 연구는 [감정]이 [자기 모니터링]와 [비판적 사고]의 관점에서 시간을 효과적으로 사용할 수 있다는 것을 보여준다. 이것은 감정과 감정 조절이 자기 조절에 중요하다는 것을 발견함으로써 입증된다. 감정은 또한 내재적 동기 부여와 학습에 필요한 의미를 지닌 사건을 나타낼 수 있다(Boyd 2002; Redwood 등 2010). 하지만 학생 그룹은 이 문제에 대해 다른 방식으로 대처한다는 것을 알게 되었습니다. 일부 그룹은 감정의 신호 전달 기능을 무시했고, 자기조절이나 비판적 사고를 강화하는 측면에서 이득을 얻지 못하였다.
The first mechanism indicates that affect and interpersonal skills play a key role in the process towards SDL behaviour. It is important for students to acknowledge emotions as an indicator of a problem that needs to be solved. This is in line with previous findings that affect is an important starting point for learning (van Woezik et al. 2019). The present study shows that affect can then lead to effective use of the time in terms of self-monitoring and critical thinking. This corroborates with the finding that emotion and emotion regulation are important for self-regulation (Lajoie et al. 2019). Affect may also indicate events that have meaning, which are necessary for intrinsic motivation and learning (Boyd 2002; Redwood et al. 2010). We did find however, that groups of students deal with this in different ways. Some groups may in fact disregard this signalling function of affect and not benefit from in terms of enhancing self-regulation or critical thinking.

우리는 [개방성]이 비판적 사고를 유지하는 데 중요한 역할을 한다는 것을 발견했다. 새로운 관점에서 문제를 비판적으로 성찰하고 가능한 해결책으로 이어질 수 있는 새로운 사고와 정교함을 장려합니다. 게다가, 개방성은 학생들이 집단 사고에 도전할 수 있게 하는데, 이는 비판적 사고에 대한 이전의 연구와 일치한다. 이러한 개방성의 특징은 성장형 마음가짐과 일치하며, 이는 학습이 실수가 문제가 되지 않는 과정으로 짜여진다는 것을 의미합니다. 본 연구에서는 [대인관계 행동]이 이러한 성장 마인드를 확립하는 데 중요할 뿐만 아니라, 그룹 내에서 [개방성과 비판적 사고]를 유지하는 데 중요하다는 것을 발견했다. 이러한 연구결과는 전문적인 팀워크로 확대되며, 이 팀워크에서는 고품질 상호작용이 잘 발달된 커뮤니티에서 보다 비판적으로 성찰적인 대화가 이루어지며(de Groot 등 2014), 팀은 긍정적인 정서적 학습 환경에서 보다 효과적으로 일한다(Jansen 등 2019).

We found that openness plays a role in sustaining critical thinking. It encourages thinking out of the box and elaboration which may lead to new perspectives helping to critically reflect on problems as well as possible solutions. Moreover, openness enables students to challenge groupthink, which is in line with previous studies on critical thinking (de Groot et al. 2014; Koksma et al. 2017). These features of openness are in line with a growth mindset, meaning that learning is framed as a process where mistakes are not problematic (Dweck and Master 2008). In this study, we found that interpersonal behaviour is important for establishing such a growth mindset as well as sustaining openness and critical thinking in groups. These findings extend to professional teamwork, where more critically reflective dialogues take place in well-developed communities with high quality interaction (de Groot et al. 2014), and teams work more effectively with a positive affective learning climate (Jansen et al. 2019).

이 연구에서, [대인관계 행동]은 그룹마다 다른 것처럼 보였다.

• 우리가 관찰한 두 그룹에서는 스트레스나 다른 부정적인 감정에 대한 대화가 질문이나 문제 해결 행동으로 이어졌다.
• 다른 그룹에서는 감정만 피상적으로 논의되었다. 우리는 이 마지막 그룹이 논쟁적인 대화로 더 자주 후퇴하는 것을 보았다.

여기서 [그룹 응집력group cohesion]은 중요한 것으로 보인다: 서로 개인적으로 접근하고 대학 밖에서 만나는 학생들은 감정을 공유하고 피드백을 주고 받으며 비판적인 사고를 할 수 있는 안전한 환경을 구축한다. 이전 연구들은 그룹 응집력이 학습 성과에 중요한 영향을 미친다는 것을 보여주었다. 실제로 비치보드 외 연구진(2011)은 동료와 교사와의 관계성relatedness이 비판적 사고에 긍정적인 영향을 미친다는 것을 보여주고 있다. 따라서 본 연구를 바탕으로 교사들에게 그룹의 관계성relatedness이나 결속을 촉진하는 데 투자할 것을 제안한다. 우리는 다른 연구를 통해 선생님들이 프로젝트의 내용뿐만 아니라 그룹 프로세스 레벨에 대한 성찰을 자극함으로써 그렇게 할 수 있다는 것을 알고 있습니다.

In this study, interpersonal behaviour seemed to vary between the groups.

• In two of the groups we observed, conversations about stress or other negative emotions led to asking questions and problem-solving behaviour.
• In the other group, the emotions were only discussed superficially. We saw that this last group fell back to disputational talk more often.

Group cohesion appears to be key here: students who approach one another more personally and meet outside university establish a safe environment with room for sharing emotions, giving and receiving feedback, and critical thinking. Previous studies have shown that group cohesion indeed has an important influence on learning outcomes (Beachboard et al. 2011; Hommes et al. 2014). In fact, Beachboard et al. (2011) show that relatedness to both peers and teachers has a positive influence on critical thinking. Based on the present study, we therefore suggest that teachers invest in stimulating relatedness or cohesion in the groups. We know from other research that teachers could do so by stimulating (guided) reflection on the group process level as well as on the contents of the project (Jansen et al. 2019).

[대인관계 행동]의 또 다른 긍정적인 효과는 커리큘럼에서 [조직 문제에 대한 논쟁적인 대화]에 대항하는 데 도움이 될 수 있다는 것이다. 우리는 학생들이 이러한 조직적인 문제에 대해 이야기하는 데 얼마나 많은 시간을 할애하고 있고, 이러한 문제들이 그들의 학습을 방해하는 방식을 보고 놀랐다. 조직 문제로 인해 스트레스가 더 높은 상황에서, 학생들은 더 산만하거나 부정적인 상호작용을 보일 가능성이 더 높은 것으로 보인다. 이것에 의해, SDL 의 동작이 억제되어 이전의 조사와 일치합니다(Magno 2010). 그러나 한 그룹은 감정 공유와 반사성을 기반으로 학습 행동에 대한 잠재적 위협을 완화하는 데 성공했습니다. 다른 그룹은 더 적은 범위로 그렇게 했다. 이러한 효과는 [적극적으로 경청하고 판단을 보류하는 것]이 팀의 문제를 가장 효과적으로 해결하는 데 도움이 된다고 주장하는 샤인의 대화 이론theory on dialogue과 일치한다(Schein 2003).
Another positive effect of interpersonal behaviour is that it may help to counteract disputational talk about organizational problems in the curriculum. We were surprised to see how much time students spent on talking about such organizational problems and the way these interfered with their learning. In situations with higher stress due to organizational issues, students appear more likely to be distracted or show negative interactions. This inhibits SDL behaviour, which is in line with earlier research (Magno 2010). However, one group was successful in mitigating potential threats to their learning behaviour based on sharing emotions and reflexivity. Other groups did so to a smaller extent. These effects are in line with the theory on dialogue of Schein who argues that active listening and withholding judgment will help solve problems in teams most effectively (Schein 2003).

성찰
Reflections

본 연구의 한계는 자발적으로 연구에 등록한 소수의 학생만 포함할 수 있다는 것이며, 이는 선택 편향으로 이어질 수 있습니다. 그러나, 우리는 오랜 세월에 걸쳐 학생들을 추적해 왔고, 이로 인해 우리는 그들의 상호작용과 사고에 대한 심오한 이미지를 개발할 수 있었다. 게다가, 그 팀들은 상호작용과 동기부여 면에서 상당히 다르다는 것을 증명했다. 학생들이 프로젝트 자체와 커리큘럼 전반에 대해 공개적으로 비판하는 것은 연구원과 보이스 레코더의 존재가 그들의 행동이나 태도에 영향을 미치지 않았음을 시사한다.
Limitations of this study are that we could include only a small number of students, who voluntary enrolled in the study, which may have led to a selection bias. However, we have followed the students over a long period of time, which has enabled us to develop a profound image of their interactions and thinking. Moreover, the teams proved to be fairly different in terms of interaction and motivation. The fact that students sometimes openly criticized the project in itself and the curriculum as a whole suggests that the presence of a researcher and a voice recorder has not influenced their behaviour or attitude.

우리의 탐색적 연구를 바탕으로 SDL과 관련된 소그룹 학습의 메커니즘에 관한 가설을 세울 수 있었습니다. [사회적 구성주의] 관점의 연구가 학습자, 동료, 교사 및 환경 간의 상호작용을 더 잘 이해하는 데 도움이 될 것이라고 생각합니다. 여기서, 감정의 대처가 강조되어야 하는데, 감정이 학습에 큰 역할을 하기 때문이다. 이것은 [법제주의enactivism] (학습에서 감정과 구현에 더 많은 초점을 두는, 정신 철학에서 비롯된 학습의 새로운 패러다임)과 일치한다. 이 패러다임을 사용하여 그룹 다이내믹스와 SDL 간의 상호작용 모델은 논쟁적 대화의 효과 또는 자기 모니터링, 책임 및 대인 행동 간의 상호작용의 기초가 되는 메커니즘에 대한 질문에 답함으로써 추가 조사를 위한 출발점이 될 수 있습니다.

Based on our explorative study, we have been able to formulate some hypotheses regarding the mechanisms at work in small group learning that relates to SDL. We think more research from a social constructivist viewpoint could help to still better understand the interaction between the learner, peers, teachers, and the environment. Here, coping with emotions should be emphasized, as the present study underlines that it plays a large role in learning. This aligns with enactivism: a new paradigm of learning that stems from philosophy of mind, in which more focus is placed on emotion and embodiment in learning (Picard et al. 2004; Stephan et al. 2014; Maiese 2017). Using this paradigm, our model of interaction between group dynamics and SDL could be a starting point for further investigation, answering questions on mechanisms that underlie the effects of disputational talk, or the interaction between self-monitoring, responsibility and interpersonal behaviour.

Med Teach. 2021 May;43(5):590-598.

Preparing future professionals for highly dynamic settings require self-directed learning in authentic learning situations. Authentic learning situations imply teamwork. Therefore, designing education for future professionals requires an understanding of how self-directed learning develops in teams. We followed (bio-)medical sciences students (n = 15) during an 8-month period in which they worked on an innovation project in teams of 4-6 students. Template analysis of 39 transcripts of audio-recorded group meetings revealed three mechanisms along which group dynamics influenced self-directed learning behaviour. First, if expressions of emotions were met with an inquisitive response, this resulted in self-monitoring or feelings of responsibility. Second, openness in the group towards creativity or idea exploration stimulated critical thinking. Third, disputational talk frustrated learning, because it adversely affected group cohesion. We conclude that emotions, openness, and relatedness are important drivers of self-directed learning in teams and hence should be given explicit attention in designing collaborative learning for future professionals.