Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

연구 디자인
Study design

피드백 상호작용에서 환자의 신뢰도에 대한 학생들의 판단을 이해하기 위해 후향적 질적 인터뷰 연구를 수행했습니다. 이 연구에 대한 윤리적 승인은 네덜란드 의학교육협회에서 제공했습니다(NVMO, NERB 파일 번호: 2020.5.8 및 NERB 파일 번호 2021.8.8).  
We undertook a retrospective qualitative interview study to understand students’ credibility judgments of patients in feedback interactions. Ethical approval of this study was provided by the Dutch Association for Medical Education (NVMO, NERB file number: 2020.5.8 and NERB file number 2021.8.8).

연구 배경 및 참여자
Context and participants

우리는 임상적 맥락과 비임상적 맥락에서 환자에 대한 학생들의 신뢰성 판단을 조사했습니다. 두 상황 모두에서 학생들은 (온라인) 일대일 대화를 통해 환자로부터 피드백을 수집했습니다. 
We explored students’ credibility judgments regarding patients in a clinical and a non-clinical context. In both contexts students collected feedback from patients through (online) one-on-one dialogues.

비임상적 맥락에서는 6주간의 선택 과목으로, 6학년 의대생들이 한 조를 이루어 시청각 환자 정보인 지식 클립을 개발했습니다. 지식 클립은 선천성 심장병에 대해 설명하는 짧은 동영상(주로 애니메이션)이었습니다. 학생들은 환자, 그리고 커뮤니케이션 및 정보 과학(CIS) 학생과 협력하여 이러한 지식 클립을 개발했습니다[34]. 의대생의 목표는 환자의 정보 요구를 파악하고, 이해하기 쉬운 정보를 만들고, 환자 및 CIS 학생과 협업하는 방법을 배우는 것이었습니다. 이 과정을 진행하는 동안 두 의대생은 환자와 세 차례 만났습니다. 첫 번째 미팅에서는 의대생과 환자가 서로 친해지고 지식 클립의 주제를 결정했습니다. 2번과 3번 미팅에서 의대생은 지식 클립과 협력 기술에 대한 환자의 피드백을 받았습니다. 의대생 쌍은 시청각 정보 개발 방법에 대한 조언을 제공하고 지식 클립에 대한 피드백을 제공한 CIS 학생과도 세 차례 만났습니다[34]. 2020년 8월, 네덜란드 중심부의 한 대학병원에서 12명의 의대생이 이 선택 과목에 등록했습니다. 이 과정은 코로나19 팬데믹으로 인해 전적으로 온라인으로 진행되었습니다. 이 과정에 등록한 의대생 12명 중 11명이 이 연구에 참여하기 위해 사전 동의를 제공했습니다. 
The non-clinical context was a six-week elective course, in which pairs of sixth-year medical students developed audiovisual patient information, a knowledge clip. The knowledge clips were short (often animated) videos, where for instance a congenital heart disease is explained. Students developed these knowledge clips in collaboration with a patient and a Communication and Information Sciences (CIS) student [34]. The goal for medical students was learn how to identify a patient’s information need, create understandable information, and collaborate with a patient and a CIS student. During the course, the pair of medical students met three times with the patient. In meeting 1, the medical students and the patient got acquainted and determined the subject of the knowledge clip. In meetings 2 and 3, medical students received patient feedback on their knowledge clip and cooperation skills. The medical student pair also met three times with the CIS student, who provided advice on how to develop audiovisual information and gave feedback on the knowledge clip [34]. In August 2020, twelve medical students from an academic hospital in the center of the Netherlands enrolled in this elective course. The course was entirely online, due to the COVID pandemic. Eleven out of twelve medical students who signed up for the course enrollees provided informed consent to participate in this study.

임상 상황은 소아과와 산부인과를 결합한 12주간의 임상 실습이었으며, 4학년 의대생들은 의학 커리큘럼의 필수 과정으로 이 실습에 참여했습니다. 실습 기간 동안 학생들은 두 명의 환자에게 피드백을 요청했습니다. 이에 대비하여 학생들은 대화를 통해 적절한 시기에 적절한 피드백을 요청하는 자기 주도적 피드백 과정을 이수했습니다[35]. 임상 실습이 끝날 무렵, 학생들은 의미 파악과 행동 계획에 초점을 맞춘 촉진된 성찰 세션에 참여했습니다[35]. 2022년 6월부터 8월까지 사무원 과정을 마친 학생들은 이 연구에 참여하도록 요청받았습니다. 54명 중 10명의 학생이 사전 동의를 통해 참여에 동의했습니다. 
The clinical context was a twelve-week clerkship combining Pediatrics and Gynecology, in which fourth-year medical students participated as a mandatory part of their medical curriculum. During the clerkship, students asked two patients for feedback. In preparation, students completed a self-directed feedback course on asking for relevant feedback, at the right time, through dialogue [35]. At the end of the clerkship, students participated in a facilitated reflection session, which focused on sense-making and action-planning [35]. Students who completed their clerkship between June – August 2022, were asked to participate in this study. Ten students out of 54 provided informed consent to participate.

익명성을 보장하고 명확성을 기하기 위해 이 논문에서 모든 학생은 '그녀'로, 모든 환자는 '그'로 지칭합니다. 간결성을 위해 의대생은 '학생'으로 지칭합니다.
To ensure anonymity, and for the sake of clarity, all students in this paper will be referred to as ‘she’, and all patients will be referred to as ‘he’. For the sake of brevity, medical students will be referred to as students.

데이터 수집
Data collection

비임상 분야의 경우, 신뢰성 문헌을 기반으로 반구조화된 인터뷰 가이드를 개발했습니다. 두 명의 학생을 대상으로 인터뷰 가이드를 시범 운영하여 약간의 조정을 거쳤습니다. 그런 다음, 후속 인터뷰가 유사하고 비교 가능한 방식으로 진행될 수 있도록 CE와 NM이 함께 처음 두 번의 인터뷰를 진행했습니다. 나머지 9번의 면접은 NM과 CE가 나누어 진행했습니다. 
For the non-clinical context, we developed a semi-structured interview guide based on credibility literature. We piloted the interview guide with two students, which resulted in minor adjustments. Then, CE and NM conducted the first two interviews together to ensure subsequent interviews were conducted similarly and comparably. The remaining nine interviews were divided between NM and CE.

인터뷰 가이드를 임상 상황에 맞게 조정하고 비임상 상황의 결과를 기반으로 했습니다. 세 번째 연구자(WD)가 임상 맥락에서 대부분의 인터뷰를 수행했습니다. 먼저, CE와 WD가 함께 두 번의 인터뷰를 진행하여 WD가 비임상 상황과 유사한 인터뷰를 수행할 수 있도록 훈련시켰습니다. 그런 다음 나머지 인터뷰는 WD가 진행했습니다. 
We adjusted the interview guide to fit the clinical context and build on the results from the non-clinical context. A third researcher (WD) performed most of the interviews from the clinical context. First, CE and WD conducted two interviews together to train WD in performing the interviews comparably to the non-clinical context. Then, WD conducted the remaining interviews.

인터뷰 가이드에는 환자의 신뢰도, 학생과 환자의 관계, 피드백 메시지에 대한 질문이 포함되어 있었습니다(부록 A 참조). 학생들은 선택 과목 또는 임상실습을 마친 후 개별적으로 인터뷰를 진행했습니다. 화상 통화 또는 대면으로 진행된 인터뷰는 음성으로 녹음하고 그대로 필사했습니다. 인터뷰는 약 60분간 진행되었습니다. 
The interview guide included questions on patients’ credibility, students’ relationship with the patients and the feedback messages (See Appendix A). Students were interviewed individually after completion of the elective course or clerkship. The interviews, which were conducted via video-call or face-to-face, were audio recorded and transcribed verbatim. Interviews lasted approximately 60 minutes.

데이터 분석
Data analysis

학생들이 환자의 신뢰도를 판단하는 방법을 이해하기 위해 신뢰도에 대한 학생들의 추론을 분석했습니다. 우리는 주제별 분석의 한 형태인 템플릿 분석을 수행하여 신뢰도 증가 또는 감소에 대한 학생들의 주장을 파악했습니다[36]. 이 방법을 선택한 이유는 이전의 피드백 신뢰도 문헌을 기반으로 구축할 수 있고, 귀납적으로 환자 신뢰도에 관한 새로운 코드를 개발할 수 있는 여지를 남겨두었기 때문입니다. 학생들이 어떻게 판단을 내리는지, 그리고 이것이 맥락적 요소의 영향을 받는지 이해하기 위해 인과적 네트워크 분석을 수행했습니다. 이 방법을 선택한 이유는 프로세스의 변수 간 일관성을 매핑하기 때문인데, 이는 신뢰성 판단과 같은 인지 프로세스에도 적용될 수 있습니다[37]. 학생들이 환자의 신뢰도를 판단하는 추론의 요소를 이 연구에서는 '논증'이라고 부릅니다. 
To understand how students make credibility judgments of patients, we analyzed their reasoning about credibility. We performed template analysis, which is form of thematic analysis, to identify students’ arguments for increased or reduced credibility [36]. We chose this method because it allowed for building on previous feedback credibility literature, and left room for inductively developing new codes regarding patient credibility. To understand how students built their judgment and how this was impacted by contextual elements, we performed a causal network analysis. We chose this method because it maps the coherence between variables of a process, which can also be applied to cognitive processes such as making a credibility judgment [37]. The elements in students’ reasoning for determining a patient’s credibility are called ‘arguments’ in this study.

인과 관계 네트워크 분석
Causal network analysis

판단이 어떻게 만들어지고 주장이 어떻게 연관되어 있는지 살펴보기 위해 사례 간 인과 네트워크 분석을 수행했습니다[37]. 

• 먼저, 학생들이 신뢰성 판단의 근거로 삼은 모든 주장의 목록을 작성했습니다. 이 목록은 템플릿 분석에서 도출된 것으로, 이 코드북의 각 코드는 하나의 논증과 유사했습니다.
• 둘째, 학생 한 명당 하나씩 21개의 인과 네트워크를 구성하여 이러한 주장과 그 관계를 표시했습니다. 관계를 다음을 통해 식별했습니다.
  • 학생들이 서로 조합하여 언급한 논증(텍스트 조각이 서로 겹치거나 이어지는 것을 의미),
  • 신호어 분석(예: 그렇다면, 그러므로, 그래서, 왜냐하면),
  • 시간성 분석(한 논증이 다른 논증에 영향을 미치는 경우 이 논증이 학생들의 추론에서 먼저 발생해야 함)
• 셋째, 21개의 개별 인과 네트워크는 개별 논증 간의 모든 상호작용을 포함하는 전체 네트워크로 결합되었습니다. 이 네트워크를 이해하기 쉽게 하기 위해 신뢰도 차원과 맥락, 피드백 메시지, 이전 경험의 요소 간의 상호작용만 설명하여 네트워크를 단순화했으며, 그 결과 그림 1과 같이 나타났습니다.

To explore how judgments were built, and how arguments were related, we performed cross-case causal network analyses [37].

• First, we constructed a list of all arguments on which students based their credibility judgments. This list was derived from the template analysis, each code of this codebook resembled an argument.
• Second, we constructed 21 causal networks, one for each individual student, in which we displayed these arguments and their relations. Relations were identified
  • by selecting arguments that students mentioned in combination with each other (meaning text-fragments overlapped or followed-up on each other),
  • by analyzing signal words (for instance: then, therefore, so, because), and
  • by analyzing temporality (if one argument affects the other, this argument must happen first in students’ reasoning).
• Third, the 21 individual causal networks were combined in an overarching network, that comprised all interactions between individual arguments. To make this network comprehensible, we simplified the network by only illustrating the interactions between dimensions of credibility and the elements of the context, the feedback message, and previous experiences, which resulted in Figure 1.

이 그림은 피드백 제공자인 환자에 대한 학생들의 신뢰도 판단을 시각화한 것입니다. 학생들의 신뢰도 판단은 환자의 선의, 신뢰성 및 역량에 관한 여러 가지 논증으로 구성되었습니다. 각 차원 내 및 차원 간의 논증은 서로 상호작용했습니다. 또한 학생들의 신뢰도 판단은 회색 원으로 표시된 것처럼 맥락, 피드백 메시지, 이전 경험 등의 요소에 의해 영향을 받았습니다. 이러한 요소는 환자의 선의, 신뢰성 및 역량에 관한 논쟁에 영향을 미칠 수 있습니다.
This figure visualizes students’ credibility judgments of patients as feedback providers. Students’ credibility judgments consisted of multiple arguments regarding a patient’s Goodwill, Trustworthiness and Competence. Arguments within and between the dimensions interacted with each other. Moreover, students’ credibility judgments were influenced by elements of the context, the feedback message and previous experiences, which is depicted by the gray circle. These elements could affect arguments regarding a patient’s Goodwill, Trustworthiness, and Competence.

반사성
Reflexivity

연구팀은 의사(CE, JF), 교육 과학자(RK, MS), 학생(WD, NM)으로 구성되었습니다. 연구팀의 다양한 배경과 역할은 데이터에 대한 다양한 관점을 제공했습니다. 우리 팀은 환자를 학습의 중요한 파트너이자 정당한 피드백 제공자라는 관점을 가지고 있습니다. 우리의 관점이 연구 참여자에게 전달되는 것을 제한하고 학생들이 자신의 관점을 공유할 수 있도록 인터뷰 질문을 신중하게 구성했습니다. 일부 저자는 비임상 과정(CE, JF)과 임상 맥락에서의 피드백 교육(CE, JF, RK) 개발에 참여했습니다. 연구 기간 동안 이들은 이러한 교육에 강사로 참여하지 않았습니다. 
The research team consisted of medical doctors (CE, JF), educational scientists (RK, MS), and students (WD, NM). The varied backgrounds and roles of our team provided multiple perspectives on our data. Our team has the viewpoint of patients being important partners in learning, and being legitimate feedback providers. To limit transferring our viewpoint to the study participants, and facilitate students in sharing their own viewpoints, we carefully formulated the interview questions. Some authors were involved in the development of the non-clinical course (CE, JF) and the feedback training in the clinical context (CE, JF, RK). During the study period they did not participate as teachers in these trainings.

또한 데이터 수집 및 분석 기간 동안 반사성을 높이기 위해 격주로 연구 회의를 개최하여 데이터 해석과 기본 가정을 논의했습니다. 
Furthermore, to enhance reflexivity biweekly research meetings were held during data collection and analysis, in which interpretation of the data and underlying assumptions were discussed.

학생이 신뢰도 판단의 근거로 삼은 논거
Arguments on which students based their credibility judgments

환자의 신뢰성에 대한 학생들의 판단에는 환자의 역량, 신뢰성, 선의에 관한 여러 논거가 포함되었습니다(표 1 참조). 학생들은 네 가지 논거를 바탕으로 환자의 유능성을 판단했습니다.

• 첫째, 학생들은 특정 과제에 대한 지식을 평가했습니다. 비임상적 맥락에서는 시청각적 의사소통에 대한 지식이 될 수 있습니다. 임상적 맥락에서는 의학 지식이 될 수 있습니다. 예를 들어, 학생들은 환자가 의료계에 종사할 때 더 유능하다고 판단했습니다.
• 둘째, 학생들은 예를 들어 환자가 직접 관찰을 통해 얻을 수 있는 학생의 수행 방식에 대한 지식을 추정했습니다.
• 셋째, 학생들은 환자가 피드백을 제공하는 데 경험이 많고 숙련되어 있는지를 평가했습니다.
• 마지막으로 학생들은 환자의 실제 경험을 추정했습니다.
  • 대부분의 학생들은 환자가 경험적 지식이 많을수록 더 유능하다고 생각했습니다.
  • 반대로, 일부 학생들은 '새로운' 환자가 새로운 관점을 가지고 있기 때문에 더 신뢰할 수 있다고 생각했습니다.

Students’ judgments about a patient’s credibility contained multiple arguments regarding a patient’s Competence, Trustworthiness, and Goodwill, see Table 1. Students judged patients’ Competence based on four arguments.

• First, they estimated their knowledge of the specific task. In the non-clinical context, this could be knowledge about audiovisual communication. In the clinical context, this could regard medical knowledge. For instance, students judged patients as more competent when they were in the medical profession.
• Second, students estimated patients’ knowledge of how the student performed, which patients for instance could have gained through direct observation.
• Third, students estimated whether patients were experienced and skilled in providing feedback.
• Lastly, students estimated patients’ lived experience.
  • Most students regarded patients as more competent when they possessed more experiential knowledge.
  • Conversely, some students reasoned that their ‘new’ patient was actually very credible because he had a fresh perspective.

"그는 병원에 대해 잘 몰랐고 어떻게 운영되는지 등에 대해 잘 몰랐습니다. 그래서 오히려 그의 말이 더 진솔하게 들렸던 것 같아요. 또한 무지에서 비롯된 무지에서 그는 '이건 이해가 안 된다, 저건 이해가 안 된다'는 식의 질문을 많이 했어요. 그렇지만 그는 자신이 느끼는 것을 그대로 말한다는 것을 의미했고, 그래서 더 신뢰가 갔습니다." - St4clinical(실제 경험)
“He was not familiar with the hospital and didn’t know about how things worked and so on. And I think that actually ensured that what he said came out really sincere. Also from this ignorance, he asked many questions like we don’t understand this, or we don’t understand that. That did mean that he really just says what he feels, … I found him more credible because of it.” – St4clinical (Lived experience)

학생들은 두 가지 논거를 바탕으로 환자의 신뢰도를 판단했습니다. 

• 첫째, 학생들은 환자가 피드백에 성실하고 정직한지 여부를 평가했습니다. 
• 둘째, 학생들은 환자의 개방성과 개선할 점을 과감하게 언급하는지 여부를 평가했습니다.

Students judged patients’ Trustworthiness on two arguments.

• First, students estimated whether a patient was sincere and honest in his feedback.
• Second, students estimated a patient’s openness and whether he dared to mention points for improvement.

"[협업에 대한 피드백]의 경우, 환자의 피드백이 대부분 긍정적이었고 100% 정직했는지는 잘 모르겠기 때문에 조금 낮게 평가했습니다. 추정하기 어렵습니다. 그래서 저는 그가 저에게 피드백을 주는 것에 대해 개인적으로 특별히 신뢰할 수 없다고 생각합니다. 그가 피드백에 완전히 정직하게 임하고 있는지 잘 모르겠어요." -St6비임상(성실성)
“In terms of [feedback on] our collaboration, it’s a bit lower, because his feedback was mostly positive and I am not sure if he was being 100% honest. I find that hard to estimate. And that’s why I don’t find him particularly credible, as a person, to give me feedback. I can’t quite sense whether he is being completely honest in his feedback.” –St6nonclinical (Sincerity)

학생들은 두 가지 논거를 바탕으로 환자의 선의를 판단했습니다. 

• 첫째, 학생들은 환자가 시간을 내어 피드백을 제공하고 교육 프로젝트에 참여하는 등 학생의 학습을 돕고자 하는 의지가 있는지를 평가했습니다. 
• 둘째, 학생들은 환자가 학생의 사생활에 관심을 보이고 학생의 존재에 감사를 표하는 등 학생을 인격적으로 돌보는지 여부를 평가했습니다. 후자는 신뢰도를 높이거나 낮출 수 있습니다. 어떤 학생들은 환자가 학생의 감정을 상하게 하지 않기 위해 비판을 피할 것이라고 추론했습니다.

Students judged patients’ Goodwill on two arguments.

• First, they estimated whether the patient had the intention to help the student learn, for instance by taking time to provide feedback and by being engaged in the educational project.
• Second, students estimated whether the patient cared for the student as a person, for instance by showing interest in the student’s personal life and by expressing gratefulness for the student’s presence. The latter could both increase and decrease credibility. Some students reasoned that a patient would avoid criticism to avoid hurting the student’s feelings.

"글쎄요, '그냥 학생일 뿐인데 상처 주고 싶지 않아요'라고 생각할 수도 있죠. 네, 그리고 그 학생도 최선을 다하고 있을 뿐이죠. 부정적인 말을 해서 저에게 상처를 주고 싶지 않을 수도 있죠." -St4clinical(돌보는 사람)
“Well, he might think ‘she’s just a student, I don’t really want to hurt her. Yes, and she’s also just trying to do the best she can.’ He may not want to hurt me by saying anything negative.” –St4clinical (Caring for person)

인과 관계 네트워크 분석 결과, 학생들은 여러 주장에 무게를 두어 판단을 내리는 것으로 나타났습니다. 서로 다른 차원의 주장이 서로 상호작용했습니다(그림 1 참조). 예를 들어, 한 학생은 환자가 자신의 학습에 관심을 갖고 있다고 가정했기 때문에(선의) 환자가 성실하고 개방적이라고 추론했습니다(신뢰성). 연구 결과에 따르면 학생들의 환자의 신뢰도에 대한 판단은 '전부 아니면 전무'의 판단이 아니었습니다. 오히려 학생들은 신뢰도에 기여하는 논거와 신뢰도를 떨어뜨리는 논거를 고려하여 환자에게 어느 정도의 신뢰도를 부여했습니다.
Causal network analysis showed that students built their judgments by weighing multiple arguments. Arguments of different dimensions interacted with each other (See Figure 1). For instance, a student reasoned that the patient was sincere and open (Trustworthiness), since she assumed that the patient cared for her learning (Goodwill). Our results suggest that students’ judgments of a patient’s credibility were not ‘all or nothing’ judgments. Rather, students assigned a certain degree of credibility to a patient, taking into consideration arguments that contributed to credibility, and arguments that reduced credibility.

맥락의 요소가 신뢰도 판단에 미치는 영향
How elements of the context affect credibility judgments

학생들은 신뢰도 판단에 영향을 미치는 네 가지 맥락적 요소를 언급했습니다(표 2 참조).
Students mentioned four contextual elements that affected their credibility judgments (See Table 2).

세 가지 맥락 요소는 임상적 맥락에서 학생들이 언급했거나 비임상적 맥락에서 학생들이 언급했습니다.
Three contextual elements were either mentioned by students in the clinical context, or by students in the non-clinical context.

첫째, 임상적 맥락에서 학생들은 자신과 환자 사이에 치료적 관계가 있다고 언급했는데, 환자는 치료가 필요한 상태이고 학생은 치료를 제공하는 팀의 일원이었습니다. 학생들은 환자가 힘의 불균형을 인식하고 자신에게 의존한다고 느낄 수 있기 때문에 피드백 과정에 방해가 될 수 있다고 추론했습니다. 따라서 환자들이 감히 개방적이고 솔직하게 말하지 못해(신뢰성) 신뢰도가 낮아질 수 있다는 것이었습니다.
First, in the clinical context, students mentioned that there was a therapeutic relationship between them and the patient, with the patient being in need of care and the student being part of the team that provides care. Students reasoned that this could have hindered the feedback process, since patients could perceive a power imbalance and feel dependent on them. Therefore, patients might not dare to be open and honest (Trustworthiness), which lowered their credibility.

"나중에 그 환자도 우리에게 의존하고 있기 때문에 치료 관계를 유지하고 싶다고 말했습니다. 그리고 그도 마음 한구석에 우리와 우호적인 관계를 유지해야 한다는 생각을 가지고 있었기 때문에 너무 비판적으로 대하고 싶지 않았던 것 같습니다."-St4clinical
“He said that later on too, that he wants to maintain the treatment relationship, because he does depend on us as well. And I think that’s why he also has in the back of his mind that he has to remain friendly with us, which is perhaps why he didn’t want to be too critical.”-St4clinical

흥미롭게도 한 학생은 시간이 지남에 따라 환자가 학습자로서의 자신의 역할을 더 잘 인식하게 되었고, 이로 인해 치료 관계는 더 뒷전으로 밀려났으며 학습을 돕고자 하는 환자의 의지가 높아졌다고 말했습니다(Goodwill).
Interestingly, one student mentioned that over time the patient became more aware of her role as a learner, which had put the therapeutic relationship more to the background, and increased the patient’s willingness to help the student learn (Goodwill).

"그 덕분에 그는 인턴이 무엇을 수반하는지 더 잘 알았던 것 같아요. 그리고 실제로 더 나은 피드백을 줄 수 있었던 것 같아요. '당신은 정말 배우러 왔고 내 의사가 아니기 때문에 내 치료 계획을 세우지 않을 거야'라고 생각했기 때문이죠. 그래서 저는 그 부분(즉, 학습)을 도와드리고 싶습니다."-St7clinical
“because of that, I think he knew more what an intern entailed. And I think that actually allowed him to give better feedback, because he was more like okay, so you’re really here to learn and you’re not my doctor, so you’re not going to set my treatment plan. So I want to help you with that [ i.e. learning].”-St7clinical

둘째, 임상 맥락에서 학생들은 환자의 감정 상태가 신뢰도에 영향을 미친다고 언급했습니다. 학생들은 피드백 메시지가 환자의 감정에 의해 형성된다고 추론했습니다. 예를 들어 환자가 좋은 소식을 듣고 행복하거나 안심한 상태라면 피드백이 더 긍정적일 것이고, 그 반대의 경우도 마찬가지입니다. 또한, 학생들은 환자가 낯선 환경에 처해 있거나 매우 아프다는 등의 이유로 취약하다고 느끼면 감히 비판적인 피드백(신뢰성)을 제공하지 않을 것이라고 추론했습니다. 또한 학생들은 스트레스를 받거나 긴장한 환자에 비해 차분하고 편안해 보이는 환자를 더 신뢰할 수 있다고 답했는데, 그 이유는 후자의 경우 학생의 학습에 관심을 갖거나(선의) 학생을 관찰하고 수행 능력을 판단할 수 있는 적절한 마음 상태가 아닐 수 있기 때문입니다(유능성).
Second, in the clinical context, students mentioned that the patient’s emotional state impacted his credibility. Students reasoned that feedback messages were shaped by patients’ emotions. For example, if a patient was happy or relieved due to receiving good news, then his feedback would be more positive, and vice versa. Moreover, students reasoned that patients would not dare to provide critical feedback (Trustworthiness) if they felt vulnerable, for instance because they were in an unknown environment or were very sick. Besides, students mentioned that patients who appeared calm and at ease where more credible compared to patients who were stressed or nervous, because the latter might not be in the right state of mind to care about students’ learning (Goodwill) or observe the student and make judgments about her performance (Competence).

"네, [이 환자는] 따라서 덜 긴장하고 덜 감정적이었으며, 이 업무 환경에서 [내가] 어떻게 하고 있는지 생각할 수 있는 여유가 더 많았습니다. 따라서 자신에게 너무 집중하는 대신 상대방을 바라볼 수 있는 여유도 생겼습니다. 제 생각에 그는 더 나은 피드백을 줄 수 있었고 더 신뢰할 수 있었습니다. 그리고 그는 좀 더 객관적이었던 것 같아요." - St6clinical
“Yes [this patient was] therefore less nervous, and therefore less emotional, with more space to think about how [I am] doing in this work environment. There is therefore also more space to look at the other person instead of focusing too much on yourself. In my opinion, he could therefore give better feedback and was more credible. And he was a bit more objective as well, I think.” – St6clinical

셋째, 비임상 환경의 학생들은 시청각 환자 정보(지식 클립)에 대한 다른 제공자의 피드백 메시지가 환자의 신뢰도에 영향을 미친다고 언급했습니다. 교육 과정에서도 학생들은 의료 전문가와 동료로부터 지식 클립에 대한 피드백을 받았습니다. 환자의 피드백이 의료 전문가나 동료의 피드백에 추가되거나 그에 부합하는 경우, 환자는 더 신뢰할 수 있는 것으로 간주되었습니다.
Third, students in the non-clinical context mentioned that feedback messages of other providers on their audiovisual patient information (the knowledge clip) affected the patient’s credibility. In the educational course, students also received feedback on their knowledge clip from healthcare professionals and peers. When the patient’s feedback added to, or was in accordance with, feedback from healthcare professionals or peers, the patient was seen as more credible.

"실제로 [심리학자]가 제공한 조언은 [환자]의 조언과 완전히 같거나 거의 똑같았습니다. 그래서 항상 매우 비슷했습니다. ... 그래서 [그의] 신뢰성이 강화되었습니다." -St9비임상
“Actually, the tips given by [a psychologist] were exactly the same, or almost exactly the same as [the patient’s]. So that was always very similar. … which did reinforce [his credibility].” -St9nonclinical

맥락의 한 가지 요소인 '신뢰 관계'는 두 맥락 모두에서 학생들이 언급했습니다. 상호 존중과 신뢰로 특징지어지는 유대감은 신뢰도를 높이거나 낮출 수 있습니다. 

• 일부 학생들은 긍정적인 유대감으로 인해 환자가 학습에 더 많은 관심을 갖게 되고(선의), 더 개방적으로 행동하게 된다고 추론했습니다(신뢰성).
• 그러나 다른 학생들은 긍정적인 유대감 때문에 환자들이 관계의 손상을 두려워하여 개선해야 할 점에 대해 덜 솔직해졌다고 추론했습니다(신뢰성). 

One element of the context, ‘trusting bond’, was mentioned by students in both contexts. A bond, characterized by mutual respect and trust, could both increase or decrease credibility.

• Some students reasoned that their positive bond made patients care more about their learning (Goodwill) and made them dare to be more open (Trustworthiness).
• However, other students reasoned that their positive bond made patients less open about points for improvement (Trustworthiness), because they feared damaging the relationship.

"아마도 그 때문에 왠지 신뢰도가 조금 떨어졌을 것 같아요... 우리는 아주 좋은 관계를 유지하고 있는데, 그가 여전히 감히 엄격할 수 있을까, 말하자면 여전히 감히 팁을 제시할 수 있을까 하는 생각이 들었어요." -St3비임상 
“Maybe that somehow made him a little less credible, that I thought … we have a very good relationship, does he still dares to be strict, so to speak, does he still dare to come up with tips.” –St3nonclinical

피드백 메시지와 이전 경험이 신뢰도 판단에 미치는 영향
How the feedback message and previous experiences affect credibility judgments

맥락의 요소 외에도 피드백 메시지와 환자의 피드백에 대한 이전 경험도 학생들의 신뢰성 판단에 영향을 미치는 것으로 나타났습니다. 피드백 메시지와 관련하여, 학생들은 피드백 메시지가 구체적이고 광범위하며 긍정적인 피드백과 개선점을 모두 포함하고 있다고 인식할 때 환자가 자신의 학습에 관심을 갖고(선의), 개방적이고 정직하며(신뢰성), 피드백 제공에 능숙하다고(유능함) 추론했습니다. 이는 그 반대의 경우도 마찬가지였습니다: 
Besides elements of the context, students reasoning also showed that the feedback message, and previous experiences with patient feedback, affected students’ credibility judgments. With regard to the feedback message, when students perceived the feedback message as specific, extensive, and containing both positive feedback and points for improvement, they reasoned that the patient cared for their learning (Goodwill), was open and honest (Trustworthiness), and that he was skilled in providing feedback (Competence). This also worked vice versa:

"그의 피드백은 대부분 긍정적이었지만 그가 100% 정직했는지는 잘 모르겠습니다. 평가하기 어렵습니다. 그래서 저는 그가 저에게 피드백을 주는 것에 대해 인간으로서 특별히 신뢰할 수 없다고 생각합니다. 그가 피드백에 대해 완전히 정직한지 잘 모르겠습니다."-St6nonclinical(성실성) 
“his feedback was mostly positive and I am not sure if he was being 100% honest. I find that hard to estimate. And that’s why I don’t find him particularly credible, as a person, to give me feedback. I can’t quite sense whether he is being completely honest in his feedback.”–St6nonclinical (Sincerity)

개인적 특성과 관련하여 비임상 환경의 일부 학생들은 과거에 환자 피드백에 대한 긍정적인 경험을 가지고 있었습니다. 이 때문에 환자 피드백의 가치를 더 잘 인식하게 되었고, 따라서 환자를 더 신뢰할 수 있다고 판단했습니다. 
With regard to personal characteristics, some students in the non-clinical context had positive past experiences with patient feedback. This made them more aware of the value of patient feedback, and therefore judge patients as more credible.

"환자의 피드백은 궁극적으로 메시지를 전달하고 싶거나 안심시키고 싶은 사람이기 때문에 환자의 피드백에 많은 가치가 있다는 것을 이전의 경험을 통해 알게 된 것 같습니다. 목표를 달성하고자 하는 사람이 바로 환자이기 때문에 목표를 달성했는지 여부와 그 이유 또는 그렇지 않은 이유에 대해 가장 좋은 피드백을 줄 수 있는 사람이기도 합니다." -St1비임상 
“I do think I have learnt through that earlier experience that there is a lot of value in the patient’s feedback, because the patient is ultimately the person you either do want to convey a message to or you want to reassure. That’s the person you want to achieve your objective with, so that’s also the person who can actually give you the best feedback on whether you achieved that goal and why or why not.” –St1nonclinical

신뢰성에 대한 학생들의 추론을 분석한 결과, 환자에 대한 신뢰성 판단은 여러 가지 상호 작용하는 논거를 종합적으로 고려한다는 사실이 명확해졌습니다. 이러한 주장은 맥락, 피드백 메시지 및 이전 경험에 의해 형성됩니다(그림 1 참조). 부록 C에는 한 학생의 인과 네트워크가 표시되어 있는데, 이 학생은 환자에 대한 신뢰성 판단을 어떻게 구축했는지 보여줍니다. 
Analysis of students’ reasoning about credibility clarified that their credibility judgments regarding patients is a weighing of multiple interacting arguments. These arguments are shaped by the context, the feedback message and previous experiences (See Figure 1). Appendix C displays the causal network of a student, which shows how she built her credibility judgment of a patient.

향후 연구를 위한 제한점 및 제안
Limitations and suggestions for future research

이 연구에서는 학생들의 신뢰도 판단에 대한 인식에 초점을 맞추었기 때문에 필연적으로 한계가 있습니다. 연구 데이터는 회상에 기반한 것이기 때문에 신뢰성에 대한 논거가 숨겨져 있을 가능성이 남아있습니다. 또한 지각을 연구했기 때문에 제도적 문화와 같이 신뢰성 판단에 영향을 줄 수 있는 외적, 무의식적 측면도 숨겨져 있었을 수 있습니다[52, 53]. 이러한 측면을 수정하고 통제하는 실험 설계를 통해 신뢰도 판단에 미치는 영향을 밝힐 수 있습니다.
In this study we focused on students’ perceptions of their credibility judgments, which inevitably brings limitations. The study data is based on recall, which leaves the possibility that arguments for credibility remained hidden. Moreover, since we studied perceptions, external and subconscious aspects that can influence credibility judgments, like institutional culture, might also have remained hidden [52, 53]. Experimental designs that modify and control these aspects could reveal their impact on credibility judgments.

또한, 연구 대상 집단이 숙련된 의료 전문가로 제한되어 있어 데이터의 전달성이 제한될 수 있습니다. 임상 현장에 있는 대부분의 학생들에게는 환자에게 피드백을 요청하는 것이 처음이었기 때문입니다. 연구 결과에 따르면 신뢰성 판단은 피드백을 받는 사람의 과거 경험에 의해 부분적으로 형성됩니다. 따라서 숙련된 의료진은 환자의 신뢰도를 다르게 판단할 수 있습니다. 그러나 우리의 목적은 학생의 환자에 대한 신뢰도 판단에 대해 심층적으로 탐구하는 것이었습니다. 따라서 우리의 연구 결과는 (미래의) 의료 전문가가 환자에 대한 신뢰성 판단을 내리는 복잡한 과정을 밝히기 위한 향후 연구의 출발점이 될 수 있습니다. 
Moreover, our study population might limit the transferability of our data to experienced healthcare professionals. For most students in the clinical context, it was their first time asking patients for feedback. Our results show that credibility judgments are partly shaped by past experiences of the feedback receiver. Therefore, experienced healthcare professionals might judge a patient’s credibility differently. However, our purpose was to conduct an in-depth exploration of students’ credibility judgments regarding patients. Our results therefore serve as a starting point on which future studies can build, to further unravel the complex process by which credibility judgments regarding patients are made by (future) healthcare professionals.

결론적으로, 의대생들은 환자의 역량, 신뢰성, 선의의 측면을 판단하여 환자가 신뢰할 수 있는 피드백 제공자인지 여부를 결정합니다[18]. 학생들의 판단은 관계와 관련 목표라는 맥락에서 여러 가지, 때로는 상충되는 요소들을 종합적으로 고려하여 이루어집니다. 임상적 맥락에서 학생-환자 관계의 치료 목표와 교육 목표 사이에 인식되는 긴장은 신뢰성을 떨어뜨릴 수 있습니다. 향후 연구에서는 학생과 환자 간에 목표와 역할을 논의하여 열린 피드백 대화의 장을 마련할 수 있는 방법을 모색해야 합니다. 
In conclusion, medical students judge aspects of patients’ Competence, Trustworthiness and Goodwill to determine whether they are credible feedback providers [18]. Students’ judgments are a weighing of multiple and sometimes conflicting factors, within the context of relationships and their associated goals. In the clinical context, perceived tensions between therapeutic goals and educational goals of the student-patient relationship can diminish credibility. Future research should explore how goals and roles can be discussed between students and patients to set the stage for open feedback conversations.

1Faculty of Medicine, Utrecht University, the Netherlands.

2Department of Pediatrics, University Medical Center Utrecht, the Netherlands.

3Utrecht Center for Research and Development of Health Professions Education, University Medical Center Utrecht, the Netherlands.

4Freudenthal Institute, Utrecht University, the Netherlands.

Introduction: Patient feedback is becoming ever more important in medical education. Whether students engage with feedback is partly determined by how credible they think the feedback provider is. Despite its importance for feedback engagement, little is known about how medical students judge the credibility of patients. The purpose of this study was therefore to explore how medical students make credibility judgments regarding patients as feedback providers.

Methods: This qualitative study builds upon McCroskey's conceptualization of credibility as a three-dimensional construct comprising: competence, trustworthiness, and goodwill. Since credibility judgments are shaped by the context, we studied students' credibility judgments in both a clinical and non-clinical context. Medical students were interviewed after receiving feedback from patients. Interviews were analyzed through template and causal network analysis.

Results: Students based their credibility judgments of patients on multiple interacting arguments comprising all three dimensions of credibility. In estimating a patient's credibility, students reasoned about aspects of the patient's competence, trustworthiness, and goodwill. In both contexts students perceived elements of an educational alliance between themselves and patients, which could increase credibility. Yet, in the clinical context students reasoned that therapeutic goals of the relationship with patients might impede educational goals of the feedback interaction, which lowered credibility.

Discussion: Students' credibility judgments of patients were a weighing of multiple sometimes conflicting factors, within the context of relationships and their associated goals. Future research should explore how goals and roles can be discussed between students and patients to set the stage for open feedback conversations.

피드백은 혁신적인 변화를 통해 학습자를 지원할 수 있는 잠재력을 가지고 있습니다[1, 2]. 효과적일 경우 학업 성취도를 향상하고 학습을 촉진하는 데 가장 영향력 있는 요소 중 하나입니다[3]. 그러나 피드백 및 피드백 프로세스는 다양하게 해석되고[4], 제대로 실행되지 않는 등 발달 계획에 따른 명시적인 메시지가 전달되지 않습니다[5]. 고등교육 학습자들은 피드백을 중요하게 생각하지만, 피드백에 대한 불만을 지속적으로 전달하고[6], 피드백을 사용하지 않는 경우도 많습니다[7,8,9,10].
Feedback has potential to support learners through transformational change [1, 2]. When effective, it is one of the most influential factors in improving academic achievement and promoting learning [3]. However, feedback and feedback processes are variably interpreted [4] and poorly executed, i.e. explicit messaging with developmental planning does not occur [5]. While learners in higher education value feedback, they also consistently communicate dissatisfaction with feedback [6], and frequently do not use it [7,8,9,10].

문헌에서는 전통적으로 교사 중심의 단방향 피드백이 보고되어 왔으며, 이는 보건 전문 교육에서 재개념화되었습니다[11, 12]. 이제 학습자는 자신의 개발 계획에 협력하는 능동적인 참여자로 간주됩니다. 피드백 수용에 대한 이러한 재조명은 학습자의 능동적 수용의 속성을 성공의 기본으로 확인했습니다: SAGE(자기 평가, 평가 리터러시, 목표 설정 및 자기 조절, 참여 및 동기 부여). 피드백 리터러시는 "정보를 이해하고 이를 업무 또는 학습 전략을 개선하는 데 사용하는 데 필요한 이해, 역량 및 성향"으로 정의되며, 학습자가 피드백을 이해하고 실행하는 데 참여하고 유능한 사람으로 자리매김합니다[13]. 
Literature has traditionally reported teacher-centred unidirectional feedback, which has been reconceptualised in health professional education [11, 12]. Learners are now considered active participants who collaborate in their developmental planning. This re-focus on feedback uptake has identified attributes of learner proactive recipience as fundamental to its success: SAGE (self-assessment, assessment literacy, goal-setting and self-regulation, engagement and motivation). Feedback literacy, defined as “the understandings, capacities and dispositions needed to make sense of information and use it to enhance work or learning strategies”, positions the learner as engaged and competent in making sense of, and implementing feedback [13].

자기조절 학습(SRL) 이론은 심리학, 교육학, 사회학에서 유래한 잘 정립된 이론입니다. 이는 목표 설정, 전략 선택, 비용과 효과의 균형, 행동 모니터링, 적응 및 수정이 특징인 과제에 참여하는 스타일입니다. 인지적, 메타인지적, 행동적, 동기적, 정서적 영향과 함께 학습에 대한 총체적인 이해를 제안합니다. SRL의 주요 측면에는 기존의 지식과 신념을 활용하고 그에 따라 재조정하기 위해 결과를 모니터링하는 능동적 학습자가 포함됩니다 [14]. 따라서 학습자가 피드백과 같은 학습 정보를 어떻게 받아들이는지 이해하는 데 유용한 모델입니다.
Self-regulatory learning (SRL) theory is a well-established theory with origins in psychology, education and sociology. It is a style of engaging with tasks which is characterised by setting goals, selecting strategies, balancing cost and effect, monitoring, adapting and amending behaviours. It proposes a holistic understanding of learning, with cognitive, metacognitive, behavioural, motivational and emotional influences. Key aspects of SRL include active learners who draw on existing knowledge and beliefs and monitor outcomes to recalibrate accordingly [14]. It is therefore a helpful model to understand how learners take up learning information such as feedback.

다양한 SRL 모델이 존재하며, 본 연구에서는 세 가지 주요 모델에서 강조되는 공통된 개념을 사용합니다[15,16,17].

• 첫째, SRL은 맥락에 중점을 둔 상황 중심 학습 접근 방식을 취합니다. 이는 피드백 반응이 발생하는 맥락과 분리될 수 없다는 기존의 연구 결과와 일치합니다[18].
• 둘째, 자기조절은 목표 지향성을 특징으로 하며, 현대 교육은 학습 이득을 위한 변화에 영향을 미치는 피드백에 중점을 둡니다. "루프 닫기"는 적극적인 피드백을 통해 학습자의 현재 수준에서 더 높은 수준으로 이동하는 것을 의미합니다[19]. '변화를 위한 코칭'은 피드백 대화의 R2C2 모델과 관련이 있으며, 코칭은 합의된 개발 계획을 도출하는 협력적인 양방향 피드백 상호 작용의 일부입니다[20].
• SRL은 학습 정보에 대한 학습자의 행동 변화가 학습자의 동기 및 인지와 관련이 있다는 점을 강조합니다. 피드백 반응은 종종 성장 마인드를 가진 동기 부여와 이를 실행하기 위한 인지 능력 적용과 연결됩니다[21].
• 또 다른 주요 특징은 자기조절 학습자가 학습 전략을 지속적으로 점검하고, 재조정하고, 조정하는 재귀적 특성입니다.
• 마지막으로, 반복할 때마다 다른 맥락에 따라 변화하는 역동적인 과정입니다. 

A number of SRL models exist; this study will employ the shared concepts emphasised across three seminal models [15,16,17].

• Firstly, SRL takes a situated learning approach with an emphasis on context. This aligns with established findings that feedback responses cannot be separated from the context in which they occur [18].
• Secondly, self-regulation is characterised by goal-directedness, with contemporary teaching focussing on feedback that effects change for learning gain. “Closing the loop” describes moving from the learner’s current standard to a higher level via actively implementing feedback [19]. “Coaching for change” relates to the R2C2 model of feedback conversations, whereby coaching is part of a collaborative bi-directional feedback interaction resulting in an agreed developmental plan [20].
• SRL emphasises that learner’s behavioural changes in response to learning information relate to their motivations and cognition. Feedback responses are often linked to motivation with a growth mind-set and applying cognitive ability to implement it [21].
• Another key feature is its recursive nature: the self-regulated learner constantly checks, re-calibrates and tweaks learning strategies.
• Finally, it is a dynamic process which alters with each iteration and with differing contexts.

능동적으로 피드백을 받는 학습자는 학습자의 참여와 피드백 수용에 필요한 요소에 대한 이해를 발전시켜 왔습니다. 피드백 리터러시는 이를 바탕으로 학습자가 피드백을 사용하는 행위에서 중심을 잡을 수 있도록 합니다. 자기조절학습(SRL) 이론은 주어진 피드백 상호작용에서 학습자에게 나타나는 역동적인 전략을 탐구할 수 있는 또 다른 렌즈를 제공합니다. 이 이론은 이러한 개념의 측면을 하나의 프레임워크 아래에 통합합니다. SAGE 분류법(자기 평가, 평가 리터러시, 자기 조절, 참여 및 동기 부여)은 능동적인 피드백을 받기 위해 자기 효능감과 열정이 필요함을 나타내며, 이는 자기 신념과 동기가 학습 정보(예: 피드백)가 향후 학습에서 구현되는 방식에 영향을 미친다는 SRL의 주장과 유사합니다. 피드백 리터러시에서 '판단하기'와 '감정 관리하기'의 개념은 각각 메타인지 인식 및 정서 조절의 SRL 측면과 겹칩니다. 따라서 SRL은 이러한 모든 요소가 전체론적 접근 방식과 어떻게 상호 작용하는지 고려하는 중요한 프레임워크로 유용할 수 있습니다.
Proactive recipience has developed understanding of the factors required for learner engagement and uptake of feedback. Feedback literacy builds on this in centring the learner in the act of using feedback. Self-regulated learning (SRL) theory offers another lens to delve in to the dynamic strategies that play out in the learner in any given feedback interaction. It brings together aspects of these concepts under one framework. The SAGE taxonomy (self-assessment, assessment literacy, self-regulation, engagement and motivation) indicates self-efficacy and enthusiasm are needed to for proactive feedback recipience, which parallels SRL’s assertion that self-belief and motivation influence how learning information (such as feedback) is implemented in future learning. The concepts of “making judgments” and “managing emotions” in feedback literacy overlap with SRL aspects of metacognitive awareness and affective regulation, respectively. SRL may be useful therefore as an overarching framework to consider how all these factors interact with a holistic approach.

SRL의 렌즈를 적용하여 자기조절 활동이 학습 개선을 위한 피드백 통합과 어떻게 상호작용하는지 살펴보고자 합니다. 이를 위해 정서적, 인지적, 행동적, 상황적 요인 간에 상호 작용하는 하위 프로세스를 조사하고자 합니다. 이를 통해 피드백이 SRL을 활성화하는지 여부와 방법, 그리고 어느 하위 영역에서 피드백이 상호 작용하는지를 고려할 수 있습니다. 이것이 바로 우리의 연구 질문입니다: 
By applying the lens of SRL, we aim to explore how self-regulatory activity interacts with incorporating feedback for improved learning. We aim to examine sub-processes that interact between affective, cognitive, behavioural and contextual factors. It allows us to consider the feedback interaction in terms of if and how it activates SRL, and at which sub-areas. Hence our research question:

학습자의 피드백 경험은 학습의 자기 조절과 어떤 관련이 있나요?
In what ways do learners’ experiences of feedback relate to self-regulation of learning?

연구 설계 및 방법론적 방향
Study design and methodological orientation

이 연구는 피드백을 참여자, 상황 및 환경적 요인에 의해 구성되는 사회적 행위로 개념화하는 상대주의적 존재론[22]에서 접근했습니다.

• 피드백은 개인과 특정 상황(예: 성적, 대면 평가, 서면 보고서)에 따라 의미가 달라지는 역동적인 개념으로 간주합니다.

피드백에 관한 연구자의 인식론은 사회구성주의적 관점으로,

• 피드백이 의미하는 바는 피드백 활동에 참여하는 사람들의 가치와 신념의 표현이며 특정한 문화적, 사회적 맥락에 내재되어 있습니다.

우리의 방법론적 접근은 의대생들의 생생한 피드백 경험을 해석하는 데 있어 질적 방법을 사용한 탐색적 접근입니다.

• 이 연구는 질적 연구 보고를 위한 통합 기준(COREQ)에 따라 보고되었습니다(부록 B)[23]. 

This study was approached from a relativist ontology [22], where feedback is conceptualised as a social act, constructed by participants, circumstance and environmental factors.

• We consider feedback a dynamic concept which changes meaning depending on the individual and their particular context, e.g. grades, face-to-face appraisals, written reports.

The researcher epistemology regarding feedback is socio-constructivist;

• what feedback means is an expression of the values and beliefs of the participants in the feedback activity and are embedded in the specific cultural and social context.

Our methodological approach is exploratory using qualitative methods in interpreting the lived experience of feedback for medical students.

• This study is reported in accordance with the consolidated criteria for reporting qualitative research (COREQ) (Appendix B) [23].

참여자
Participants

이 연구는 아일랜드 왕립 외과의과대학(RCSI) 의과대학 및 보건과학대학의 의대 4학년 학생을 대상으로 수행되었습니다. 아일랜드, 바레인, 말레이시아의 3개 캠퍼스에서 학생들을 초대하여 참여하게 했습니다. 모든 학생들은 연구 배경과 연구 질문을 설명하는 프레젠테이션을 통해 연구에 대해 소개받았습니다. 각 연구 연도에 대한 평가 및 피드백 정보는 제공되었지만 피드백 사용 방법에 대한 직접적인 교육은 제공되지 않았습니다. 
This study was undertaken with final-year medical students in the RCSI (Royal College of Surgeons in Ireland) University of Medicine and Health Sciences. Student participants from the three campuses in Ireland, Bahrain and Malaysia were invited to participate. All students were introduced to the study with a presentation explaining background to the study and research questions. They are provided with assessment and feedback information for each year of study, but not provided with directed training on how to use feedback.

연구자
Researchers

MS는 의대 졸업반 학생들과 정기적으로 피드백을 주고받는 선임 강사입니다. TP는 보건 전문직 교육 센터의 명예 교수입니다. MS와 TP는 피드백 연구에 참여하고 있으며 피드백 반응에 대한 체계적인 리뷰를 발표했습니다. JL과 MHJ는 학부 교육에 관여하지 않는 기관의 연구원입니다. 일부 저자(SCL, SM, TP, MS, TP)는 교육에 관여하고 있지만, 각 기관의 면접관(JL-아일랜드, MS-바레인, MHJ-말레이시아)은 대인관계 반사성의 원칙과 참가자에게 영향을 미칠 수 있는 힘의 역학을 인식하여 학생 평가 및 학습에 관여하지 않았습니다[24]. 팀 토론을 통해 다양한 내러티브가 해석에 반영될 수 있었습니다 [25, 26]. 
MS is a senior lecturer who regularly engages in feedback with the final-year medical students. TP is professor emerita of the Health Professions Education Centre. MS and TP are involved in feedback research and have published a systematic review on feedback responses. JL and MHJ are researchers at the institution who do not have a role in undergraduate education. Although some authors (SCL, SM, TP, MS, TP) are involved in education, the interviewer at each site (JL-Ireland, MS- Bahrain, MHJ- Malaysia) was not involved in student assessment and learning, in recognition of principles of interpersonal reflexivity and acknowledging the power dynamics that could influence participants [24]. Team discussions facilitated diverse narratives being captured in our interpretation [25, 26].

연구 참여자 모집 및 데이터 수집
Recruitment and data collection

우리 기관은 다국적 멀티캠퍼스 의과대학으로, 101개 국적의 학생들로 구성된 다양한 학생 집단을 보유하고 있습니다[27]. 모든 사이트에서 윤리 승인을 요청하고 받았습니다. 학생들의 피드백 경험을 조사하기 위해 개별 반구조화 인터뷰를 실시했습니다. 인터뷰 가이드를 설계하기 위해 SRL의 이론적 틀을 사용했습니다(부록 A). 각 사이트에서 파일럿 인터뷰를 실시하고 이를 녹음했습니다. MS는 이를 듣고 녹취록을 검토한 후 TP 및 JL과 함께 인터뷰 프로토콜을 다듬었습니다. 각 인터뷰를 시작할 때 참가자들에게 피드백 형식의 예와 광범위한 정의가 제공되었습니다. 참가자들은 피드백을 사용하는 이유와 방법에 대한 예를 포함하여 자신의 경험을 설명하도록 권장되었습니다. 특정 피드백 이벤트를 지정하지 않았기 때문에 참가자들은 어떤 경험에 대해서도 자유롭게 이야기할 수 있었습니다. 국적, 성별, 근무지에 따라 최대한의 다양성을 확보하기 위해 표본을 추출했습니다. 데이터 분석은 5번의 인터뷰 후 시작되었으며, 정보력이 충분하다고 판단될 때까지 반복적으로 진행되었습니다[28]. 
Our institution is a transnational, multi-campus medical school and our student population is diverse, with students from 101 nationalities [27]. Ethics approval was sought and received at all sites. We conducted individual semi-structured interviews to explore students’ feedback experiences. We used the theoretical framework of SRL to design the interview guide (Appendix A). We conducted pilot interviews at each site, which were recorded. MS listened to these and reviewed the transcripts, then refined the interview protocol with TP and JL. On commencing each interview, participants were provided with examples of feedback formats and a broad definition. Participants were encouraged to describe their experiences, including examples of why and how they use feedback. We did not specify particular feedback events, so participants were free to discuss any experiences. We sampled for maximal diversity for nationality, gender and site of study. Data analysis commenced after five interviews and continued iteratively until it was considered that information power was sufficient [28].

데이터 처리
Data processing

아일랜드의 인터뷰는 대면 인터뷰로 진행되었고, 바레인과 페르다나의 인터뷰는 온라인으로 진행되었습니다. 모든 인터뷰는 처음에 전사 소프트웨어(Otter.ai)를 사용하여 녹음하고 전사했습니다. 필사본은 오디오 녹음과 비교하여 정확성을 위해 편집되었습니다. 모든 식별 가능한 정보는 코딩 전에 익명으로 처리되었습니다. 이후 원본 녹취록은 파기되었습니다.
The interviews in Ireland were done in person, those in Bahrain and Perdana were conducted online. All interviews were recorded and transcribed initially using transcription software (Otter.ai). Transcriptions were edited for accuracy, by comparing with audio recordings. All identifiable information was anonymised prior to any coding. Original recordings were subsequently destroyed.

데이터 분석
Data analysis

주제별 분석에 대한 체계적인 접근법으로 템플릿 분석을 선택했습니다. 이 방법은 우리처럼 대규모 데이터 세트를 관리할 때 유용합니다. 템플릿 분석은 높은 수준의 구조를 가진 계층적 코딩의 사용을 강조합니다. 또한 선험적 코드, 즉 현재 데이터를 검토하기 전에 개발된 코드를 사용할 수 있습니다[29]. 이는 피드백 반응에 대한 이전의 체계적인 검토 결과[4]를 통해 이 분석에 정보를 제공하는 데 용이했습니다. 우리는 6단계 프로세스를 따랐습니다 [30]:
We chose template analysis as a systematic approach to thematic analysis. It is useful when managing large data sets such as ours. It emphasises use of hierarchical coding with high level of structure. It also allows for a priori codes, codes developed before examining the current data [29]. This facilitated informing this analysis with findings from a previous systematic review of feedback responses [4]. We followed the six-stage process [30]:

1. 데이터에 익숙해지기
1.Familiarisation with data

MS와 TP가 녹취록을 읽고 다시 읽었습니다.
MS and TP read and re- read the transcripts.

2. 예비 코딩
2.Preliminary coding

MS는 자기조절 학습 이론의 개념에 부합하는 피드백 응답을 바탕으로 선험적 주제를 제안했습니다. 그런 다음 MS는 각 캠퍼스 현장을 대표하는 다양한 국적과 성별의 학생을 대상으로 귀납적으로 새로운 코드를 선별했습니다. 한 줄 한 줄 코딩하는 대신, 각 녹취록을 읽고 다시 읽으면서 연구 질문과 관련된 상위 주제와 하위 주제를 파악했습니다.
A priori themes were suggested by MS based on feedback responses aligned to concepts of self-regulatory learning theory. MS then inductively screened for new codes initially on a selection of interviews representing each campus site, students of varying nationality and gender. Rather than coding line-by-line, each transcript was read and re-read to identify high-level themes and sub-themes relevant to the research questions.

3. 클러스터링
3.Clustering

새로 식별된 주제는 시각적 매핑을 통해 기존 주제와 클러스터링했습니다. 분석에 도움이 되지 않는다고 판단되는 선험적 코드는 제거했습니다.
Newly identified themes were clustered with existing ones via visual mapping. A priori codes which were agreed to be unhelpful in the analysis were removed.

4. 초기 템플릿 생성
4.Producing an initial template

상위 테마(MS)를 클러스터링하여 템플릿 초안을 개발했습니다.
A draft template was developed from the clustering of high-level themes (MS).

5.템플릿 적용 및 발전
5.Applying and Developing the template

추가적인 반복 분석과 토론(MS, TP)이 이어지면서 템플릿은 주요 주제와 하위 수준 코드의 최종 합의된 계층 구조로 수정되었습니다(MS).
As further iterative analysis and discussion ensued (MS, TP), the template was revised to a final agreed hierarchy of major themes and lower-level codes (MS).

6. 최종 해석
6.Final Interpretation

주요 주제는 합의(MS, TP)를 통해 합의되었으며 최종 템플릿은 세 가지 중요한 영역으로 구성되었습니다. 응답자 검증을 위해 분석 결과를 학생들에게 피드백했으며, 큰 변경은 필요하지 않았습니다(MS)[31].
Major themes were agreed by consensus (MS, TP) and the final template consisted of three overarching domains. We fed back our analysis to students for respondent validation, and no significant changes were required (MS) [31].

템플릿 진화
Template evolution

표 1에는 템플릿의 진화에 대한 자세한 정보가 나와 있습니다. 

• 초기 선험적 코드는 피드백 응답에 대한 이전의 체계적 검토에서 도출되었습니다. 
• 템플릿의 두 번째 반복은 세 가지 중요한 영역, 즉 핀트리치 SRL 모델에 특정한 피드백에 의해 활성화되는 SRL 프로세스로 구성되었습니다[15]. MS와 TP는 이 템플릿을 사용하여 대본을 코딩하여 테마를 평가하고, 새 테마를 추가하고, 기존 테마를 삭제 또는 수정하고, 테마 및 하위 테마의 계층 구조를 다시 정렬했습니다. 이를 통해 
• 세 번째 템플릿 반복을 개발하게 되었으며, 구체적으로 식별된 SRL 응답의 하위 테마가 발생하는 분류로서 지원적 피드백 경험과 비지원적 피드백 경험에 명확히 초점을 맞추게 되었습니다. 
• 최종 반복에서는 경험 유형(지원적 및 비지원적)과 SRL 반응을 이러한 변조의 조정 요소로 통합하여 학습 변조의 세 가지 중요한 영역을 적용합니다.

Table 1 includes more information on evolution of the template.

• Initial a priori codes were derived from a previous systematic review on feedback responses.
• The second iteration of the template consisted of 3 overarching domains: the SRL processes activated by feedback specific to the Pintrich model of SRL [15]. MS and TP used the template to code transcripts to evaluate for themes, add new themes, delete or modify existing themes and re-order the hierarchy of themes and sub-themes..
• This led to the development of the third template iteration, with a clarified focus on supportive and unsupportive feedback experiences as classifications under which sub-themes of the specifically identified SRL responses occurred.
• The final iteration applies three overarching domains of modulation of learning from integrating the experience type (supportive and unsupportive) and SRL responses as moderating factors of these modulations.

57명의 학생 인터뷰를 실시했습니다(표 2의 인구 통계). 
Fifty-seven student interviews were conducted (demographics in Table 2).

메타인지 지식과 신념의 조절
Modulation of metacognitive knowledge and beliefs

SRL은 역량 달성을 위한 인지적, 정서적, 행동적 과정의 변조를 설명합니다. 학습자는 피드백이 학습에 대해 생각하는 방식에 영향을 미치는 여러 가지 방법을 설명합니다(인지적 변조). 학습자는 피드백을 사용하여 자기 평가하고 동료와 비교하여 자신의 능력을 파악합니다. 때때로 자기 평가와 피드백이 일치하지 않을 때 긴장이 발생하기도 하지만, 학습자들은 대부분 반성 후 좋은 의도의 비평을 받아들인다고 말합니다: 
SRL describes modulation of cognitive, affective and behavioural processes to achieve competence. Learners describe a number of ways in which feedback affects how they think about learning (cognitive modulation). They use feedback to self-evaluate and locate their ability against their peers. Occasional tension arose when self-evaluation did not align with feedback; however learners mostly indicate accepting well-intended critique after reflection:

"이 선생님은 우리를 도우려는 좋은 선생님이라는 것을 알았기 때문에... 우리가 얼마나 못했는지에 대해 지적을 해도 해를 끼치려는 것이 아니라는 것을 알기 때문에 받아들입니다. 그들은 우리를 도우려는 것뿐입니다. 그래서 우리는 그것을 받아들일 것입니다."(S10).
“We knew that this teacher is a nice teacher who's trying to help us…So if they made a comment about how bad we were, we accept that because we know they're not trying to be harmful. They're just trying to help us. So we will accept that” (S10).

피드백 상호작용에서 경멸적인 언어와 인격에 대한 공격이 사용되었을 때 자기효능감에 부정적인 영향을 미쳤습니다. 이들은 그 후 오랜 기간 동안 "굴욕감"과 "황폐함"을 느꼈다고 보고했습니다. 이들은 이러한 피드백과 피드백이 자신의 능력에 미치는 영향에 대해 반추합니다. 
Feedback interactions negatively affected self-efficacy when derogatory language and attacks on their character were employed. They report feeling “humiliated” and “devastated” for long periods afterwards. They ruminate on this feedback and its implications of their ability.

피드백은 학습 자체와 관련된 학습자의 신념을 조절합니다. 참가자들은 긍정적인 피드백을 받은 후 특정 활동에 더 깊이 참여하게 되었다고 말합니다. 일반적으로 학습에 대한 열정이 새로워지고 향후 활동에서 적극적으로 피드백을 구하게 되었다고 설명합니다. 학습자는 피드백이 적대적일 때 학습 가치를 하향 조정했습니다. 이들은 피드백을 '무의미한 것'으로 묘사하고 학습을 '포기'하는 것에 대해 이야기합니다. 자세한 예는 표 3에 나와 있습니다.
Feedback modulates learners’ beliefs related to learning itself. Participants describe deeper engagement with a particular activity following a positive feedback encounter. They describe a renewed enthusiasm for learning in general and active feedback-seeking in future activities. Learners adjusted learning value downwards when feedback encounters were hostile. They describe feedback as “pointless” and talk about “walking away” from learning. Further examples are provided in Table 3.

학습 목표의 조절
Modulation of learning goals

SRL 이론은 학습에 있어 동기 부여와 효과적인 영향을 인정합니다. 연구 결과에 따르면 피드백은 학습 목표와 관련하여 이러한 요소와 상호작용하는 것으로 나타났습니다. 이는 크게 두 가지 주제로 나뉩니다: 동기 부여와 노력 투자, 그리고 감정 보호/스트레스 요인 회피입니다.
SRL theory acknowledges motivational and effective influences in learning. Our findings indicated feedback interacts with these factors in relation to learning goals. These came under two main themes: Motivation and effort investment and Protecting Emotions/Avoiding Stressors.

동기 부여 및 노력 투자
Motivation and effort investment

지원적인 피드백 경험은 특히 슈퍼바이저가 있는 곳에서 참가자들의 열정을 불러일으켰습니다. 
Supportive feedback experiences inspired enthusiasm in participants, particularly where the supervisor was.

"여러분이 발전하는 모습을 보고 싶어 하고, 여러분이 한 걸음 더 나아갈 수 있도록 열정적으로 도와주니 정말 변화하고 싶다는 동기가 생겼어요."(S8).
“really engaged in wanting to see you improve and is passionate about, you know, helping you make those extra steps, it really motivates me to change” (S8).

참가자들은 학습 활동에 투자하는 시간이나 노력을 늘림으로써 이를 활용했습니다. 목표를 재조정하고, 학습 일정을 변경하고, 학습 활동을 추가했습니다. 이는 성과가 최선이 아니더라도 피드백 경험이 건설적이었다면 더 많은 계획과 학습에 투자했을 때에도 일어납니다. 참가자들은 일반적으로 노력 투자에 부정적인 영향을 미치는 형식적인 피드백을 경험합니다:
Participants harnessed this by increasing time or effort on the learning activity. They re-calibrate targets, change study schedule, and add study activities. This happens even when their performance was sub-optimal: as long as the feedback experience was constructive, they invested more planning and studying. Participants commonly experience perfunctory feedback which negatively affects effort investment:

"(피드백은) 예상된 것이기 때문에 그냥 비평만 하는 것이기 때문에 피드백 세션을 마치고 나면 '내가 왜 참석했을까? 유용한 건 하나도 없었는데"... "피드백을 위한 피드백"(S8)이라는 생각을 하게 됩니다. 
“(they are) just sort of providing critique, because it's expected, so I leave a feedback session being like, “why did I even bother showing up? Like, nothing useful happened there”…you know, feedback for the sake of giving feedback” (S8).

적대적인 경험을 한 학생은 의욕을 잃은 반면, "부끄럽고 슬프지만 기억할 거예요... 시험에서 실수하는 것보다 수업 중에 부끄러워하는 것이 더 낫죠"(S48)라고 주장하는 학생도 있습니다.
With hostile experiences, some students are demotivated, while others argue that “I'll feel ashamed and sad…But I will remember it…so better ashamed during the class, rather than you make mistakes in the exam” (S48).

감정 보호/스트레스 요인 피하기
Protecting emotions/avoiding stressors

학습자는 위협을 받는다고 느끼는 피드백을 피합니다. 이는 학습자가 "굴욕적", "당황스럽다", "공격적"이라고 묘사하는 이전 경험에서 비롯됩니다. 학습자는 그 상황에서 벗어나는 데 집착하게 됩니다. 이는 향후 학습에 영향을 미치며, 일부는 반복되는 사건을 피하기 위해 노력합니다. 한 참가자는 "그가 나를 많이 괴롭혔다"고 느꼈던 피드백 상황을 설명하며 눈물을 흘렸고, "그 경험 때문에 컨설턴트와 이야기하는 것이 두렵다"고 말하며 더 이상 적극적으로 피드백을 구하지 않는다고 말했습니다(S11). 이는 또한 불출석으로 나타나기도 했는데, 특정 상사나 활동(예: 병동에서 발표하는 것)을 피하는 것으로 나타났습니다. 자세한 예는 표 4에 나와 있습니다. 
Learners avoid feedback where they feel threatened. This stems from prior experiences they describe as “humiliating”, “embarrassing” and “aggressive”. They becomes fixated on escaping. This colours future learning where some go out of their way to avoid a repeat incident. One participant broke down in tears describing a feedback situation where they felt “he was picking on me a lot” and goes on to say they no longer actively seek feedback, “that’s why I'm scared to talk to the consultants because of that experience” (S11). This also manifested as non-attendance; avoiding specific supervisors or activities, e.g. presenting on wards. Further examples are provided in Table 4.

학습 전략의 조절
Modulation of learning strategies

SRL은 학습자가 자신의 상황 내에서 자신의 진행 상황을 모니터링하고 그에 따라 적응할 것을 요구합니다. 학습자들은 피드백과 관련하여 학습 설계 방식이 영향을 미친 두 가지 주요 영역을 설명합니다. 이는 크게 두 가지 주제로 분류됩니다: 전략 선택과 전략 조정.
SRL requires the learner to monitor their progress within their context and adapt accordingly. In relation to feedback, our learners describe two key areas where how they design their learning was affected. These are broadly categorised under two themes: Selecting strategies and adapting strategies.

전략 선택하기
Selecting strategies

학습자들은 피드백을 학습 전략으로 전환하는 데 어려움을 표했습니다. 그들은 명확한 '다음 단계'를 제시하는 피드백을 선호했습니다. 그들은 다음과 같이 말합니다: 
Learners expressed difficulty translating feedback in to learning strategies. They favoured feedback which gave clear “next steps”. They comment that:

"무엇을 해야 할지는 알지만 어떻게 해야 할지는 모르겠다"(S50).
“you'll know what you need to do but you don't know how” (S50).

"좋은" 피드백은 감독자가 단순히 어떤 작업이 필요한지보다는 어떻게 변화할지를 제안하는 것을 의미했습니다. 한 학습자는 그 피드백을 이렇게 설명합니다: 
“Good” feedback meant when supervisors suggested how to change rather than just what needed work. A learner explains that feedback:

"중요한 점에 집중할 수 있도록 도와주셨어요... 그런 조언을 해주지 않았다면 저는 실제로 병동에 가지 않았을 것입니다. 피드백은 제가 개선하기 위해 무엇을 해야 하는지 정확하게 알려주었기 때문에 매우 긍정적이었습니다."(S4). 
“helped me to concentrate on important points…And if he didn't give me that advice, I wouldn't actually go to the wards. And so that was very positive because it really directed me towards exactly what I need to do to improve” (S4).

이들은 발달 영역이 확인된 피드백을 어떻게 다룰 것인지에 대한 명확한 방향이 없으면 이를 활용할 전략을 선택하기가 어렵다는 것을 알게 됩니다. 이 중 일부는 모호한 의견에서 비롯되었습니다: 
They find it challenging to select strategies to use feedback which identified developmental areas, without explicit direction in how to address these. Some of this came from vague comments:

"모든 것이 괜찮다"는 식의 피드백을 주면 어떻게 해야 하나요?" (S45).
“if you give me feedback, like "everything's Okay", what am I gonna do with it?” (S45).

이들은 명확성을 확보하려는 시도가 실패하여 이 전략을 포기하게 되었다고 설명합니다: 
They describe unsuccessful attempts to gain clarity, lead to abandoning this strategy:

"저는 그냥 질문을 그만뒀어요... 저는 중고등학교 때 선생님들과 함께 살면서 서로가 같은 생각을 할 때까지 모든 것을 물어봤어요... 여기서는 기본적인 질문을 해도 제대로 된 대답을 들을 수 없으니까요... 그래서 그냥 질문을 그만뒀는데, 끔찍하죠. 지금은 많은 것을 이해하지 못하니까요. 물어볼 사람이 없어요" S26. 
“I just stopped asking questions …I would live with the teachers in secondary school…and ask everything until we both were on the same page… Here, you can ask a basic question and you don’t get a proper response… So I just stopped asking, which is awful. Because now I don't understand lots of things. I have no one to ask” S26.

적응 전략
Adapting strategies

저희는 이를 행동 전략, 인지 전략, 감정 관리를 위한 분리라는 세 가지 주제로 나누었습니다. 
We have divided these in to three themes: behavioural strategies, cognitive strategies and disengagement to manage emotions.

행동 전략
Behavioural strategies

참가자들은 신체검사의 기법 변경, 병력 청취 시 질문 추가, 구조와 우선순위를 조정한 사례 발표 등 과제별 행동에 피드백을 통합하는 방법에 대한 다양한 사례를 제공했습니다. 
Participants provided many examples of how they incorporated feedback in to task-specific actions, e.g. changing technique in physical examination, adding questions in history-taking, presenting cases with tweaks to structure and prioritisation.

인지 전략
Cognitive strategies

피드백은 인지 학습 전략에 더 다양한 영향을 미쳤습니다. 참가자들은 약리학 지식을 위한 특정 앱을 사용하거나, 프레젠테이션을 서면 연습에서 구두 연습으로 학습 방향을 바꾸는 등 과제 또는 활동별 조정을 쉽게 실행했습니다.
Feedback had more variable influences on cognitive learning strategies. Participants readily implemented task or activity-specific tweaks, e.g. using a specific app for pharmacology knowledge, redirecting study from written to verbal practice of presentations.

학습 전략에 대한 보다 정교한 점검이 제안되었을 때 학생들의 반응은 엇갈렸습니다. 어떤 학생들은 기꺼이 적응하겠다는 반응을 보였고, 어떤 학생들은 신뢰할 수 있는 전략을 바꾸는 것이 불편하다고 말했습니다;
When more elaborate overhaul of their study strategy was suggested, responses were mixed. Some were open to adapt; others were uncomfortable changing reliable strategies, saying;

"이 시점에서 제 공부 습관이 꽤 굳어졌어요...., 지금까지는 잘 해왔어요, 누군가 저에게 모든 것을 완전히 바꾸라고 하면 조언에 감사할 뿐 실제로 실행하지는 않을 거예요"(S4).
“I've found my studying habits to be pretty set in stone at this point…., they've done me well, up until now, if somebody told me to completely revamp everything, I would thank them for their advice and not actually implement it” (S4).

학습자는 후속 학습 전략에 통합할 피드백 요소를 정기적으로 골라 선택합니다:
Learners regularly pick and choose which elements of feedback to incorporate in subsequent learning tactics:

"피드백이 좋은지, 나쁜지, 사용할 만한 가치가 있는지 등 피드백을 필터링하는 것이 중요합니다."(S1).
“it's a lot about filtering the stuff that comes, whether it's good, whether it's bad, you know, if there's something worth using, to go with it” (S1).

참여도 저하
Disengagement

학습자는 피드백이 적대적인 것으로 인식될 때 참여를 중단합니다. 이러한 상황은 빈번하게 발생하며 경멸적인 언어, 부정적인 비언어적 커뮤니케이션(눈동자 굴리기, 한숨, 훈계하는 어조), 끼어들기 및 고함, 인격이나 의사로서의 능력에 대한 언급 등 여러 가지 형태로 나타납니다. 피드백 메시지가 잠재적으로 유용할 수도 있지만, 일부는 의식적으로 무시하기도 합니다:
Learners disengage when feedback is perceived as hostile. Such encounters are frequent and have several manifestations—derogatory language, negative non-verbal communication (eye-rolling, sighing, admonishing tone), interrupting and shouting, making comments about character or ability to be a doctor. While the feedback message may be potentially useful, some consciously walk away:

"상대방이 한 말이 사실이든 아니든, 내가 불편하게 느낀 방식으로 표현했고 마음에 들지 않는다면 그냥 "그거 알아? 아니, 고마워요"라고 말할 것입니다. 프로페셔널하게 대하지 않을 거라면 "안녕히 가세요"라고 말하죠.
“Whether what they said is true or not, if they phrased it in a way that I felt uncomfortable with, and I didn't appreciate, I will just be like "do you know what? Nah, thanks". If you're not going to be professional then, “Bye””S30.

다른 사람들은 그 순간에 부담을 느낍니다:
Others feel overwhelmed in the moment:

"나는 문을 닫았다. 어린아이가 된 기분이에요, 정말 싫어요."(S2).
“I shut down. I feel like a small child, I hate it” (S2).

이러한 피드백을 사용하지 않거나 사용할 수 없다고 생각하지만, 많은 학습자가 피드백에 많은 시간을 할애합니다: 
While they feel they will not or cannot use this feedback, many learners spend a lot of time with it:

"나는 그것에 대해 숙고할 것이다... 나는 그것에 대해 꽤 오랫동안 생각할 것이다. .... 만약 그것이 매우 가혹하다면, 그것은 영원히 남아있을 것이다"(S49).
“I'll be like pondering over it…I'll be thinking about it quite some time ….if it's very very harsh, then it will remain forever” (S49).

더 많은 예가 표 5에 나와 있습니다. 
Further examples are provided in Table 5.

이 연구는 의대생들의 피드백 경험이 학습의 자기조절과 어떤 관련이 있는지 살펴보고자 했습니다. 이는 확립된 이론적 틀에 기반하여 미래 학습의 관점에서 피드백 반응을 고려했다는 점에서 문헌에 중요한 추가 사항입니다. 다양한 학생 집단을 대상으로 세 곳의 해외 사이트에서 연구를 수행함으로써 연구 결과의 신뢰성이 더욱 강화되었습니다. 
This study sought to explore how medical students’ experiences of feedback relate to self-regulation of learning. This is an important addition to the literature as it considers feedback responses from the perspective of future learning, underpinned by an established theoretical framework. The trustworthiness of our findings are strengthened by having conducted this research across three international sites with diverse student populations.

연구 결과에 따르면 의대생들은 피드백을 자신과 함께 하는 것이 아니라 자신에게 일어나는 것으로 인식하는 경우가 많습니다. 최근의 피드백 연구와 대조적으로, 학생들은 향후 학습에 피드백을 포함시키기 위해 평가자가 주도하는 교육을 기대하는 경우가 많다는 것을 보여줍니다. 학습자가 자기 조절을 위해 피드백을 사용하면 메타인지적 학습 전략과 행동적 학습 전략이 모두 변화하지만, 이는 특히 피드백이 감정에 미치는 영향에 따라 맥락화됩니다.
Our findings indicate that medical students often perceive feedback as something that happens to them, rather than with them. Contrasting with contemporary feedback research, we show that they often expect rater-led instruction in order to embed it in future learning. When learners use feedback to self-regulate, they change both metacognitive and behavioural learning strategies, but this is contextualised particularly by how feedback affects their emotions.

학습자들은 좋은 피드백을 명시적인 지시라고 설명했습니다. 이는 '어떻게' 또는 '무엇을' 하라는 지시를 받으면 쉽게 변화하는 과제별 피드백의 사례에서 더욱 강조됩니다. 최근의 피드백 모델은 공동 구성에 중점을 둔 학습자 주도 계획[20, 32]에 초점을 맞추고 있는데[33], 이는 참가자들이 피드백을 개념화하는 방식과 상충됩니다. 졸업후교육 연구에서 비롯된 모델은 의대생의 자기조절 능력을 과대평가한 것일 수 있습니다. 주니어 학습자는 학습을 탐색하는 데 더 많은 지원이 필요하며, '노력형'과 같이 무엇을 해야 하는지 알려줘야 하는 특정 학습자 '유형'이 존재할 수 있다는 것은 이미 밝혀진 사실입니다[34]. 따라서 교육자들은 학부 맥락에서 보다 명확한 지원과 점진적인 책임 분담을 제공하기 위해 대학원 모델을 수정해야 할 수도 있다는 점을 고려할 것을 권장합니다. 
Learners described good feedback as explicit direction. This was further emphasised by examples of enacted task-specific feedback- they readily changed when told “how” or what”. Recent feedback models focus on learner-led planning [20, 32], with a focus on co-construction [33]; this is at odds with how our participants conceptualise it. It may be that models originating from postgraduate research overestimate the self-regulatory abilities of medical students. It is established that junior learners need more support in navigating learning and certain learner “types” can exist such as “effortful”, who need to be told what to do [34]. Therefore, we encourage educators to consider that postgraduate models may require modification to provide this more explicit support and gradual sharing of responsibility in undergraduate contexts.

피드백을 해독하는 데 있어 학습자의 한계나 피드백 리터러시 개념은 새로운 것이 아닙니다[13, 35]. 이 연구는 학습자가 피드백에 의해 어떻게 도전을 받는지에 대해 알려진 것을 확장합니다. 의대생은 피드백의 의미와 실행 방법을 이해하는 데 있어 적극적인 참여자라기보다는 정보의 수신자로서의 위치에 있습니다. 많은 연구에서 높은 수준의 자기조절 능력을 가진 학습자조차도 독립적으로 학습 전략을 개발하는 데 어려움을 겪는다는 사실을 뒷받침합니다[36, 37]. 학습자는 학습이 진행됨에 따라 학습을 통제해야 할 필요성을 인식하지만[38], 이러한 과정을 안내하는 것이 매우 중요해 보입니다.
Neither the concept of learners’ limitations in decoding feedback, nor feedback literacy are new [13, 35]. This study extends what is known about how learners are challenged by feedback. Medical students position themselves as recipients of information rather than active participants in making sense of what feedback means and how to enact it. Much work supports that even learners with high levels of self-regulation struggle to develop their learning strategies independently [36, 37]. Learners identify a need to take control of learning as they progress [38] but guidance through this progression appears critical.

학습자가 피드백을 중요하게 생각하더라도 피드백을 사용하지 않을 수도 있습니다. 학습 습관과 같은 인지적 전략은 뿌리 깊게 박혀 있어, 이를 바꿀 가치가 있다고 인정하면서도 변화를 고려하는 참가자는 소수에 불과했습니다. 학습에 대한 학생들의 신념은 비교적 안정적이며 피드백과 상호작용하는 방식에 영향을 미칩니다[16, 39]. 두 번째 수준의 경험은 의대생이 사전 학습에서 관행을 가져와서 더 절대주의적인 입장을 조장할 수 있습니다[40][41]. 학습 전략에 영향을 미치는 데 있어 피드백보다 기존의 신념이 더 중요할 수 있습니다.
Even when learners value feedback, they may choose not to use it. Cognitive strategies such as study habits were ingrained: only a few participants would consider changing them, even while acknowledging this could be worthwhile. Students’ beliefs about learning are relatively stable and influence how they interact with feedback [16, 39]. Second- level experiences potentially foster more absolutist stances [40] with medical students importing practices from prior learning [41]. It is possible that their pre-existing beliefs out-weigh feedback in affecting their learning strategies.

지지적이지 않은 경험은 학생에게 갈등을 야기합니다. 학습자는 인지적으로는 피드백이 잠재적으로 유용하다고 판단할 수 있지만, 적대적으로 전달되는 피드백 때문에 참여를 중단하거나 감정적인 압도감으로 인해 학습에 집중할 수 없게 됩니다. Sargeant는 또한 부정적인 감정이 피드백을 받아들이는 데 장애가 된다는 사실을 확인했습니다[42]. 연구 결과에 따르면 부정적인 감정이 학생의 피드백 반응을 유도하는 데 있어 다른 고려 사항보다 더 중요하다고 합니다. 이전 연구에 따르면 학습자[43]는 관찰된 능력이 학습자의 자아 개념과 상충할 때 긴장을 경험한다고 합니다[43, 44]. 우리의 연구 결과는 이러한 선행 연구 결과와 다릅니다. 개인의 약점을 강조하는 피드백은 학습자를 실망시키지만, 적대적인 피드백은 감정적으로 과부하가 걸리고 학습을 방해한다는 점에서 이와는 구별됩니다. 우리는 부정적인 감정이 "나쁘다"는 것이 아니라 학습에 외재적 동기 부여가 잠재적인 역할을 한다는 것을 인정합니다[45, 46]. 우리는 감정이 문제가 아니라 심리적 안전의 부족이 문제라고 제안합니다 [47]. 학생들이 SRL에 참여하는 능력은 긍정적인 감독자 관계의 영향을 받으며[48], '불확실한' 학습자는 감독자 관계와 안전한 환경에 따라 효율적으로 자기 조절을 할 수 있습니다[34]. 피드백에서 감정의 담론을 성찰적 실천으로 활용하고, 슈퍼바이저가 동맹이 되어 성찰을 촉진하면 수용과 건설적인 사용으로 재구성할 수 있습니다[20, 49].
Unsupportive experiences create a conflict for students. While the learner may judge cognitively that the feedback has potential use, they either choose to disengage because of the hostile delivery, or they are incapable of engaging, because the emotional overwhelm distracts them from learning. Sargeant also identified that negative emotions are a barrier to accepting feedback [42]. Our findings suggest that negative emotions outweigh other considerations in guiding students’ feedback response. Previous work reports learners [43] experience tension when observed ability conflicts with the learner’s self-concept [43, 44]. Our findings are distinct from these prior findings. Feedback that highlights personal weaknesses disappoints but feedback that is hostile is distinct from this: it emotionally overloads and derails learning. We do not suggest that negative emotions are “bad”; we acknowledge their potential role in extrinsic motivation of learning [45, 46]. We propose that the emotions are not the problem, the lack of psychological safety is [47]. Students’ ability to engage with SRL is influenced by positive supervisor relationships [48], and the “uncertain” learner depends on supervisor relationships and a safe environment to self-regulate efficiently [34]. Employing the discourse of emotion in feedback as reflective practice, whereby supervisors are allies and facilitate reflection can reframe towards acceptance and constructive use [20, 49].

효율적인 자기 조절자는 피드백을 더 많이 활용합니다[2, 50]. 우리의 연구 결과는 '사용'이 모든 SRL 반응을 반영하지 않을 수 있음을 시사합니다. 사용은 종종 외부에서 관찰할 수 있는 결과인 반면, SRL은 학습자의 내부 규제 과정과 그에 따른 관찰 가능한 변화를 모두 반영합니다 [2]. 학습자들은 '사용'이라고 표현하기는 부적절하지만, 학습을 크게 변화시킨 내부 반응을 설명합니다. 첫째, '사용'은 선형적이지 않았습니다. 동일한 학습자가 다른 맥락에서 피드백을 사용하거나 거부하는 것을 설명합니다. 둘째, 학습자는 사용하지 않는 피드백에 많은 시간을 소비합니다. 학습자들은 이러한 피드백에 대해 반추합니다. 일부는 자신감과 동기를 잃고, 일부는 피드백 및 관련 학습 과제를 평가 절하합니다. 학습자는 이러한 반응을 향후 학습에 반영합니다. 이러한 눈에 보이지 않는 반응은 학습 가치와 후속 행동에 큰 영향을 미칩니다.
Efficient self-regulators make more use of feedback [2, 50]. Our findings suggest that “use” may not reflect all SRL responses. Use is often an externally observable outcome, whereas SRL reflects both the learner’s internal regulatory processes and the subsequent observable changes [2]. Our learners describe internal responses which are inadequately represented by “use” but significantly changed their learning. Firstly, “use” was not linear- the same learner describes using feedback and rejecting it in different contexts. Secondly, learners spend a lot of time with feedback that they do not use. They ruminate on this feedback.. Some lose confidence and motivation; some devalue feedback and the associated learning task. They take these responses with them to their future learning. These invisible responses have significantly impacted their learning values and subsequent actions.

교육자를 위한 시사점
Implications for educators

학습자는 피드백에 기반한 전략 선택에 어려움을 겪습니다.
Learners struggle to select strategies based on feedback

학습자는 피드백을 실질적인 전략으로 전환하는 데 어려움을 겪습니다. 의과대학 학부생들은 교사가 단계별 실행 계획을 명시적으로 제시할 것이라는 기대가 있으며, 공동 개발에서 학습자의 역할에 대한 고려는 거의 없습니다. 교육자는 학습자가 전략에 대해 점진적으로 더 많은 소유권을 갖도록 장려하고, 교사는 지도가 필요한 부분을 입력함으로써 학습자의 자기 조절력을 키워야 합니다. 이전 연구에 따르면 문제 기반 학습(PBL) 맥락에서의 퍼실리테이션은 학습자가 학습 계획을 세우는 데 도움이 됩니다[51]. 교육자는 성찰적 피드백 대화를 사용함으로써 학습자의 자율성을 높이고 피드백을 통한 자기 조절에 참여할 수 있습니다[52].
Learners find it hard to translate feedback into tangible strategies. There is an expectation in undergraduate medical students that the teacher will provide an explicit step-by-step action plan, and little consideration for learner role in co-development. Educators should foster learners’ self-regulation through encouraging incrementally more ownership of strategies, with teachers inputting where guidance is needed. Previous work indicates that facilitation in a problem-based learning (PBL) context helps learners to generate learning plans [51]. By employing reflective feedback conversations, educators can increase learner agency and engagement in self-regulation with feedback [52].

학습자는 피드백을 실행하는 데 장애가 되는 안정적인 학습 신념을 가지고 있을 수 있습니다.
Learners may have stable learning beliefs that are a barrier to enacting feedback.

학습자가 학습에 대한 기존의 신념을 가지고 있는 경우, 피드백을 통해 조언되는 변화와 충돌할 수 있습니다. 교육자 및 동료와의 성찰 대화 및 자기 평가는 학습자가 피드백에서 자신의 역할을 이해하고 인식하는 데 도움이 되며[53], 잠재적으로 개발을 제한하는 선입견에 도전할 수 있습니다. 
When learners have pre-existing beliefs about learning, they may be in conflict with changes advised via feedback. Facilitated reflection conversations with educators and peer and self-assessment help learners understand and appreciate their role in feedback [53]; potentially challenging preconceived notions that limit development.

학습자가 안전하지 않다고 느낄 때 피드백은 듣지 않습니다.
Feedback goes unheard when learners feel unsafe

첫째, 피드백 상호 작용에서 빈번하게 적대감으로 인해 감정적 반응이 흔하게 나타나며, 이는 이후의 태도, 참여도 및 학습 가치에 영향을 미칩니다. 학습자는 괴로울 때 피드백 메시지를 처리하기보다는 감정을 관리하는 데 에너지를 쏟습니다. 피드백 리터러시는 학습자가 비평을 처리할 때 자신의 감정을 관리할 것을 요구하지만, 이는 노골적인 적대감을 처리하는 것과는 구별됩니다. 피드백 리터러시를 갖춘 교육자는 취약성을 인식하고 학생의 감정이 존중되는 안전한 환경을 조성하여 피드백 메시지를 들을 수 있도록 합니다.
Firstly, emotional reactions are commonplace due to frequent hostility in feedback interactions, and influence subsequent attitude, engagement and learning values. Learners direct their energy to managing emotions rather than processing feedback messages, when they are distressed. While feedback literacy requires the learner to manage their emotions in navigating critique, this is distinct to handling overt hostility. Feedback-literate educators will recognise vulnerability and create a safe environment where students’ emotions are respected, allowing feedback messages to be heard.

시행하지 않는다고 해서 영향이 없는 것은 아닙니다
Not implemented does not mean no impact

피드백을 사용하지 않는 것을 무시하는 것과 혼동해서는 안 됩니다. 학습자는 종종 피드백을 숙고하는 데 많은 시간을 소비합니다. 무반응은 때로는 자신감의 '파괴'로 인한 마비, 때로는 학습 및 학습 목표에 대한 평가 절하를 나타냅니다. 교육자는 학습자가 무관심하다고 가정하기보다는 학습자가 피드백을 적용하지 않게 된 원인을 파악하기 위해 학습자와 함께 세심한 탐색을 수행할 것을 권장합니다. 이는 '효과적인' 피드백을 평가하는 방법에도 영향을 미치며, 학습자와 학습자의 성과에서 관찰 가능한 변화와 더불어 성찰을 촉진하는 데 초점을 맞춰야 합니다. 피드백 활동에서 SRL을 지원하기 위한 주요 결과와 제안된 접근 방식에 대한 요약은 표 6에 나와 있습니다.
Not using feedback should not be confused with ignoring it. Learners often spend a lot of time pondering feedback. They indicate inaction is sometimes paralysis from “destroyed” confidence, sometimes devaluation of learning and learning goals. Rather than assuming indifference, we encourage educators to undertake sensitive exploration with learners to identify what may have led them to not apply feedback. This also has implications for how we evaluate “effective” feedback; a focus on facilitated reflection should be considered in addition to observable changes in the learner and their performance. A summary of our key findings and suggested approaches to supporting SRL in feedback activities is provided in Table 6.

강점 및 한계
Strengths and limitations

이 연구는 학습의 이론적 틀 안에서 피드백 반응을 해석하는 데 있어 독특합니다. 이를 통해 이러한 반응을 학습 행동과 연계할 뿐만 아니라 학습의 인지적, 메타인지적, 효과적, 행동적 측면을 인정합니다. 템플릿을 여러 번 반복하여 개발함으로써 주제 간의 상호 연결과 상호작용에 대한 풍부한 이해를 촉진했습니다. 국제적인 연구팀이 참여하여 다양한 맥락에서 해석할 수 있었습니다. 다양한 배경과 경험을 가진 다양한 국적의 학생들을 대상으로 한 이 다중 사이트 연구는 연구 결과의 적용 가능성을 높였습니다. 우리는 피드백에 대한 반응이 복잡하고 고도로 맥락화되어 있으며, 대학원생과 다른 학습자의 연구 결과가 그러한 맥락의 영향을 받을 수 있음을 인정합니다. 우리의 연구는 복잡한 분석을 가능하게 하는 풍부한 내러티브 설명을 이끌어냈지만, 학습자의 내적 처리를 탐구하는 데는 성찰 일기와 같은 대체 데이터 수집 방법이 도움이 될 수 있음을 인식하고 있습니다.
This study is unique in interpreting feedback responses within a theoretical framework of learning. In doing so, it aligns these responses not just with learning actions, but acknowledges the cognitive, metacognitive, effective and behavioural aspects to learning. The development of multiple iterations of the template facilitated rich understanding of interconnections and interactions between themes. Having an international research team brought a diversity of context to the interpretation. This multi-site study of students from a broad range of nationalities, with varied backgrounds and experiences, improves the likelihood of transferability of our findings. We recognise that feedback responses are complex and highly contextualised; we acknowledge that findings in postgraduate populations and other learners may be affected by such contexts. While our work elicited rich, narrative descriptions that allowed a complex analysis, we recognise that exploring learners’ internal processing may benefit from alternative data collection methods such as reflective diaries.

SRL의 렌즈를 통해 피드백 반응을 탐구함으로써 학습자가 피드백 처리를 통해 어떻게 움직이는지 더 잘 이해하는 데 기여할 수 있습니다. 피드백은 상황에 따라 학습 목표에 긍정적으로 또는 부정적으로 영향을 미칠 수 있습니다. 의대생은 과제별 피드백을 기꺼이 받아들이지만, 현대 피드백의 정의에서 이해되는 공동 구성보다는 단방향 교육을 계속 기대합니다. 피드백이 적대적인 경험일 경우, 학습은 고통으로 인해 탈선하기 때문에 그 잠재력을 잃게 됩니다. 피드백을 사용하지 않는 것을 무관심과 혼동하는 것은 주의해야 합니다. 피드백을 사용하지 않는 것은 향후 학습에 중대한 영향을 미치는 장기간의 내부 처리의 신호일 수 있습니다.
By exploring feedback responses through the lens of SRL, we contribute to a better understanding of how learners move through feedback processing. Feedback can influence learning goals positively and negatively, depending on context. Medical students willingly adapt task-specific feedback, but continue to expect unidirectional instruction rather than the co-construction understood in modern feedback definitions. When feedback is a hostile experience, its potential is lost, as learning is derailed by distress. Conflation of non-use with indifference is cautioned; disengagement may be a sign of prolonged internal processing with significant impact on future learning.

Introduction: While feedback aims to support learning, students frequently struggle to use it. In studying feedback responses there is a gap in explaining them in relation to learning theory. This study explores how feedback experiences influence medical students' self-regulation of learning.

Methods: Final-year medical students across three campuses (Ireland, Bahrain and Malaysia) were invited to share experiences of feedback in individual semi-structured interviews. The data were thematically analysed and explored through the lens of self-regulatory learning theory (SRL).

Results: Feedback interacts with learners' knowledge and beliefs about themselves and about learning. They use feedback to change both their cognitive and behavioural learning strategies, but how they choose which feedback to implement is complex. They struggle to generate learning strategies and expect teachers to make sense of the "how" in addition to the "what"" in planning future learning. Even when not actioned, learners spend time with feedback and it influences future learning.

Conclusion: By exploring our findings through the lens of self-regulation learning, we advance conceptual understanding of feedback responses. Learners' ability to generate "next steps" may be overestimated. When feedback causes negative emotions, energy is diverted from learning to processing distress. Perceived non-implementation of feedback should not be confused with ignoring it; feedback that is not actioned often impacts learning.

4.1. 프레임워크
4.1. Frameworks

흐름 이론, 자기 결정 이론, 목표 설정 이론(Huang and Hew 2018), Bedwell이 설명한 9가지 특성(Bedwell 외. 2012) 등 여러 프레임워크가 GBL에 사용되었습니다. 게임에 대한 맥락을 제공하고 학습자가 게임을 진행하기 위해 따라야 할 단계를 안내하는 것은 학습자의 게임 활동 방향을 설정하는 데 매우 중요합니다. GBL을 뒷받침하는 대부분의 이론은 목표 달성의 필요성을 강조하고, 학습자가 자율적으로 진행 수준과 속도를 선택할 수 있도록 하며, 학습자 경험, 유용성 및 참여를 강조합니다(Petri 외. 2017). 반면에 게이미피케이션은 목표, 접근, 피드백, 도전, 협업과 같은 동기 부여 요소를 사용하여 성취에 대한 보상을 통해 다양한 레벨로 진행합니다(Huang and Hew 2018).  
Several frameworks, such as Flow theory, Self-determination theory and Goal Setting theory (Huang and Hew 2018) and the nine characteristics outlined by Bedwell (Bedwell et al. 2012) have been employed in GBL. Providing context to the game and orienting the learner to the steps to follow to progress through the game is vital in orienting the learner to the game activity. Most theories underpinning GBL highlight the need for achieving goals, allowing learner autonomy to choose the level and rate of progress, and emphasizing learner experience, usability and engagement (Petri et al. 2017). Gamification on the other hand uses the elements of motivation such as goals, access, feedback, challenge and collaboration, to progress through different levels through rewards for achievements (Huang and Hew 2018).

4.2. 학습 결과에 따른 GBL 적용 방법
4.2. Application of GBL Depends on the Learning Outcomes

그림 3은 초급과 고급으로 구분된 진지한 게임과 게이미피케이션의 교육 활동과 사례를 보여줍니다.
Figure 3 shows teaching activities and examples of serious games and gamification, separated into Novice and Advanced.

GBL은 지루할 수 있는 강의를 팀 기반 활동이나 개별 과제를 통해 학생들에게 도전과 동기를 부여하고 참여를 유도하는 방식으로 가르치는 데 사용할 수 있습니다. 게임 개발의 어려움은 리소스 집약적이며 공동 작업이나 외부 자료에 대한 액세스가 자주 필요하다는 점입니다. 이 문제에 대한 부분적인 해결책은 다음 섹션에서 설명하는 대로 온라인 리소스를 공유하고 용도를 변경하는 것입니다.
GBL can be used to teach what is otherwise a boring lecture to something that challenges, motivates and engages students with team-based activities or individual challenges. A challenge with developing games is that they are resource-intensive, and frequently require collaboration or accessing external materials. A partial solution to this problem lies in sharing and repurposing online resources as discussed in the next section.

12.1. 온라인 협업 학습(OCL)
12.1. Online collaborative learning (OCL)

OCL은 "학생들이 공유된 지식에 대해 토론하고 성찰하여, 관련 정보에 대한 새로운 이해를 구축하는 구성주의 교육학에 기반을 둔, 상호 의존적이고 민주적인 온라인 그룹 프로세스"로 정의되었습니다(Breen 2013). 
OCL has been defined as “an interdependent and democratic online group process grounded in constructivist pedagogy in which students debate and reflect on shared knowledge, to construct new understanding of relevant information” (Breen 2013).

학습자가 더 큰 프로젝트의 독립적인 부분에 대해 작업하는 협동 학습과는 달리, OCL은 아이디어를 함께 협상하여 혼자서는 달성할 수 없는 문제에 대한 창의적인 해결책을 만들어야 합니다. 이는 HPE에서 필수적인 고차원적 사고와 팀워크 스킬을 향상시킵니다(Breen 2013).
Different from cooperative learning, where learners work on independent parts of a larger project, OCL requires negotiating ideas together to construct creative solutions to problems they could otherwise not have accomplished on their own. This leads to improved higher order thinking and teamwork skills which are essential in HPE (Breen 2013).

협업 도구의 입문용으로는 소규모 그룹에서 Google 문서를 사용하여 질문에 대한 답변을 공동 작성하고 더 큰 그룹과 공유하고 토론하는 것이 좋습니다. 협업 도구의 고급 사용법은 트위터를 사용하여 가상 실습 커뮤니티(VCoP)를 만드는 것입니다(야리스 외. 2019). OCL의 맥락, 방법, 도구 및 고려사항은 부록 4를 참조하세요.
An introductory use of collaborative tools may be to use Google Docs in breakout groups to co-create answers to questions which are shared and discussed with the larger group. A more advanced use of collaborative tools may be to use Twitter to create a virtual community of practice (VCoP) (Yarris et al. 2019). See Appendix 4 for contexts, methods, tools and considerations in OCL.

OCL은 HPE의 온라인 개별 학습과 비교할 때 다양한 관점과 실제 학습자의 문제 및 해결책에 대한 이해를 높이고, 학습에 대한 외부 동기를 자극하며 더 풍부한 학습 결과를 생성하는 것으로 나타났지만, 학습이 더 복잡하고 개별 학습 목표의 타협이 필요합니다(MacNeill et al. 2014). 지식 전달이나 간단한 문제 해결은 온라인에서 개별적으로 수행할 때 더 효율적일 수 있지만, 보다 복잡하고 심층적인 학습은 OCL을 통해 가장 잘 달성할 수 있습니다.
OCL, when compared to online individual learning in HPE, has been shown to increase understanding of diverse perspectives and real-world learner problems and solutions, stimulate external motivation to learn, and produce richer learning outcomes, however learning is more complex and requires compromise of individual learning objectives (MacNeill et al. 2014). Knowledge transmission or simple problem solving is likely more efficient when done individually online, however more complex and deep learning is best achieved by OCL.

OCL은 개인의 성과를 촉진하는 기존의 평가 전략과 모순되고 불편하게 느껴질 수 있습니다. 텍스트 또는 비디오 기반 환경에서 사회적 단서가 줄어들면 갈등 해결이 어려울 수 있습니다. 또한 학습자 한 명이 학습에 대한 자기 조절 능력이 떨어지면 그룹 구성원에게 OCL이 좌절감을 줄 수 있습니다. 따라서 온라인 협력 학습의 교육적 설계는 그룹 상호 작용, 협상, 열린 의사소통 및 갈등 해결에 대한 보상을 제공하는 동시에 다른 사람들과 공유하고 연결할 수 있는 안전한 학습 공간을 제공해야 합니다. 
OCL can feel uncomfortable and contradictory to traditional assessment strategies that promote individual performance. Conflict resolution can be difficult when social cues are diminished in text- or video-based environments. OCL can also be frustrating for group members if one learner has poor self-regulation of learning. Therefore, pedagogical design of online collaborative learning should reward group interaction, negotiation, open communication and conflict resolution, while still providing a safe learning space to share and connect with others.

12.2. 온라인 소셜 학습
12.2. Online Social Learning

소셜 학습은 종종 중요한 교육적 성과로 무시되는 경우가 많으며(Allen 외. 2020), 온라인 소셜 학습은 커리큘럼 계획에 명시적으로 통합되지 않는 경우가 많습니다. 그림 4는 고려해야 할 온라인 소셜 학습의 몇 가지 이점을 강조하고, 그림 5는 이를 달성하는 데 사용할 수 있는 방법과 도구를 보여줍니다.
Social learning is often neglected as an important educational outcome (Allen et al. 2020), and Online Social Learning is often not explicitly incorporated into curriculum planning. Figure 4 highlights some of the benefits of Online Social Learning to consider, and Figure 5 showcases methods and tools that could be used to achieve them.

 

결론적으로, 온라인 소셜 학습과 협업 학습은 의미 있고 심도 있는 학습에 필수적이며, 온라인 학습의 단점을 상쇄하는 데 도움이 되지만, 때로는 그룹 프로세스와 신중한 커리큘럼 계획에 더 많은 시간이 필요하기도 합니다.
In conclusion, online social and collaborative learning are essential to meaningful and deep learning and help to negate disadvantages of online learning, although sometimes requires more time for group processes and careful curriculum planning.

이러한 아이디어와 이전 섹션의 아이디어는 특히 임상 환경에서 보다 정교한 도구 사용으로 나아갈 수 있는 배경을 형성합니다. 이에 대해서는 다음 섹션에서 다루겠습니다. 
These ideas, and those in the previous sections, form a background from which to move into more sophisticated tool usage, especially in the clinical environment. We will cover these in the next sections.

14.1. OMS를 위한 교육 설계
14.1. Instructional Design for OMS

OMS에는 임상적 추론 및 의사결정 능력을 향상시키기 위해 상호 작용, 즉각적인 피드백 및 반복이 있는 현실적인 시나리오가 포함되어야 합니다. 멀티미디어 학습의 인지 이론 및 학습을 위한 유니버설 디자인(1부)의 원칙을 사용하여 디자이너는 일러스트레이션, 도표, 비디오 또는 애니메이션과 함께 텍스트를 포함합니다. OMS는 학습자의 특정 요구 사항, 경험 및 다양한 수준에 맞게 사용자 지정할 수 있어야 합니다. 초보 학습자는 시뮬레이션 중에 즉각적인 피드백이 제공되는 더 많은 지침과 의료 정보가 필요할 수 있으며, 더 적은 정보로 더 빠르게 시뮬레이션을 진행하고 여러 가지 분기점을 통해 의사 결정을 내려야 하는 고급 학습자에 비해 의사 결정 작업이 더 쉬워질 수 있습니다. 또한 OMS는 다양한 환자와 포용적인 언어로 학습 경험을 설계하고 모델링할 수 있는 기회를 제공합니다. 

OMS should include realistic scenarios with interactivity, immediate feedback and repetition to improve clinical reasoning and decision-making skills. Using the principles of Cognitive Theory of Multimedia Learning and Universal Design for Learning (Part 1), designers include text together with illustration, diagram, video, or animation. OMS should be customisable to the specific needs, experiences and different levels of learners. A novice learner may need more guidance and medical information with immediate feedback provided during simulation, with easier decision-making tasks compared to a more advanced learner, where the simulation would advance quicker with less information, and multiple branching decision points. OMS also provides an opportunity to design and model learning experiences with diverse patients and inclusive language.

블렌디드 러닝과 마찬가지로 OMS는 F2F 교육과 결합하여 두 전달 방법 중 하나만 사용할 때보다 결과를 개선할 수 있습니다. 예를 들어, 온라인 시뮬레이션은 F2F 그룹 시뮬레이션 활동에 앞서 학습자를 심리적으로 안전한 환경에서 준비시킬 수 있습니다. 부록 6(표 5)에는 OMS 및 가상 환자에 사용되는 테크놀로지의 예가 나와 있습니다. 
Similar to blended learning, OMS can be combined with F2F teaching to improve outcomes compared to using either delivery method alone. For example, online simulation can prepare learners in a psychologically safe environment prior to F2F group simulation activities. Appendix 6 (Table 5) provides examples of technologies used for OMS and Virtual Patients.

요약하면, HPE의 OMS는 환자 안전과 결과를 개선하고, 학습자의 스킬과 자신감을 향상시키며, 표준화된 교육 경험을 제공하고, F2F 임상 교육과 관련된 비용과 위험을 줄일 수 있는 잠재력을 가지고 있습니다. 다음에는 HPE의 다른 안전하고 표준화된 솔루션으로서 확장 현실에 대해 살펴보겠습니다. 
In summary, OMS in HPE has the potential to improve patient safety and outcomes, enhance learners’ skills and confidence, provide standardised educational experiences, and reduce the cost and risk associated with F2F clinical training. Next, we will explore extended reality as other safe and standardized solutions in HPE.

15.1. HPE에서 XR의 실제 적용
15.1. Practical applications of XR in HPE

교육자가 교육 경험 제공에 XR을 적용하기로 결정할 때는 테크놀로지 전문성, 시간, 예산, 확장성, 제어 수준, 구성 및 유지 관리, 적합한 XR 학습 콘텐츠의 가용성, 교육적 조정, 보안 및 개인정보 보호, 출력 도구, 달성할 몰입도 등의 요소를 검토하는 것이 중요합니다(Meccawy 2022). 이러한 점을 염두에 두고 학습 목표에 적합한 테크놀로지을 가장 유용하게 활용할 수 있는 곳에 XR을 적용해야 합니다. 초보 학습자의 경우 해부학 교육에 Microsoft Hololens AR/MR 헤드셋을 사용하는 것을 예로 들 수 있습니다. 고급 학습자의 경우, 다양한 절차적 테크놀로지을 수행하면서 촉각 피드백을 통해 의료 절차를 수행하는 VR 헤드 마운트 디스플레이에 완전히 몰입할 수 있습니다. HPE의 다른 XR 활용 사례는 부록 7을 참조하십시오. 
When educators choose to apply XR to their delivery of educational experiences, it is important to explore the following factors: technical expertise, time, budget, scalability, level of control, configuration and maintenance, availability of suitable XR learning content, pedagogical alignment, security and privacy, output tools and the degree of immersion that is to be achieved (Meccawy 2022). Keeping this in mind, the application of XR should be used because the technology is appropriate for the learning objectives and must be leveraged for where it is most useful. An example for a novice learner may be using a Microsoft Hololens AR/MR headset for anatomy education. With more advanced learners, they can be fully immersed with a VR Head-Mounted Display performing a medical procedure with haptic feedback as they perform various procedural skills. See Appendix 7 for other applications of XR in HPE.

OMS와 XR은 HPE에서 형평성, 다양성, 포용성, 접근성(EDIA)을 증진할 수 있는 특별한 기회를 제공할 수 있습니다. 다양한 사례 시나리오, 학습자 아바타, 문화적 맥락, 다양한 환자 파트너를 설계 및 콘텐츠 제작 팀의 일부로 통합하여 EDIA를 촉진하도록 설계할 수 있습니다. 이를 통해 학습자가 다양한 경험과 관점에 노출되도록 하여 다양한 배경을 가진 사람들에 대한 이해와 공감을 높일 수 있습니다. 
OMS and XR can offer unique opportunities for promoting equity, diversity, inclusion, and accessibility (EDIA) in HPE. They can be designed to promote EDIA by incorporating diverse case scenarios, learner avatars, cultural contexts, and diverse patient partners as part of the design and content creation team. This can help to ensure that learners are exposed to a wide range of experiences and perspectives, which can foster greater understanding and empathy for people from different backgrounds.

XR은 HPE를 혁신할 수 있는 흥미로운 잠재력을 제공하지만, 이러한 XR 교육 경험을 개발하는 데 필요한 상당한 리소스를 고려할 때 다음 섹션에서 다루는 바와 같이 협업과 디지털 학술활동이 필수적입니다. 
XR offers an exciting potential to transform HPE, but given the significant resources needed to develop these XR educational experiences, collaboration and digital scholarship is essential, as covered in the next sections.

Part 1 of the AMEE Guide Online learning in health professions education focused on foundational concepts such as theory, methods, and instructional design in online learning. Part 2 builds upon Part 1, introducing technology tools and applications of these foundational concepts by exploring the various levels (from beginner to advanced) of utilisation, while describing how their usage can transform Health Professions Education. This Part covers Learning Management Systems, infographics, podcasting, videos, websites, social media, online discussion forums, simulation, virtual patients, extended and virtual reality. Intertwined are other topics, such as online small group teaching, game-based learning, FOAM, online social and collaboration learning, and virtual care teaching. We end by discussing digital scholarship and emerging technologies. Combined with Part 1, the overall aim of Part 2 is to produce a comprehensive overview to help guide effective use online learning in Health Professions Education.

수동적-대화적-창의적-대체-증폭-변환(PICRAT) 모델
Passive-Interactive-Creative-Replaces-Amplifies-Transforms (PICRAT) model

PICRAT는 테크놀로지 통합의 최신 모델로, 특히 유치원부터 12학년(K-12) 문학에서 인기를 얻고 있습니다. 이 모델은 F2F 학습에서 교사와 학습자의 역할을 고려한 다음 이를 온라인 환경으로 비교하고 확장하는 것으로 시작하기 때문에 온라인 교육 초보자도 쉽게 접근할 수 있고 사용할 수 있습니다. PICRAT은 복잡한 온라인 환경에서 다양한 솔루션을 제공하기 위해 이론적 다원주의를 주장하면서 SAMR 및 RAT와 같은 여러 선행 모델을 기반으로 하고 결합합니다(Kimmons 외. 2020). 
PICRAT is a newer model of technology integration, gaining popularity particularly in the kindergarten to grade 12 (K-12) literature. It is accessible and easy to use for the beginner online educator, as it starts with considering teacher and learner roles in F2F learning and then comparing and extending this to the online environment. PICRAT builds upon and combines several prior models such as the SAMR and RAT, arguing for theoretical pluralism to enable different solutions in these complex online environments (Kimmons et al. 2020).

PICRAT 모델은 학생들이 테크놀로지와 상호작용하는 방식과 교사가 교육에서 테크놀로지를 사용하는 방식이라는 두 가지 주요 질문을 살펴봅니다. PICRAT의 요소는 매트릭스를 형성하며, 한 축(PIC - 수동적, 상호작용적, 창의적)은 학습자의 사용을, 다른 축(RAT - 대체, 증폭, 변형)은 교사의 사용을 살펴봅니다(그림 1(a)). 목표는 '테크놀로지의 역할은 그 자체가 목적이 아니라 목적을 위한 수단으로 사용되어야 하며, 테크놀로지 중심적 사고를 피해야 한다'는 것입니다(Kimmons 외. 2020).
The PICRAT model looks at two main questions: how students interact with technology, and how teachers use technology in their pedagogy. The elements of PICRAT form a matrix,

• with one axis (PIC – Passive, Interactive, Creative) examining learners’ use and
• the other axis (RAT – Replacement, Amplification, Transformation) examining teachers’ use (Figure 1(a)).

The goal is that ‘technology’s role should serve as a means to an end, not an end in itself – avoiding technocentric thinking’ (Kimmons et al. 2020).

Kimmons는 e-모듈이나 온라인 퀴즈와 같은 테크놀로지가 학생의 상호작용을 유도할 수 있지만, 이러한 규범적 학습은 '이전 학습과의 전달성과 의미 있는 연결을 제한'할 수 있지만, 창의적 학습(학습자가 동영상이나 협업 블로그와 같은 아티팩트를 만드는 것)은 창의적인 문제 해결과 더 깊이 있고 맥락화된 학습을 유발하므로, 수동적 학습은 물론이고 심지어 상호작용적 학습보다도 (창의적 학습이) 선호될 수 있다고 주장합니다(Kimmons 외., 2020).
Kimmons argues that, while technology such as e-modules or online quizzes can drive student interactivity, this prescriptive learning may ‘limit transferability and meaningful connections to previous learning’, but creative learning (where learners create artifacts such as videos and collaborative blogs) causes creative problem solving and deeper, contextualized learning, and therefore may be preferred over passive and even interactive learning (Kimmons et al. 2020).

교사가 테크놀로지를 사용하는 방법을 조사할 때 매트릭스의 'RAT' 축을 고려합니다. ERT와 마찬가지로, 테크놀로지를 사용하기 시작하는 교사들은 교육적 관행에 대한 개선 없이 F2F 교육을 대체하는 용도로 테크놀로지를 사용하는 경우가 많습니다. 그러나 더 많은 편안함과 스킬을 갖추면 테크놀로지를 사용하여 교육적 접근 방식을 증폭(근본적으로 바꾸지는 않지만 개선)하거나 심지어 변형(비테크놀로지적 수단으로는 달성할 수 없는 학습을 가능하게 함)할 수도 있습니다. 
When examining how teachers use technology, we consider the ‘RAT’ axis of the matrix. Like ERT, teachers starting to use technology will often use it as a replacement to F2F teaching with no improvement to their pedagogical practice. However, with more comfort and skills, technology can be used to amplify (improve, but not radically alter) or even transform (enable learning not achievable through non-technological means) pedagogical approaches.

PICRAT은 직관적으로 사용하기 쉬우며 교육 테크놀로지의 복잡한 사회문화적 사용에 관한 대화를 촉진하는 데 도움이 됩니다. 이 도구는 테크놀로지를 사용하는 유일한 '올바른' 방법은 없으며(본질적으로 나쁘거나 좋은 매트릭스 사각형은 없으며 각각 고유한 이점이 있음), 상황에 따라 서로 다른 창의적인 솔루션이 필요하다는 점을 인정합니다.
PICRAT is intuitively easy to use and helps to facilitate conversations around complex sociocultural use of educational technology. It acknowledges that there is often no one ‘right’ way to use technology (no matrix square is inherently bad or good and each has its own benefits), and that different contexts require different creative solutions.

탐구 커뮤니티 모델
The Community of Inquiry model

탐구 커뮤니티(CoI) 모델은 가장 널리 사용되고 연구된 온라인 학습 모델 중 하나이며 중급 온라인 교육자에게 적합합니다(Garrison 외. 1999). 사회적 현존감(SP), 인지적 현존감(CP), 교수적 현존감(TP)의 세 가지 상호 연결 현존감은 온라인 학습을 설계하고 연구할 때 고려해야 할 사항에 대한 대화를 시작할 수 있는 중첩된 영역을 만듭니다(그림 1(b)).
The Community of Inquiry (CoI) model is one of the most widely used and studied online learning models and is well suited for intermediate online educators (Garrison et al. 1999). Three interconnecting presences: social presence (SP), cognitive presence (CP), and teaching presence (TP), create overlapping domains from which to start conversations around considerations in designing and researching online learning (Figure 1(b)).

• 사회적 존재감이란 학습자로서 자신을 가상 학습 환경에 투영하고 다른 사람들과 관계를 형성하는 능력을 말합니다. 이는 인지 및 TP 형성의 구성 요소로 간주됩니다(예: 안전한 학습 환경을 협상하거나 학습자가 연결할 수 있는 기회를 제공하는 것).
  Social presence refers to the ability to project oneself as a learner into the virtual learning environment and form connections with others. It is thought of as the building block to cognitive and TP formation (e.g. negotiating a safe learning environment or providing opportunities for learners to connect).
• 교수적 존재감은 교수 설계(ID), 조직 및 학습 촉진입니다. 이는 학생 만족도와 인지된 학습에 중요한 요소인 것으로 밝혀졌습니다(예: 과제에 대한 온라인 루브릭 사용 또는 교수자의 비디오 발표).
  Teaching presence is the Instructional Design (ID), organization, and facilitation of learning. It is found to be a significant factor in student satisfaction and perceived learning (e.g. use of online rubrics for assignments or instructor video announcements).
• 인지적 존재감은 학습자가 학습과 인지적으로 연결되는 방식을 말하며, 보통 4단계(이벤트 유발, 탐색, 통합, 해결)의 주기적 반복을 통해 이루어집니다. 여기에는 다양한 관점에서 지식을 사회적으로 구성하고 적용하기 위한 그룹 협업과 개인적 성찰, 보유, 정보 해석(예: 온라인 시뮬레이션 또는 소그룹 토론)이 포함됩니다.
  Cognitive presence refers to how learners cognitively connect with the learning, often through cyclical iterations of four stages (triggering event, exploration, integration, and resolution). It involves group collaboration to socially construct and apply knowledge from different perspectives, as well as personal reflection, retention, and interpretation of information (e.g. online simulation or small group discussions).

본질적으로 'SP가 만들어내는 그룹 응집력과 열린 소통, 그리고 TP와 관련된 구조, 조직, 리더십은 고차 학습과 관련된 가장 중요한 요소로 간주되는 CP가 번성할 수 있는 환경을 조성하는 토대가 됩니다'(Shea 외. 2014).
In essence, ‘the group cohesion and open communication created by SP and the structure, organization, and leadership associated with TP lay the foundation to create the environment where CP, which is considered to be the most important element associated with higher-order learning, can flourish’ (Shea et al. 2014).

연결주의
Connectivism

커넥티비즘은 보다 발전된 이론으로, 교육자들이 테크놀로지가 단순히 교사와 학습자 간의 정보 전달을 허용하는 교육 시스템에서 연결을 통해 학습을 변화시키는 시스템과 네트워크로 교육 시스템을 변화시키는 데 어떻게 도움이 될 수 있는지 고려하도록 유도합니다. 연결주의는 '카오스, 네트워크, 복잡성 및 자기 조직화 이론에서 탐구하는 원리의 통합'과 함께 네트워크를 통해 '우리의 역량을 연결 형성에서 도출'한다고 가정합니다(Siemens 2005). 이러한 복잡한 지식 네트워크는 연결, 다양성, 멘토링을 통해 형성되고 유지되며, 21세기 헬스케어에서는 잊혀지거나 금방 쓸모없어질 수 있는 개별 지식보다 더 중요합니다. 커넥티비즘의 몇 가지 실제 사례로는 대규모 공개 온라인 강좌(MOOC), 소셜 미디어 또는 실무 커뮤니티 토론 게시판이 있습니다(온라인 교육에서 배우는 것 2012).
Connectivism is a more advanced theory, which prompts educators to consider how technology may assist in changing education systems from those that merely allow transmission of information from teacher to learner, to systems and networks that transform learning through connections. Connectivism assumes that we ‘derive our competence from forming connections’ through networks, with ‘integration of principles explored by chaos, network, and complexity and self-organization theories’ (Siemens 2005). These complex knowledge networks are formed and maintained through connections, diversity, and mentorship, and are more important than individual knowledge, which can be forgotten or quickly obsolete in twenty-first century healthcare. Some practical examples of connectivism include Massive Open Online Courses (MOOCs), social media or community of practice discussion boards (What We’re Learning From Online Education 2012).

일상적인 커넥티비즘 교육에서는 학습자가 인터넷에서 제공하는 정보를 사용하여 검증되지 않은 아이디어를 조사하고, 전자 형식의 자료를 만들고, 공동 작업하며, 심지어 코스 커리큘럼에 영향을 미치는 것을 목표로 합니다. 이러한 철학이 실천으로 옮겨지는 과정은 처음에는 HPE MOOC(Masters 2011)의 핵심으로 여겨지던 커넥티비스트 MOOC(cMOOC)(Downes 2010; Siemens 2012)에서 잘 드러납니다. 본 가이드의 2부에서는 HPE MOOC의 개발 및 유형에 대해 자세히 설명하지만, 현재로서는 커넥티비즘의 철학적 요소가 심도 있는 학습을 촉진하고 학생들이 핵심 강의 계획서 이외의 자료에 접근하고 협업하도록 장려하기 위해 코스에 포함될 수 있지만, 전통적인 코스 구조에서 벗어나야 할 수도 있다는 점에 유의하시기 바랍니다. 
In day-to-day Connectivist education, the aim is for learners to use the information afforded by the Internet to investigate untested ideas, create, and collaborate on material in electronic format, and even influence the course curriculum. The translation of this philosophy into practice is well-illustrated in what has become known as Connectivist MOOCs (cMOOCs) (Downes 2010; Siemens 2012) which were initially seen as central to HPE MOOCs (Masters 2011). The development and types of MOOCs in HPE will be discussed in more detail in Part 2 of this Guide, but for now, note that the philosophical elements of Connectivism can promote deeper learning and be embedded into courses to encourage students to collaborate and access materials beyond the core syllabus, although may require a departure from traditional course structures.

이제 다양한 온라인 교육 형식을 살펴보겠습니다. 그러나 독자들은 잠시 시간을 내어 온라인 HPE가 경험적 연구와 커리큘럼 설계에서 이론적 접근 방식에 기반을 두는 것으로 전환하여 해당 분야의 학문을 향상시키고 교육을 더욱 견고하고 이전 가능하게 하는 것의 중요성에 대해 생각해 보아야 합니다. 
We now turn to examining different online educational formats. Readers should, however, take a moment to reflect on the importance of online HPE’s shifting from empirical research and curriculum design to being grounded in theoretical approaches, so that scholarship in the field is enhanced and education more robust and transferable.

동기식 학습
Synchronous learning

동기식 학습은 학습자가 동시에 학습할 때 발생합니다(데이터가 실시간으로 송수신됨). 자주 사용되는 동기식 테크놀로지로는 Zoom, Microsoft Teams, Google Meet 등이 있습니다. 또한 학습자가 가상 환경에서 자유롭게 이동하고 상호 작용할 수 있는 Gather.Town, SpatialChat, Wonder.me와 같은 보다 몰입도 높은 도구가 등장하고 있으며, 세컨드 라이프와 같은 아바타 기반의 가상 세계도 한동안 의료 교육에 사용되어 왔습니다(Ghanbarzadeh 외. 2014). 
Synchronous learning occurs when learners are learning at the same time (data are sent and received in real time). Frequently used synchronous technologies include Zoom (https://zoom.us/), Microsoft Teams (https://teams.microsoft.com/edustart), and Google Meet (https://apps.google.com/meet/). In addition, other more immersive tools, such as Gather.Town (https://www.gather.town/), SpatialChat (https://www.spatial.chat/), and Wonder.me (https://www.wonder.me/), which allow learners to move freely and interact in a virtual environment, are emerging, and other virtual, avatar-based worlds such as Second Life (https://secondlife.com/) have been used in healthcare education for some time (Ghanbarzadeh et al. 2014).

동기식 학습은 F2F 교실을 가장 유사하게 반영하기 때문에 팬데믹 상황에서 더 쉽게 채택되었습니다(Stojan 외. 2021). 동기식 HPE에 대한 체계적인 검토 및 메타 분석에 따르면 지식 및 스킬 습득에 있어 기존 학습 환경과 비슷한 결과를 보였으며 학습자들이 선호하는 것으로 나타났습니다(He 외. 2021). 
As synchronous learning most closely mirrors F2F classrooms, it was more readily adopted in the pandemic (Stojan et al. 2021). A systematic review and meta-analysis of synchronous HPE showed comparable outcomes to traditional learning environments for knowledge and skill acquisition and was preferred by learners (He et al. 2021).

동기식 학습 소프트웨어의 일반적인 기능으로는 화면 공유, 채팅, 오디오/비디오 공유, 비언어적 반응/이모티콘 등이 있습니다. 다른 기능으로는 설문 조사, 주석, 화이트보드 및 소회의실 등이 있습니다. 그러나 이러한 기능을 사용할 수 없는 경우 설문조사 소프트웨어(예: Poll Everywhere 또는 Kahoot!) 또는 화이트보드 소프트웨어(예: Google Jamboard 또는 Miro)와 같은 추가 소프트웨어를 사용하여 이러한 기능을 쉽게 가져올 수 있습니다. 또한 Nearpod, Mmhmm, Prezi와 같이 동기식 프레젠테이션을 더욱 인터랙티브하게 만드는 데 도움이 되는 도구도 많이 있습니다.
Typical features of synchronous learning software include screen sharing, chat, and audio/video sharing and nonverbal reactions/emojis. Other features may include polling, annotation, whiteboard, and breakout rooms. However, if these features are not available, they can easily be imported by using additional software such as polling software (e.g. Poll Everywhere https://www.polleverywhere.com or Kahoot! https://kahoot.com) or whiteboard software (e.g. Google Jamboard https://workspace.google.com/products/jamboard or Miro https://miro.com). In addition, there are many tools that can assist with making synchronous presentations more interactive such as Nearpod https://nearpod.com, Mmhmm https://www.mmhmm.app/home, and Prezi https://prezi.com.

상호 작용은 동기식 학습의 핵심입니다. 상호작용이 없다면 녹화된 강의가 더 효율적이고(1.5배속으로 시청), 편리하며(언제든지 시청), 세련된(동기식 테크놀로지 결함 없이) 강의가 될 수 있습니다. 그럼에도 불구하고 학습자 참여는 동기식 학습의 가장 어려운 측면 중 하나로 보고되고 있습니다. 온라인 환경에서 학습자 상호 작용과 참여가 학습자의 성과, 동기 부여 및 만족도와 상관관계가 있다는 점을 고려할 때 이는 우려스러운 부분입니다 (Cook 외. 2010; MacNeill 외. 2014; Bond 외. 2020; Händel 외. 2022).
Interactivity is the key to synchronous learning. Without interactivity, a recorded lecture could be more efficient (watching at 1.5× speed), convenient (at any time), and polished (without synchronous technological glitches). Despite this, learner engagement has been reported as one of the most challenging aspects of synchronous learning. This is concerning, given the correlation between learner interactivity and engagement with learner performance, motivation, and satisfaction in online environments (Cook et al. 2010; MacNeill et al. 2014; Bond et al. 2020; Händel et al. 2022).

이러한 환경에서 상호 작용할 때는 형평성, 특히 참여 형평성을 고려하는 것이 중요합니다(Reinholz 외. 2020). 모든 학습자가 온라인 학습에 완전히 참여할 수 있는 하드웨어, 대역폭 또는 안전한 학습 공간에 액세스할 수 있는 것은 아닙니다. 익명(설문조사) 또는 비언어적(채팅) 방식으로 공유하는 것이 더 편한 사람도 있을 수 있습니다. 다섯 손을 들 때까지 기다리거나 채팅 모니터 또는 테크놀로지 도우미 등의 역할을 할당할 때 온라인 무작위 이름 생성기를 사용하는 등 동등한 참여를 보장하는 방법을 고려하세요(Reinholz 외. 2020). 그러나 웹캠 미사용에는 접근성 및 개인정보 보호 문제 외에도 많은 다른 요인이 있습니다(Händel 외. 2022; Masters 외. 2022). 
Equity, particularly participatory equity, is important to consider when interacting in these environments (Reinholz et al. 2020). Not all learners have access to hardware, bandwidth, or safe learning spaces to fully participate in online learning. Others may feel more comfortable sharing in anonymous (polls) or non-verbal (chat) ways. Consider ways to ensure equal participation, such as waiting for five hands to be raised or online random name generators for assigning roles such as chat monitor or tech assistant (Reinholz et al. 2020). However, webcam non-usage involves many other factors than accessibility and privacy issues (Händel et al. 2022; Masters et al. 2022).

이러한 문제 중 하나는 컴퓨터 매개 커뮤니케이션 피로의 구성 요소인 화상 회의 피로입니다(Oducado 외. 2022). 2차원적이고 제한된 비언어적 단서를 해석하는 것, '거울 피로', 물리적으로 갇혀 있다는 느낌, 가상의 환경에 자신을 투영하는 것에 대한 불안감 등 동기식 환경에서의 커뮤니케이션이 더 피곤하게 느껴지는 이유에 대한 가설은 많습니다. 이러한 문제에 대한 몇 가지 해결책으로는 다음과 같은 방법이 있습니다.

• 카메라의 셀프 뷰를 끄거나(카메라는 켜져 있는 동안), 
• 참가자의 비디오를 작게 만들거나, 
• 시각적 휴식을 취하거나 오디오를 일시적으로만 사용하거나, 
• 세션 중에 시각적 자료가 필요하지 않을 때 산책을 하는 

이전 연구에 따르면 화상 회의에 대한 태도가 화상 회의 피로를 가장 강력하게 예측하는 것으로 나타났으며, 경험, 지원, 능동적 학습 기법을 통해 피로를 줄일 수 있습니다(de Oliveira Kubrusly Sobral 외. 2022; Oducado 외. 2022). 화상회의의 빈도와 지속 시간도 피로와 관련이 있으며, 온라인 학습에서 더 짧은 시간, 더 자주 휴식, 혼합 방법 및 멀티미디어 사용의 모범 사례를 지적합니다(Oducado 외. 2022).
One such issue is videoconferencing fatigue, a component of computer-mediated communication exhaustion (Oducado et al. 2022). There are many hypotheses as to why communication in synchronous environments feels more exhausting, including interpreting two-dimensional and limited non-verbal cues, ‘mirror fatigue’, feeling physically trapped, and anxiety of projecting oneself into the virtual, sometimes recorded, environment. Some solutions to these issues are to

• turn off the self-view of your camera (while your camera remains on),
• make videos of participants smaller,
• take visual breaks/use audio only temporarily, or
• go for a walk during sessions when visuals are not required.

Prior research has found attitudes toward videoconferencing was the strongest predictor of videoconference fatigue, and may be lessened by experience, support and active learning techniques (de Oliveira Kubrusly Sobral et al. 2022; Oducado et al. 2022). Frequency and duration of videoconferencing is also associated with fatigue, and points to best practices of shorter duration, more frequent breaks and use of blended methods and multimedia in online learning (Oducado et al. 2022).

반면, 다음처럼 교육 세션 중에 카메라를 켜는 것을 권장하는 교육적 이유는 많습니다.

• 참여와 정서적 반응에 대한 시각적 피드백,
• 사회적 상호 작용,
• 학습자 및 발표자의 동기 부여와 참여에 미치는 영향 

여러 연구에 따르면 [웹캠 미사용/저사용]은 학생의 코스 성과 및 참여도 저하, 교사의 좌절감 및 불안감과 관련이 있는 반면, [웹캠 사용]은 수업 중 학생의 언어적 참여도 증가와 관련이 있는 것으로 나타났습니다(Händel 외. 2022). 긍정적인 웹캠 사용과 관련된 요인으로는 소규모 수업 또는 소규모 회의실, 강사의 격려, 열린 커뮤니케이션 분위기, 그리고 가장 중요한 동료의 웹캠 사용 등이 있습니다(Händel 외. 2022). 형평성과 포용성을 증진하면서 웹캠 사용을 개선하기 위한 권장 사항에는 산만함을 해소하고 능동적인 학습 전략을 채택하는 것(Castelli 및 Sarvary 2021), 네티켓을 확립하는 것(Kempenaar 외. 2021; Thomson 외. 2022) 등이 있습니다. 네티켓 고려 사항은 부록 1에 나열되어 있습니다. 
On the other hand, there are many pedagogical reasons to encourage cameras to be on during teaching sessions, including

• visual feedback for engagement and emotional response,
• social interactivity, and
• effect on learner and presenter motivation and engagement.

Several studies have shown that lack of webcam use is associated with poorer student course performance and involvement, and teacher frustration and insecurity, whereas webcam use has been associated with increased student verbal engagement in class (Händel et al. 2022). Factors related to positive webcam use have included smaller classes or breakout rooms, lecturer encouragement, a sense of open communication, and most importantly, peer use of webcams (Händel et al. 2022). Recommendations for improving webcam usage while still promoting equity and inclusion include addressing distractions and employing active learning strategies (Castelli and Sarvary 2021) and establishing netiquette (Kempenaar et al. 2021; Thomson et al. 2022). Netiquette considerations are listed in Supplementary Appendix 1.

1. 카메라를 사용하면 학습 효과는 향상되지만 화상 회의의 피로도가 높아집니다. 일부 학습자는 대역폭 또는 병원 개인정보 보호 문제로 인해 카메라를 사용할 수 없을 수도 있습니다. 이 학습 그룹의 경우 카메라를 켜두는 데 이상적인 시간은 어느 정도일까요? 피드백 및 상호 작용을 위해 카메라를 항상 켜 두어야 하나요, 항상 꺼 두어야 하나요, 아니면 50~75%만 켜 두어야 하나요?
   Camera use leads to improved learning but also videoconferencing fatigue. Some learners may not be able to use a camera due to bandwidth or hospital privacy issues. For this learning group, what is the ideal amount of time to have your camera on? Should cameras be always on, always off, or on for 50-75% to allow feedback and interactivity?
2. 카메라(또는 오디오)를 켤 수 없는 학습자를 그룹에 가장 잘 포함시키고 지원할 수 있는 방법은 무엇인가요?
   How can the group best include and support learners who cannot have their camera (or audio) on?
3. 휴식 시간은 얼마나 자주, 얼마나 길게 가져야 하나요?
   How frequent and long should breaks be?
4. 얼마나 자주 동시에 만나야 하나요? 학습자가 온라인 그룹 작업을 위해 정해진 시간을 선호하나요, 아니면 스스로 시간을 정하는 것을 선호하나요? 학습자는 교훈적인 강의/자료에 대해 동기식 미팅을 선호하나요, 아니면 비동기식 녹화를 선호하나요?
   How often should we meet synchronously? Do learners prefer set times for online group work, or prefer to arrange this themselves? Do learners prefer synchronous meetings or asynchronous recordings for didactic lectures/material?
5. 학습자가 화면에 갇혀 있다고 느끼지 않고 자유롭게 이동할 수 있는 교실을 조성하려면 어떻게 해야 할까요? 학습자가 여전히 수업에 적극적으로 참여할 수 있다면 수업 중에 산책을 하거나 러닝머신을 사용하거나 서 있어도 괜찮나요?
   How can we encourage a classroom where learners can freely move around and not feel trapped on screen? Is it OK to go for a walk/ use treadmill/ stand during class if learners can still actively engage with the class?
6. 학습자가 자리를 비워야 하는 경우 어떻게 알 수 있나요? (예: 환자와 관련된 전화를 받거나 화장실에 가기 위해)
   How will learners indicate if they need to step away? (For example, to answer a patient related call or go to the bathroom)
7. 상호 작용이 더 나은 학습 성과와 온라인 피로 감소로 이어진다는 점을 고려할 때, 학습자가 온라인에서 가장 참여하기를 좋아하는 방식은 무엇인가요? (채팅, 설문 조사, 오픈 마이크, 주석 달기, 브레이크아웃 등)
   Given that interactivity leads to better learning outcomes and less online fatigue, how do learners like to be engaged best online? (Chat, polls, open mic, annotation, breakouts, etc.)
8. 편견 없이 질문하거나 응답할 수 있는 안전한 환경을 조성하고, 질문하는 사람을 인정하고 존중하는 가장 좋은 방법은 무엇인가요?
   How can we best create a safe environment to non-judgmentally ask or respond to questions and acknowledge/value those who do?
9. 발표자/교사의 학습을 어떻게 지원할 수 있나요?
   How can we support the presenter(s)/teachers in our learning?
10. 채팅을 모니터링하고 기술적 문제를 지원할 그룹 구성원을 지정할 수 있나요? 이러한 역할을 돌아가면서 맡아야 하나요?
    Can we assign group members to monitor the chat and assist with technical issues? Should we rotate these roles?
11. 이 자료가 본인/경력에 얼마나 중요하다고 생각하나요? 이것이 여러분의 참여에 어떤 영향을 미치나요?
    How important do you feel  this material is to you/ your career? How will this influence your participation?
12. 이 세션에 적극적으로 참여할 수 있나요? 병원 내 조용한 공간에서 컴퓨터를 찾거나 마이크가 아닌 채팅으로 참여하는 등 적극적인 참여를 촉진하기 위해 할 수 있는 일이 있습니까?
    Are you able to actively participate in these sessions? Is there anything that can be done to facilitate your active engagement such as finding a computer in the hospital in a quiet space or participating by chat rather than by microphone?
13. 이러한 세션에 수동적으로 듣기를 원하십니까, 아니면 적극적으로 참여하기를 원하십니까? (아래에서 주석을 사용하여 청중을 대상으로 참여 선호도를 익명으로 빠르게 조사할 수 있는 방법을 예로 참조하세요.)
    Would you rather passively listen or be actively engaged in these sessions? (See below as an example of using annotation to create a quick and anonymous way to poll your audience for engagement preferences)

궁극적으로 동기식 학습의 핵심은 웹캠 사용이 아닌 참여와 상호 작용이며, 대역폭, 개인 정보 보호 또는 형평성 문제로 인해 비디오를 사용할 수 없는 경우 이를 달성할 수 있는 다른 많은 방법이 있습니다(MacNeill 2020; Khan 외. 2021). 동기식 HPE에 대한 실용적인 팁을 요약한 많은 기사(Khan 외. 2021; Nunneley 외. 2021), 비디오(MacNeill 2020) 및 온라인 핸드북(Hyder 외. 2007)이 있으며, 부록 2에 요약되어 있습니다. 
Ultimately, engagement and interactivity, not webcam use, are key to synchronous learning, and there are many other ways to achieve this when videos are not an option due to bandwidth, privacy, or equity issues (MacNeill 2020; Khan et al. 2021). There are many articles (Khan et al. 2021; Nunneley et al. 2021), videos (MacNeill 2020), and online handbooks (Hyder et al. 2007) summarizing practical tips for synchronous HPE, which are summarized in Supplementary Appendix 2.

1. 동기식 환경에서는 교육 시간이 더 오래 걸립니다. 기술 문제, 온라인 그룹 형성 및 오디오 지연으로 인해 온라인 그룹 상호 작용이 지연될 수 있습니다.(Hanna 외. 2013) 그러나 이는 콘텐츠를 필수적인 내용으로 줄이고(F2F 콘텐츠의 50% 목표), 상호 작용 시간을 늘리고, 필요에 따라 보충 콘텐츠 및 리소스에 대한 링크를 제공할 수 있는 기회를 제공합니다.
   Teaching in synchronous environments takes longer. Technology problems, online group formation and audio lags will cause delays in online group interactivity.(Hanna et al. 2013) However, this provides us with an opportunity to shorten our content to what is essential (aim for 50% of F2F content), increase time on interactivity, and provide links to supplemental content and resources as needed.
2. 대화형 요소(설문조사, 채팅, 오픈 마이크)를 일찍 자주(5~10분마다) 포함시키고 휴식 시간을 자주 주어 화면 피로와 이메일 확인과 같은 온라인 멀티태스킹을 방지하세요. 이상적인 동기식 학습은 혼합형 학습 커리큘럼의 일부로 이루어져야 하며, 최상의 학습 결과를 위해 플립형 강의실, 멀티미디어 디자인, 여러 번의 노출을 통한 다양한 방법과 같은 접근 방식을 활용해야 합니다. 교훈적인 구성 요소는 대화형 동기식 세션 전에 시청하는 마이크로 강의 또는 비디오에서 더 잘 전달될 수 있습니다.
   Try to include interactive components (polls, chat, open mic) early and often (every 5-10 mins), and frequent breaks, to avoid screen fatigue and online multitasking such as checking email. Ideally synchronous learning should be part of a blended learning curriculum, utilizing approaches such as flipped classroom, multimedia design, and multiple methods over multiple exposures for the best learning outcomes. Didactic components may be better delivered in micro-lectures or videos that are viewed before the interactive synchronous session.
3. 가능하면 공동 진행자를 활용합니다. 콘텐츠, 그룹 역학, 채팅 및 상호 작용을 관리하는 것은 한 사람이 관리하기에는 너무 많은 양입니다. 공동 진행자를 둘 여건이 되지 않는다면 학습자 지원자에게 채팅을 모니터링하여 질문이나 주제를 파악하도록 요청하는 것이 좋습니다.
   Use a co-facilitator whenever possible. Managing the content, group dynamics, chat, and interactivity is too much for any one person to manage. If you do not have the luxury of a co-facilitator, consider asking for learner volunteers to monitor the chat for questions or themes.
4. 두 개의 화면(이상적으로는 두 대의 컴퓨터)을 사용합니다. 두 개의 화면을 사용하여 학습자, 채팅, 공유 화면, 설문 조사 등을 볼 수 있도록 가능한 한 많은 시각적 '공간'을 확보해야 합니다. 두 대의 컴퓨터(한 대는 발표자 보기, 다른 한 대는 참가자 보기)를 사용하면 "지금 내 화면이 보여요?"라고 묻지 않고도 학습자가 무엇을 보고 있는지 확인할 수 있고 기술 문제를 더 빨리 해결할 수 있습니다.
   Use two screens (and ideally two computers). You should give yourself as much visual “real estate” as possible, to see learners, chat, shared screen, polls, etc. by using two screens. Using two computers (one in presenter view and other in participant view) allows you to see what your learners are seeing without needing to ask, “can you see my screen now?” and solve technology problems quicker.
5. 더 명확하게 설명하세요. 지침은 F2F 환경보다 더 명확해야 하며, 채팅에 게시하는 것이 가장 이상적입니다. 문제가 발생할 때마다 학습자에게 말로 설명하여 어색한 침묵을 피하고 청중의 참여를 유지하세요.
   Be more explicit. Instructions need to be clearer than in F2F environments, and ideally posted to chat. Verbalize to learners anytime you are experiencing problems to avoid awkward silences and keep the audience engaged.

동기식 강의는 비동기식 녹화 강의와 비슷한 결과를 가져옵니다(Brockfeld 외. 2018). 그러나 동기식 학습에는 학습을 위한 구조화된 시간을 위하여 캘린더에 일정표시를 제공하는 것, 소셜 학습, 실시간 피드백 및 상호 작용 등의 장점이 있습니다(Ranasinghe와 Wright 2019). 많은 도구와 기법을 동기식 및 비동기식으로 모두 사용할 수 있으며, 최적의 학습은 동기식 강의와 강의 후 비동기식 녹화를 제공하는 것과 같이 두 가지 방법을 모두 결합하는 것입니다(Ranasinghe와 Wright 2019). 
Synchronous lectures have similar outcomes to asynchronous recorded lectures (Brockfeld et al. 2018). However, there are advantages to synchronous learning, including providing a placeholder in calendars to allow structured time for learning, social learning, real-time feedback, and interactivity (Ranasinghe and Wright 2019). Many tools and techniques can be used both synchronously and asynchronously, and optimal learning likely involves combining both methods such as providing synchronous lectures in addition to asynchronous recordings after the lecture (Ranasinghe and Wright 2019).

이제 비동기식 학습에 대해 살펴보았지만, 독자는 습관, 편안함, 스킬 수준 또는 실시간 상호작용 및 학습자 참여와 같은 교육적 이유인지 판단하여 비동기식 또는 혼합 방식 대신 동기식 학습을 선택하는 이유를 생각해 볼 것을 권장합니다. 
We now turn our attention to asynchronous learning, but the reader is encouraged to reflect on why they may choose synchronous learning over asynchronous or mixed methods, decerning whether it is for habit, comfort, skill level, or pedagogical reasons, such as real-time interactivity and learner engagement.

비동기 학습
Asynchronous learning

비동기 학습은 학습자가 언제 어디서나 참여할 수 있을 때 발생합니다. 일반적인 비동기 학습 유형에는 게시글 또는 공유 파일을 통해 배포되는 모듈, MOOC, 토론 게시판, 비디오, 오디오 녹음 및 기타 학습 자료가 포함됩니다. 비동기식 공동 작업은 토론 포럼과 같은 학습 관리 시스템(LMS)의 동료 및 교수자 상호 작용을 위한 기본 제공 도구를 통해 이루어지거나 Slack, Twitter 또는 Flip과 같은 플랫폼, 공동 작업 도구(예: Google 문서, Miro 또는 Trello), 이메일, 가상 근무 시간 및 오디오 메시징을 통한 교사/학습자 지원을 통해 LMS 외부에서 이루어질 수 있습니다. 
Asynchronous learning occurs when learners can participate from anywhere at any time. Common types of asynchronous learning include emodules, MOOCs, discussion boards, video, audio recordings, and other study material distributed via postings or shared files. Asynchronous collaboration can happen through built-in tools for peer and instructor interaction in the Learning Management System (LMS) such as discussion forums, or outside of the LMS via platforms such as Slack (https://slack.com), Twitter (https://twitter.com), or Flip (https://info.flip.com/), collaboration tools (such as Google docs https://workspace.google.com/products/docs, Miro, or Trello https://trello.com), or teacher/learner support through email, virtual office hours, and audio messaging.

대역폭, 하드웨어, 소프트웨어와 같은 테크놀로지적 요구 사항이 적기 때문에 비동기 학습은 HPE에서 온라인 학습의 첫 번째 형태 중 하나였습니다. 전통적으로 블렌디드 러닝은 대면 강의실 학습과 온라인 읽기 또는 토론 게시판과 같은 비동기식 숙제를 포함했습니다. 이는 교실에서 F2F를 실제로 적용하기 전에 일반적으로 모듈과 비디오를 통해 비동기식 자료로 콘텐츠를 제공했던 플립형 교실 학습과는 달랐습니다(Schwartzstein and Roberts 2017, Phillips and Wiesbauer 2022). 
Due to fewer technological requirements (such as bandwidth, hardware, and software), asynchronous learning was among the first forms of online learning in HPE. Traditionally, blended learning involved in-person classroom learning with asynchronous homework, such as online readings or discussion boards. This differed from flipped classroom learning, where asynchronous materials provided content, typically through emodules and videos, prior to F2F practical application in the classroom (Schwartzstein and Roberts 2017; Phillips and Wiesbauer 2022).

비동기식 교육은 교육기관의 디지털 도달 범위를 가속화하고, 콘텐츠의 잠재적 수익화를 가능하게 하며, 국제적인 영향력을 가진 디지털 장학금을 촉진한다는 점에서 고등 교육에도 매력적입니다. 행정 효율성과 확장성을 통해 방대한 학생 코호트를 교육하고, 보다 유연한 학습을 통해 학습자 등록을 늘리고, 학문적 도달 범위를 확대할 수 있다는 점은 비동기식 교육에 대한 투자를 유도하는 매력적인 논거가 될 수 있습니다.  
Asynchronous education is also attractive to higher education, as it accelerates institutions’ digital reach, allows potential monetization of content, and promotes digital scholarship with international impact. The promise of teaching vast student cohorts through administrative efficiency and scalability, greater learner enrolment through more flexible learning, and expanding academic reach can be an enticing argument toward investment in asynchronous education.

비동기식 학습과 관련하여 학습자들이 보고한 장점으로는 자신의 속도에 맞춰 학습할 수 있고, 일정 충돌을 피할 수 있으며, 생산성이 향상된다는 점 등이 있습니다(Gillingham and Molinari 2012; Regmi and Jones 2020). 젊은 학습자가 온라인 학습을 선호한다는 일반적인 생각과는 달리 비동기식 학습은 특히 시간 관리, 주체성, 동기 부여에 더 능숙한 것으로 보이는 성숙한 성인 학습자, 특히 다른 삶의 약속을 가진 학습자에게 더 매력적으로 보입니다(Harris and Martin 2012). 비동기식 학습자는 또한 자신의 학습을 맞춤화할 수 있으며, 이미 숙달된 주제에 더 많은 시간을 할애하고 관심 있거나 필요한 주제에 더 적은 시간을 할애할 수 있습니다(Phillips and Wiesbauer 2022). 이는 특히 다양한 전문 분야 또는 전문직 간 HPE 배경을 가진 대학원생 또는 평생 전문 개발(CPD) 학습자에게 유용할 수 있습니다(MacNeill 외. 2010; Chang 외. 2014). 비동기식 학습은 또한 추적(자료 참여, 평가 점수), 컴퓨터화된 피드백 및 개인화된 학습(학습자 요구 또는 평가에 기반)을 활용하는 적응형 학습(Ruiz 외. 2006)을 가능하게 합니다. 이는 효율적이고 평생에 걸친 역량 기반 학습에 도움이 될 수 있습니다.
Benefits reported by learners regarding asynchronous learning include studying at their own pace, avoiding scheduling conflicts and increased productivity (Gillingham and Molinari 2012; Regmi and Jones 2020) Contrary to popular belief that younger learners prefer online learning, asynchronous learning seems to appeal especially to mature adult learners, particularly those with other life commitments, who appear to be better at time-management, agency and motivation (Harris and Martin 2012). Asynchronous learners are also able to tailor their learning, devoting more time to topics of interest or need and less to those already mastered (Phillips and Wiesbauer 2022). This may be particularly helpful for postgraduate or Continuing Professional Development (CPD) learners coming from different specialties or interprofessional HPE backgrounds (MacNeill et al. 2010; Chang et al. 2014). Asynchronous learning also allows for adaptive learning (Ruiz et al. 2006), utilizing tracking (engagement with material, assessment scores), computerized feedback and personalized learning (based on learner needs or assessment). This may help with efficient, lifelong, and competency-based learning.

비동기식 학습의 '언제 어디서나' 학습할 수 있다는 장점은 임상 업무의 변동, 교대근무, 교대 감독자 교대 등 임상 순환 근무 중(Wittich 외. 2017), 전문가 간 교육과 같은 일정 문제(MacNeill 외. 2010), 분산된 CPD 학습자 수용(Chan 외. 2018) 등 동기식으로 준비하기 어려운 HPE 커리큘럼으로 확장할 수 있습니다. 비동기식 학습은 또한 교육 또는 환자 대면 직전 또는 직후에 독립적인 학습이 가능하므로 적시 교수진 개발(Orner 외. 2022)과 교육/훈련(JITT) 또는 현장 학습(Kuhlman 외. 2021)을 가능하게 해줍니다. 달성 가능하고 '한입 크기'의 접근 가능한 비동기식 학습은 단계별 디지털 배지 완료를 통해 CPD 마이크로 자격 증명 및 역량 기반 교육을 가능하게 할 수도 있습니다(2022 EDUCAUSE Horizon Report 2022). 
The ‘anytime, anywhere’ advantages of asynchronous learning extend to HPE curricula that are difficult to arrange synchronously, such as during clinical rotations that involve fluctuating clinical duties, shift work, and rotating supervisors (Wittich et al. 2017), scheduling challenges such as interprofessional education (MacNeill et al. 2010), and accommodating dispersed CPD learners (Chan et al. 2018). Asynchronous learning also allows for just-in-time faculty development (Orner et al. 2022) and teaching/training (JITT) or point of care learning (Kuhlman et al. 2021), as it allows independent learning immediately before or after a teaching or patient encounter. Achievable, ‘bite-sized’ and accessible asynchronous learning can also enable CPD micro-credentialing and competency-based education through stepwise digital badge completion (2022 EDUCAUSE Horizon Report 2022).

비동기식 학습은 인터리빙 및 간격 반복(또는 분산 실습)과 같은 증거 기반의 학습 과학 전략과 연관되어 있습니다. 분산 연습은 학습이 여러 시점에 걸쳐 이루어질 때 발생합니다. 학습 사이의 이러한 시간적 간격은 성찰, 다양한 맥락에서의 학습 통합(인터리빙), 반복적인 검색 연습(예: 퀴즈 또는 요약 토론 게시판)을 가능하게 하며, 모두 학습을 개선하는 것으로 나타났습니다(Maheshwari 외. 2021; Van Hoof 외. 2021). 인터리빙을 사용하면 학습자가 개념, 컨텍스트 및 스킬을 순차적으로 이동하지 않고 앞뒤로 이동하여 중복 및 구별되는 영역을 검토하고 고립된 숙달이 아닌 비판적인 비교를 할 수 있습니다. 인터리빙은 블록형 학습에 비해 복잡한 문제 해결력과 정보 유지력을 향상시킵니다. 비동기식 학습은 다양한 임상 상황에서 자료 재방문 및 퀴즈/시뮬레이션/피드백, 보충 관련 자료 링크 액세스, 일반적인 코호트 외부의 학습자와 함께 학습을 통해 이러한 유형의 다양하고 무작위적인 연습을 촉진할 수 있습니다(Van Hoof 외. 2022). 
Asynchronous learning has been associated with evidence-based, learning science strategies such as interleaving and spaced repetition (or distributed practice). Distributed practice occurs when learning occurs over multiple points in time. This time between learning allows for reflection, consolidation of learning in different contexts (interleaving), and the use of repetitive retrieval practice (such as quizzes or summary discussion boards) which have all been shown to improve learning (Maheshwari et al. 2021; Van Hoof et al. 2021). Interleaving allows learners to move back and forth, rather than sequentially, through concepts, contexts, and skills, to examine areas of overlap and distinction, making critical comparisons, rather than siloed mastery. Interleaving leads to improved complex problem solving and retention of information compared to blocked learning. Asynchronous learning can foster this type of varied and random practice through revisiting materials and quizzing/simulation/feedback in different clinical contexts, accessing links to supplemental related materials, and learning together with learners outside of their typical cohort (Van Hoof et al. 2022).

또한 비동기 온라인 학습은 한계가 있을 수 있지만, 특히 대역폭이 제한적이거나 예측할 수 없는 저소득 및 중간 소득 국가(가찬자 외. 2021) 또는 농촌 지역(고소득 국가 포함)에서 접근성, 형평성 및 포용성을 개선하는 데 유용합니다. 교실 필요성 감소, 행정 일정 지원, 출장 비용 등 비용 절감 효과가 있을 수 있습니다(Ruiz 외. 2006). 또한 서로 다른 시간대에 있는 학습자와 교사가 협업할 수 있어 글로벌 학습 네트워크를 강화할 수 있습니다(Chan et al. 2018).
Furthermore, although there may be limitations, asynchronous online learning is beneficial in improving access, equity, and inclusion, especially in low- and medium-income countries (Gachanja et al. 2021), or in rural areas (including in high-income countries), where bandwidth may be limited or unpredictable. There may be cost savings, including reduced need for classrooms, administrative scheduling support, and travel costs (Ruiz et al. 2006). It also allows learners and teachers in different time zones to collaborate, enriching global learning networks (Chan et al. 2018).

그러나 비동기식 학습은 주의 산만, 학습 지연, 즉각적인 피드백 부족, 사회적 상호 작용 부족으로 인한 학습자 이탈의 경향이 있습니다(Nguyen et al. 2021). 비동기 학습이 핵심 F2F 또는 동기 학습에 대한 선택적이거나 보충적인 경우, 특히 임상 업무량이 많고 삶의 우선순위가 경쟁적인 상황에서 비동기 학습은 덜 중요한 것으로 간주될 수 있습니다. 
However, asynchronous learning has a propensity for distractions, delayed learning, lack of immediate feedback, and learner disengagement due to the lack of social interaction (Nguyen et al. 2021). If asynchronous learning is optional or supplementary to core F2F or synchronous learning, asynchronous learning may be seen as less important, especially in the context of heavy clinical workloads and competing life priorities.

학습자의 자료 참여도(예: 소요 시간 또는 게시물 수)를 모니터링하는 것은 학습을 반영하지 못할 수 있으며, 학습자-교수자 간 즉각적인 피드백을 제공할 기회가 적습니다. 학습자가 플랫폼에서 단순히 과제를 '완료'로 체크하는 것으로 전락할 위험이 있습니다. 그러나 AI 분석을 사용하여 여러 형성형 및 자동화된 퀴즈와 동료 피드백을 사용하는 등 '위험에 처한 학습자'를 추적함으로써 이러한 문제를 완화할 수 있습니다(온라인 교육에서 배우는 것 2012). 
Monitoring learner engagement with material (such as time spent or number of posts) may not be reflective of learning, and there is less opportunity for learner-instructor immediate feedback. There is the danger that it may devolve to learners’ simply ticking tasks as ‘completed’ on a platform. However, this may be moderated by using AI analytics to track for ‘learners at risk’ such as employing multiple formative and automated quizzes and peer feedback (What We’re Learning From Online Education 2012).

비동기식 환경에서의 교육은 강력한 멀티미디어를 제작하는 데 시간이나 비용의 제약이 있을 수 있지만, 한 번 제작하면 재사용할 수 있어 시간을 절약하고 교육 비용을 절감할 수 있습니다(Ruiz 외. 2006; Phillips and Wiesbauer 2022). 또한 토론 게시판은 읽고, 응답하고, 채점하는 데 시간이 많이 소요될 수 있지만 자동화, 동료 검토 및 좋아요 투표를 통해 촉진할 수 있습니다. 마지막으로, 비동기식 환경에서는 비언어적 단서와 즉각적인 피드백이 없고, 오해의 위험이 있기 때문에 교사는 그룹 규범, 목표 및 과제와 같은 사회적 학습 및 학습 기대치를 조성하기 위해 훨씬 더 명확하게 설명해야 합니다(Maheshwari 외. 2021). 비동기 환경에서 소셜 및 협업 학습을 촉진하는 방법에 대한 실용적인 팁은 부록 3을 참조하세요. 
Teaching in asynchronous environments can have up front time or cost constraints to create robust multimedia, but, once created, has the potential to be reused, freeing up time and reducing teaching costs (Ruiz et al. 2006; Phillips and Wiesbauer 2022). Furthermore, discussion boards can be time-consuming to read, respond and grade, but can be facilitated through automation, peer reviewing, and up-voting. Lastly, teachers must be much more explicit in asynchronous environments to foster social learning and learning expectations, such as group norms, objectives, and assignments, due to the lack of non-verbal cues, immediate feedback, and risk of misinterpretation (Maheshwari et al. 2021). Please refer to Supplementary Appendix 3 for practical tips on how to foster social and collaborative learning in asynchronous environments. 

1.      비동기식 환경에서는 기대치, 루브릭, 예시 과제 및 자세한 코스 개요를 게시하는 등 명확성을 유지합니다. 가상 근무 시간, 동료 토론 게시판 등 학습자가 교수자 및 동료에게 연락하여 기대치 및 과제를 명확히 확인할 수 있는 방법을 마련합니다. 
1.      Be clear in asynchronous environments such as posting expectations, rubrics, exemplar assignments, and detailed course outlines. Have ways learners can contact you and their peers for clarification of expectations and assignments such as virtual office hours, and peer discussion board.

2.      학습자와 함께 코스 기대치에 대한 '네티켓' 또는 온라인 학습 규칙을 개발하는 것을 고려합니다. 
2.      Consider developing “netiquette” or online learning rules with your learners for course expectations.

3.      참여를 통한 교사와 다른 학습자 간의 상호 작용이 학습과 향후 관계에 어떤 긍정적인 영향을 미치는지 명시적으로 설명합니다. 동료 피드백의 중요성과 모든 사람의 학습을 보장하기 위한 그룹의 책임에 대해 논의합니다. 
3.      Be explicit about how interactions teachers and other learners through participation positively affects learning and future connections. Discuss the importance of peer feedback and the group’s responsibility to ensure everyone’s learning.

4.      학습자가 개인 정보를 공유할 수 있도록 허용하는 아이스 브레이커 활동(예: "우리가 모르는 한 가지를 알려주세요" 또는 "좋아하는 음식이나 문화/유산의 레시피를 게시하세요")을 고려합니다. 
4.      Consider ice-breaker activities that give permission for learners to share personal information, such as “tell us one thing we might not know about you” or “post your favorite food or recipe from your culture/heritage”

5.      정기적으로 토론 게시판을 방문하고, 양질의 게시물을 인정하고, 공평한 기여를 장려하고, 오해를 바로잡고, 생각을 자극하고, 요약하거나 개인적으로 성찰하는 게시물 또는 추가 리소스에 대한 링크를 제공하는 등 효과적인 비동기식 커뮤니케이션을 모델링합니다. 
5.      Model effective asynchronous communication such as regularly visiting discussion boards, acknowledging quality posts, encouraging equitable contributions, correcting misconceptions, contributing thought provoking, summarizing or personally reflective posts or links to further resources.

6.      콘텐츠와 관련이 없는 토론 게시글을 생성하여 "흥미로운 발견" 또는 "오늘 기분이 어떠세요?" 체크인을 허용합니다(예: 오늘 이 코스에서 기분을 가장 잘 설명하는 사진 선택). 토론 게시판은 LMS에 내장되거나 Slack(https://slack.com) 또는 WhatsApp(https://www.whatsapp.com) 그룹과 같은 외부 소프트웨어로 구축될 수 있습니다. 
6.      Create non content related discussion posts that allow for “interesting finds” or “how are you feeling today” check-ins (e.g., select a picture that best describes your mood in this course today). Discussion boards may be built into your LMS or as external software such as Slack (https://slack.com) or WhatsApp (https://www.whatsapp.com) group.

7.      학습자의 중간 반성 게시물 또는 교수자의 주간 주제 소개와 같은 1~2분 길이의 비디오 또는 오디오 게시물을 사용하는 것이 좋습니다. 비디오를 공유하면 동료, 학습자 및 교사 간에 텍스트가 제공할 수 있는 것 이상의 사회적 연결이 가능합니다. Flip(https://info.flip.com)과 같은 비디오 블로그 플랫폼, Camtasia(https://www.techsmith.com/video-editor.html), Zoom 녹화(https://zoom.us)와 같은 즉시 사용 가능한 비디오 제작 소프트웨어, 또는 스마트폰에서 MP4 또는 MP3 또는 wav 파일을 녹화하는 것만으로도 이러한 작업을 수행할 수 있습니다. 
7.      Consider using 1-2 min video or audio postings, such as midterm reflection posts by learners or weekly instructor topic introductions. Sharing videos allows social connection between peers, learners and teachers beyond what text can afford. This may be accomplished by video blog platforms such as Flip (https://info.flip.com), out of the box video creation software such as Camtasia (https://www.techsmith.com/video-editor.html), Zoom recordings (https://zoom.us), or simply by recording an MP4 or MP3 or wav file from your smart phone.