Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

ChatGPT로 논문쓰기: 학술 저자를 위한 능력, 한계, 함의 (Perspect Med Educ. 2023)
Writing with ChatGPT: An Illustration of its Capacity, Limitations & Implications for Academic Writers
LORELEI LINGARD

ChatGPT와 기타 인공지능(AI) 도구가 학계 전반에 경종을 울리고 있습니다. 이러한 우려의 대부분은 ChatGPT가 교육에 어떤 영향을 미칠 것인가에 집중되어 있습니다. 학생의 학습에 어떤 영향을 미칠까요? 학생들의 부정행위가 만연할까요? 전통적인 지식 평가[1]의 종말을 의미할까요? 최근 이러한 우려는 우리의 학문적 사명에도 영향을 미쳤습니다. 새로운 기술 자원일까요, 아니면 과학적 무결성에 대한 위협일까요? 어떤 용도가 적절하며, 어떻게 인정해야 할까요? 
ChatGPT and other artificial intelligence (AI) tools are raising alarm bells across academia. Much of the alarm centers on how ChatGPT will affect the educational mission. How will it affect student learning? Will it lead to rampant student cheating? Will it mean the death of traditional knowledge assessments [1]? Recently, the alarm has reached our scholarly mission as well. Is it a new technological resource, or a threat to scientific integrity? What uses are appropriate, and how should they be acknowledged?

이는 추상적인 질문이 아닙니다. ChatGPT는 이미 2023년 1월부터 사전 인쇄물 및 동료 심사를 거친 출판 논문에서 저자로 인정받고 있습니다[2]. 신뢰할 수 없는 또는 부정 사용에 대한 우려가 제기되어 왔으며[3], 현재 주요 학술지들은 이 문제에 대한 입장을 밝히고 있습니다.

• 예를 들어, 스프링거 네이처 저널은 연구에 대한 책임을 질 수 없기 때문에 ChatGPT는 공동 저자가 될 수 없다고 선언했으며, 연구자가 방법 또는 감사의 말 섹션에 ChatGPT를 사용한 사실을 문서화할 것을 요구하고 있습니다[4].
• Academic Medicine에서는 저자가 학술 연구에서 AI 도구의 사용을 공개하고, 그 사용의 성격을 투명하게 설명하며, 정확성과 무결성에 영향을 미치는 제한 사항을 인식하도록 안내합니다[5].
• 의료 교육, 연구 및 실무 분야의 최근 체계적 검토에서는 ChatGPT의 가능성을 인정하면서도 "윤리적, 저작권, 투명성 및 법적 문제, 편견의 위험, 표절, 독창성 부족, 환각의 위험이 있는 부정확한 콘텐츠, 제한된 지식, 잘못된 인용, 사이버 보안 문제, 인포데믹의 위험"을 고려하여 "극도로 신중하게" 도입해야 한다는 결론을 내렸습니다. [6]. 

These are not abstract questions. ChatGPT has already been credited with authorship in preprints and peer-reviewed published articles since January 2023 [2]. Concerns have been raised about its uncredited or fraudulent use [3], and major journals are now declaring their positions on the issue.

• For instance, the Springer Nature journals have declared that ChatGPT cannot be a co-author because it cannot take responsibility for the work, and they require that researchers document any use of ChatGPT in their Methods or Acknowledgements sections [4].
• Academic Medicine guides authors to disclose the use of AI tools in scholarship, describe transparently the nature of that use, and be aware of limitations that affect accuracy and integrity [5].
• A recent systematic review in the domain of healthcare education, research and practice acknowledged ChatGPT’s promise but concluded that it should be embraced with “extreme caution” considering concerns with “ethical, copyright, transparency, and legal issues, the risk of bias, plagiarism, lack of originality, inaccurate content with risk of hallucination, limited knowledge, incorrect citations, cybersecurity issues, and risk of infodemics.” [6].

우리는 이미 연구와 글쓰기를 지원하기 위해 테크놀로지를 사용하고 있습니다. 데이터 분석을 관리하기 위한 SPSS나 NVivo, 인용을 정리하기 위한 Reference Manager, 철자와 문법을 교정하기 위한 Grammarly 편집 소프트웨어가 없다면 어떻게 될지 상상해 보십시오. 이 작가의 기술에서는 작가들이 ChatGPT에 익숙해져서 효과적이고 적절하게 사용할 수 있도록 하는 것을 목표로 합니다. 2023년 3월과 4월에 ChatGPT4와 나눈 채팅을 바탕으로 그 기능과 한계를 설명하고, 일련의 주의 사항과 인사이트를 추출하여 점진적 프롬프트를 사용하여 소프트웨어를 '훈련'하는 방법, 브레인스토밍과 개요 및 요약과 같은 콘텐츠 생성에 사용하는 방법, 편집자로 활용하는 방법을 안내해 드립니다. 
We already use technology to assist our research and writing. Imagine how you’d function without SPSS or NVivo to manage your data analysis, Reference Manager to organize your citations, or Grammarly editing software to correct your spelling and grammar. This Writer’s Craft aims to familiarize writers with ChatGPT so that they might use it effectively and appropriately. Drawing on chats I had with ChatGPT4 in March and April 2023 to illustrate its capacity and its limitations, I extract a series of Cautions and Insights and guide writers in how to use incremental prompting to ‘train’ the software, how to use it for brainstorming and generating content like outlines and summaries, and how to employ it as an editor.

점진적 프롬프트를 통한 ChatGPT 훈련
Training ChatGPT through incremental prompting

ChatGPT의 기본값은 일반적이고 설명적인 응답을 제공하는 것입니다. 점진적 프롬프트는 점차적으로 주의를 집중시키고 사용자의 관심사와 이해 수준에 맞는 응답을 제공하도록 훈련시키는 프로세스입니다. 아래 질문과 같은 일반적인 프롬프트가 시작점으로 좋습니다: 
ChatGPT’s default is to offer generic and descriptive responses. Incremental prompting is the process by which you gradually focus its attention and train it to give you responses tailored to your interests and your level of understanding. General prompts are fine as a starting point, such as my question below:

 

능동태와 피동태에 대한 설명이 이어지지만, 제가 실제로 관심을 갖고 있는 부분은 아닙니다. 저는 좀 더 구체적인 답변을 얻고자 제 이야기를 해보려고 합니다.

lf:It goes on to explain active and passive voice, but that’s not really what I’m interested in. I try to get a more specific answer by telling it about myself:

 

스타일과 어조에 대해 이야기하고 대명사의 예가 더 구체적이라는 점에서 다소 나아졌습니다. 하지만 여전히 제가 원하는 것보다 더 일반적입니다. 제가 요청합니다:

That’s somewhat better: it’s talking about style and tone, and the example of pronouns is more specific. But it is still more generic than I would like. I ask it to:

 

 

이 답변은 학술적 글쓰기에서 목소리에 대해 이야기하기 위해 좀 더 형식적인 언어적 특징을 사용하며, 딕시스, 양식 및 일관성에 대한 예를 제시합니다. 그러나 학자들이 학술적 목소리에 대해 이야기할 때 이러한 특징이 주된 관심사는 아닙니다. 그래서 다음 질문은 학술적 목소리의 저명한 언어학자에 대해 묻고 있습니다:

This response employs more formal linguistic features to talk about voice in academic writing, and offers illustrations of deixis, modality, and coherence. However, these aren’t the primary features that scholars are concerned with when they talk about academic voice. So my next prompt asks about a prominent linguistic scholar of academic voice:

 

Hyland의 이론은 세 가지 주요 구성 요소로 이루어져 있으며, 그 중 하나만 명시적으로 응답("입장")에 표현되어 있습니다. 다음 점진적 프롬프트는 이를 더욱 집중적으로 다루려고 합니다:

This is accurate, but still generic and selective: Hyland’s theory has three main components, only one of which is explicitly represented in its response (“stance”). My next incremental prompt tries to focus it further:

 

이제 ChatGPT는 Hyland의 이론에 대한 360단어 설명과 함께 세 가지 구성 요소에 대한 유용한 예시를 몇 초 만에 제공할 수 있게 되었습니다. 하지만 이제 궁금한 점이 생겼습니다. 제가 프롬프트에서 Hyland에 집중하느라 음성 관련 다른 언어 이론에 대해 알려주지 않은 것은 무엇일까요? 그래서 묻습니다:

ChatGPT is now able, in a few seconds, to offer a 360-word description of Hyland’s theory with helpful, illustrative examples of its three components. But now, I wonder, what other linguistic theories of voice did it not tell me about, due to my focusing in on Hyland in my prompting? So I ask:

 

이제 ChatGPT는 음성에 대한 네 가지 중요한 이론을 설명하며, 점진적인 프롬프트를 통해 더 자세히 살펴볼 수 있습니다. 또한 이러한 이론을 비교하거나 이론 간의 긴장을 설명하거나 더 최근의 이론가들이 이러한 이론을 어떻게 구축했는지 제안하도록 요청할 수도 있습니다. 이 정도의 구체성에 도달하면 ChatGPT는 여러분이 직접 읽고 쓸 때 추구해야 할 아이디어 간의 연결점을 지적하는 데 매우 유용할 수 있습니다. 
Now ChatGPT describes four important theories of voice, which I could probe further with incremental prompting. I could also ask it to compare these theories, or to describe tensions among them, or to suggest how more recent theorists have built on them. Once you get to this level of specificity, ChatGPT can be very helpful in pointing out connections among ideas for you to pursue in your own reading and writing.

이 대화에서 알 수 있듯이 점진적 프롬프트는 ChatGPT의 응답 가치를 극대화하는 데 핵심적인 역할을 합니다. 그러나 효과적인 증분 프롬프트를 사용하려면 도메인에 대한 지식이 필요합니다. 도메인을 이미 잘 알고 있어야 ChatGPT의 응답이 얼마나 정확하고 선택적이거나 포괄적인지 판단하고 후속 프롬프트를 사용하여 응답을 개선할 수 있습니다. 잘 모르는 도메인에 대해 질문하면 ChatGPT가 어떤 정보를 선택했는지, 왜 어떤 것을 선택했는지, 왜 다른 것을 선택하지 않았는지 불분명합니다. 
As this conversation illustrates, incremental prompting is a key to maximizing the value of ChatGPT’s responses. But effective incremental prompting requires domain-specific knowledge: you need to know the domain quite well already, so that you can judge the extent to which ChatGPT’s response is accurate, selective or comprehensive, and use follow up prompts to improve it. If you ask it about domains you don’t know well, it will be unclear what information ChatGPT has selected from, and why it has selected some things and not others.

마지막으로 '학습' ChatGPT에 대해 한 가지 더 말씀드리자면, 학습한 내용이 현재 채팅을 넘어 일관되게 전달되지 않는 것 같습니다. 별도의 채팅을 열고 "켄 하일랜드의 학문적 음성 이론에 대해 무엇을 이해하나요?"라고 다시 질문했을 때, 첫 번째 응답은 이 모델의 세 가지 특징을 모두 설명하는 것으로 이전 채팅에서 학습한 내용이 전달되는 것처럼 보였습니다. 하지만 다음 섹션에서 설명하겠지만 항상 그런 것은 아닙니다.
One final point about ‘training’ ChatGPT: what it learns does not appear to consistently transfer beyond the current chat. When I opened a separate chat and asked again “What do you understand about Ken Hyland’s theory of academic voice in writing”, the first response included described all three features of this model: that seemed to represent learning transferred from the previous chat. But this is not always the case, as I will discuss in the next section.

주의: ChatGPT의 기본 응답은 일반적이면서도 (눈에 보이지 않게) 선택적인 응답을 제공합니다. 인사이트: 점진적 프롬프트는 구체성을 높이고, 선택을 안내하며, 제외 항목을 표시할 수 있습니다. Caution: ChatGPT’s default responses are both generic and (invisibly) selective. Insight: Incremental prompting can increase specificity, guide selections & reveal exclusions.

브레인스토밍을 위한 ChatGPT 사용
Using ChatGPT for brainstorming

ChatGPT는 다른 기능보다 몇 가지 기능이 더 뛰어납니다. 가장 큰 차이점은 콘텐츠 생성과 구조적 지원입니다. 콘텐츠 생성의 경우, 앞서 학술적 글쓰기 음성에 대한 대화에서 설명한 것처럼 ChatGPT가 제공하는 콘텐츠의 품질을 판단하려면 콘텐츠를 잘 알고 있어야 합니다. 소프트웨어가 잘하는 것으로 확인된 콘텐츠 생성의 한 가지 형태는 개요 생성입니다[13]. 저는 이 작가의 기술에 대한 개요를 제공하기를 원했기 때문에 작가의 기술 장르에 대해 무엇을 알고 있는지 물어보는 것부터 시작했습니다: 

ChatGPT is better at some things than others. The main distinction is between content generation and structural support. In terms of content generation, as the previous conversation about academic writing voice illustrated, you need to know the content well to judge the quality of what ChatGPT is giving you. One form of content generation that the software has been identified to be good at is the creation of outlines [13]. I wanted it to provide an outline for this Writer’s Craft for me, so I began by asking what it knew about the Writer’s Craft genre:

 

여기서 멈추세요. '작가의 기술'은 일련의 책이 아니며, 저는 이런 제목의 책을 쓴 적이 없습니다. 이 예에서 알 수 있듯이 점진적 프롬프트의 각 단계에서 잘못된 응답을 경계해야 합니다. ChatGPT는 두뇌가 아닌 텍스트 생성기입니다. 질문한 주제와 관련하여 함께 찾을 수 있는 단어를 조합하는 것입니다. 그렇다고 해서 이 단어들이 서로 '속한다'거나 '진실'이라는 의미는 아닙니다. 사실 ChatGPT는 헛소리를 만들어내는 것을 즐기는 것 같습니다. 이 서비스가 제공하는 참고 자료를 절대 신뢰할 수 없습니다. 2021년 이후의 자료에 접근할 수 없기 때문만이 아니라, 작가의 기술 시리즈는 2015년까지 거슬러 올라가는데, 이를 알지도 못하고 찾으려고 하지도 않는 것 같습니다. 대신 "환각"을 일으켜 책 시리즈를 구성합니다. 다행히도 "생성 중지" 버튼을 누르면 이 작업을 중단할 수 있습니다. 그런 다음 수정했습니다: 

Stop right there: the Writer’s Craft is not a series of books, and I have never written books with these titles. As this illustrates, at each stage of the incremental prompting, you should be alert for false responses. ChatGPT is a text generator, not a brain: it is putting together words that are likely to be found together around the topic you’ve asked about. That doesn’t mean these words ‘belong’ together or that they are ‘true’. In fact, ChatGPT seems to enjoy making sh*t up. You absolutely cannot trust the references it gives you. And not only because it doesn’t have access to material post-2021; the Writer’s Craft series extends back to 2015, but it doesn’t know them and apparently doesn’t try to find them. Instead, it “hallucinates”, making up a book series. Happily, you can stop it in its tracks when it does this, by hitting the “Stop Generating” button, which I did. Then I corrected it:

 

이 답변 역시 프롬프트에서 말씀드린 내용을 대부분 반복하는 것이기 때문에, 집중해서 작가의 기술 시리즈 제목을 물어봄으로써 구체적인 내용을 파악하려고 노력했습니다: 

This answer too, is mostly repetition of what I told it in the prompt, so I try to focus it down and get specifics by asking for the titles of the Writer’s Craft series:

 

문제는 이러한 제목이 실제 제목이 아니라 지어낸 제목이라는 것입니다. 특정 참고 문헌을 제공하라는 메시지가 표시되면 종종 이를 만들어내는 경우가 많다는 점이 ChatGPT의 주요 약점 중 하나입니다[14]. 이러한 발명품은 단어 연관성을 기반으로 하기 때문에 키워드와 공동 저자의 현실적인 조합을 갖게 됩니다. 하지만 가짜가 아닐 가능성도 그만큼 높습니다. 이 문제를 해결하기 위해 웹에 대한 ChatGPT의 액세스를 개선하거나 Google Scholar 참조로 제한하는 확장 프로그램과 같은 기술이 등장하고 있지만, 그 효과에 대한 보고는 다양합니다[15]. 
The problem is, these aren’t real titles: they’re made up. This is one of ChatGPT’s main weaknesses: when you prompt it to provide specific references, it often invents them [14]. Because these inventions are based on word associations, they will have realistic combinations of keywords and coauthors. But they are as likely as not to be bogus. Techniques for addressing this problem are emerging, such as extensions that improve ChatGPT’s access to the Web or restrict it to Google Scholar references; however, reports of their effectiveness vary [15].

주의: ChatGPT는 사용자에게 거짓말을 할 수 있으며, 이러한 현상은 AI 환각으로 알려져 있습니다. 인사이트: 생성하는 모든 콘텐츠, 특히 참고 문헌을 다시 한 번 확인하세요. Caution: ChatGPT will lie to you, a phenomenon known as an AI hallucination. Insight: Double check any content it generates, particularly references.

하지만 ChatGPT는 제목에 있어서는 다소 창의적이라고 말할 수 있습니다. 예를 들어, 저는 이 가짜 작가의 기술이라는 제목을 썼으면 좋았을 것 같습니다: "링가드 L. 나를 설득하라: 논증의 기술. 의학 교육에 대한 관점. 2013; 2(2): 75-78." 이는 소프트웨어를 효과적으로 사용하는 한 가지 방법이 제목 제안을 요청하는 것임을 시사합니다. 실험으로, 저는 최근 '독자를 위한 글쓰기'라는 제목을 붙인 '작가의 기술'의 도입 단락을 제공했습니다: 독자를 위한 글쓰기: 독자의 기대 원칙을 사용하여 명확성 극대화하기"라는 제목을 붙인 글의 도입부를 제공하고 가능한 제목을 물어보았습니다:

I will say, though, that ChatGPT is rather creative when it comes to titles. I wish, for instance, that I had written this fake Writer’s Craft: “Lingard L. Convince me: the art of argumentation. Perspectives on Medical Education. 2013; 2(2): 75–78.” This suggests that one way to use the software effectively would be to ask it for title suggestions. As an experiment, I give it the introductory paragraphs from a recent Writer’s Craft (that I had entitled “Writing for the Reader: Using Reader Expectation Principles to Maximize Clarity) and I ask it for possible titles:

 

저는 특히 1번과 6번을 좋아하는데, 만약 제가 새 제목을 쓴다면 이 중 몇 가지를 조합해서 쓸 것 같습니다. 
Some of these are pretty good: I especially like 1 and 6, and if I were going to write a new title it would likely combine pieces of these favorites.

ChatGPT에서 이 작가의 기술에 대한 개요를 작성하기 위해 ChatGPT를 사용했던 시도로 돌아가 보겠습니다. 
Back to my attempt to get ChatGPT to create an outline for this Writer’s Craft on ChatGPT.

실제 작가 크래프트 작품에 익숙해지도록 하려고 했지만 잘 안 되더군요. 
I tried to get it to familiarize itself with actual Writer’s Craft pieces, but it resisted.

 

처음에는 능력과 시간(!)이 있는 것은 분명한데 실제로 시리즈 전체를 읽는 것을 거부하는 것이 당황스러웠습니다. 아마도 모든 참조를 제공하면 더 잘 반응 할 것입니다. 하지만 여기서는 다시 일반론으로 돌아갑니다: "이 시리즈는 약 20개의 아티클로 구성되어 있으며, 각 아티클은 학술적 글쓰기의 다른 측면에 초점을 맞출 것입니다...", "이 시리즈는 연구자들이 학술적 글쓰기에 사용할 수 있는 실용적인 조언과 전략을 제공할 것입니다..." 등등. 지금까지는 ChatGPT가 실제로 제가 예시로 제공한 특정 글쓰기를 포함하여 작가의 기술 중 어느 것도 읽지 않았다는 확신을 가질 수 없었습니다. 하지만 ChatGPT는 읽거나 분석하는 것이 아니라 언어 패턴을 인식하는 것뿐이라는 것을 기억합니다. 그래서 다시 묻습니다: 

At first I’m puzzled that it resists actually reading the entire series, as it surely does have the ability and the time (!). Perhaps if I gave it all the references it would respond better. Here though, it reverts again to generalities: “The series consists of approximately 20 articles, each of which likely focuses on a different aspect of academic writing…”; The series likely provides practical advice and strategies for researchers to use in their academic writing…”, and so on. So far, I can’t have confidence that ChatGPT has actually read any of the Writer’s Crafts, even the specific one that I provided as an example. But then I remember that ChatGPT is neither reading nor analyzing – it’s just recognizing language patterns. Thus, I prompt again:

 

점점 가까워지고 있습니다. ChatGPT가 이 작가의 기술의 주요 구조를 파악했다는 것을 알 수 있을 정도로 충분한 디테일이 있습니다. 하지만 제 자신의 기존 지식이 얼마나 중요한지 주목하세요: 저는 이 기사를 잘 알고 있기 때문에(제가 작성했습니다!) ChatGPT가 일반적인 내용을 말하는 경우와 제가 지시한 기사에 대해 실제로 이야기하는 경우를 쉽게 구분할 수 있었습니다. 
That’s getting closer. There is sufficient detail that I can tell ChatGPT has picked up the main structure of this Writer’s Craft. Notice though, how important my own existing knowledge is: I know this article well (I wrote it!) and so I have been able to readily discern when ChatGPT is spouting generic stuff and when it is actually talking about the article(s) I’ve directed it to.

주의: ChatGPT에 의존해 기사를 읽지 마세요. 인사이트: 낯선 도메인보다는 익숙한 도메인과 관련하여 ChatGPT를 사용하세요. Caution: Don’t rely on ChatGPT to read articles for you. Insight: Use ChatGPT in relation to familiar domains rather than unfamiliar ones.

 

이제 (마침내) 특정 글쓰기 기술의 특징을 인식하도록 만들었으니 원래의 목표, 즉 이 글의 개요를 브레인스토밍하는 데 ChatGPT를 사용하도록 하는 것에 도달할 수 있게 되었습니다: 
Now that I’ve (finally) gotten it to recognize the features of a specific Writer’s Craft, I can get to my original aim: getting ChatGPT to brainstorm an outline for this paper:

 

 

이것은 유용합니다. 물론 제가 가르쳤던 '작가의 기술'의 형식과 정확히 일치하는 것은 아니며, 다소 일반적인 구조로 되돌아갔습니다. 그리고 제가 실제로 이 글을 어떻게 구성하기로 결정했는지는 (눈치 채셨을 것입니다) 아닙니다. 그러나 필요한 섹션 중 일부를 개념화하는 데 도움이됩니다. 그리고 초안 작성 과정에서 다시 돌아가서 제가 무엇을 강조하고 간과했는지 확인하는 데 유용했습니다. 
This is useful. Admittedly, it’s not precisely the format from the Writer’s Craft I trained it on: it has reverted to a somewhat more generic structure. And it is not (you will have noticed) how I actually decided to organize this piece. It does, however, help me conceptualize some of the necessary sections. And it was useful to return to during the drafting process, to see what I was emphasizing and overlooking.

점진적인 프롬프트를 통해 ChatGPT를 이 단계까지 끌어올리면 모든 종류의 브레인스토밍을 할 수 있는 정점에 도달한 것입니다. 각 섹션을 완성하는 데 도움이 되는 몇 가지 구체적인 정보가 필요하다고 가정해 봅시다:

Once you get ChatGPT to this point through incremental prompting, you’re on the cusp of all kinds of brainstorming bounty. Let’s say you want some specifics to help you flush out each section:

 

Insight: If you dread the blank page, a ChatGPT outline could jumpstart your drafting process. Caution: Its ideas are generic; use them as a starting place, not a replacement for your own.

글의 깊이를 더하기 위해 몇 가지 추가 아이디어를 짜는 데 도움이 필요하다면 어떻게 해야 할까요? 가능한 한 구체적으로 말씀해 주세요: 

What if you wanted help weaving in some additional ideas, to deepen the piece of writing? Just ask, remembering to be as specific as you can be:

 

이것들은 모두 관련성이 있는 요점들이며, 각각에 대한 이해를 마무리하기 위해 Google Scholar에 입력할 수 있는 검색어를 제공합니다. 
These are all relevant points, and they provide me with search terms I could input into Google Scholar to round out my understanding of each.

위의 채팅에서 볼 수 있듯이 ChatGPT를 사용하여 견고한 윤곽을 만들 수 있습니다. 글을 쓸 장르에 대해 훈련하고 다룰 주제 영역에 대한 지식을 판단해야 하지만, 이러한 단계를 수행한 후에는 순서, 섹션, 강조점이 다른 일련의 개요를 빠르게 요청할 수 있습니다. 이렇게 하면 원고에 접근하는 다양한 방법을 상상해보고 가장 적합한 방법을 선택하여 초안을 작성하는 데 도움이 됩니다. 
As my chat above illustrates, ChatGPT can be used to create solid outlines. You need to train it on the genre you’re going to write in and you need to judge its knowledge about the subject areas you’ll cover, but once you’ve taken those steps you can quickly request a series of outlines with different orders, sections, emphases. This can help you imagine different ways of approaching the manuscript: choose the best one, and start drafting.

ChatGPT는 일단 올바른 방향으로 안내를 받으면 빠르게 진행되지만(전체 채팅은 10분도 채 걸리지 않았습니다), 이러한 훈련 노력이 새로운 채팅으로 이어지지는 않습니다. 시스템은 모든 채팅 로그를 저장합니다. 사이드바에서 채팅 로그를 보고 다시 돌아가서 액세스할 수 있지만, 이는 개별적인 개체입니다. "컨텍스트 메모리는 현재 대화에만 적용됩니다. ChatGPT의 상태 비저장 아키텍처는 대화를 독립적인 인스턴스로 취급하기 때문에 이전 대화의 정보를 참조할 수 없습니다. 새 채팅을 시작하면 항상 모델의 상태가 초기화됩니다."[16]. 이 사실을 모르고 며칠 후 새 채팅을 시작하고 "연구자들의 학술적 글쓰기 향상을 돕기 위해 로렐라이 링가드가 (주로) 쓴 '작가의 기술' 시리즈에 대해 아는 것을 말해 주세요"라고 다시 물었더니 제가 쓴 적도 없는 책 5권에 대해 또다시 대답을 들었습니다. 저장된 채팅 로그로 돌아가서 중단한 부분부터 다시 프롬프트를 받았을 때 결과는 더 나아졌지만 일관성이 없었는데, 이는 ChatGPT의 문맥 기억의 한계 때문이거나 "관련성이 없다고 판단되는 지시를 삭제하는"[16] 경향으로 인해 "문맥을 깨뜨리는" 경향 때문일 수 있습니다. 
ChatGPT is fast once you get it pointed in the right direction (this whole chat took less than 10 minutes), but that training effort doesn’t transfer to new chats. The system saves all your chatlogs: you can see them on the sidebar and go back and access them, but they are discrete entities. “Contextual memory only applies to your current conversation. ChatGPT’s stateless architecture treats conversations as independent instances; it can’t reference information from previous ones. Starting new chats always resets the model’s state” [16]. Not knowing this, a few days later I started a new chat and asked it again “Tell me what you know about the Writer’s Craft series written (predominantly) by Lorelei Lingard to help researchers improve their academic writing”, only to be told again about 5 books I had never written. When I went back into saved chat logs and picked up my prompting where I’d left off, the result was better but not consistently so, which may be due either to limits on ChatGPT’s contextual memory or to its tendency to “break character” due to “dropping instructions it deems irrelevant” [16].

주의: ChatGPT는 여러 채팅에서 수행한 훈련을 전송하지 않습니다. 인사이트: 저장된 채팅 로그로 돌아가서 이전 프롬프트를 통해 수행한 훈련을 바탕으로 학습할 수 있을 것입니다. Caution: ChatGPT doesn’t transfer the training you’ve done across chats. Insight: Try returning to saved chat logs; you may be able to build on the training you’ve done through previous prompting.

반론, 요약 및 요약 생성하기
Generating counterarguments, summaries, and abstracts

콘텐츠 생성에 ChatGPT를 사용하는 유용한 방법은 개요뿐이 아닙니다. 또한 주장의 한 부분을 검토하고 반론을 제안하도록 요청할 수도 있습니다. 사용하는 ChatGPT 버전이 중요하다는 점을 명심하세요. 무료 ChatGPT 3.5는 읽고 응답할 수 있는 단어가 약 500단어로 제한되어 있으므로 전체 결과 또는 토론 섹션을 입력하면 이 오류 메시지가 표시됩니다: 
Outlines are not the only useful way to use ChatGPT for content generation. You can also ask it to review a section of your argument and suggest counter arguments. Keep in mind that the version of ChatGPT you use matters. The free ChatGPT 3.5 has a limit of about 500 words on what it can read and respond to, so if you input your whole results or discussion section you’ll get this error message:

 

유료 버전인 ChatGPTPlus는 한 번에 최대 25,000단어까지 처리할 수 있지만, 읽고 응답할 수 있는 단락을 몇 개 이상 입력하려고 하면 여전히 오류 메시지가 표시됩니다. 따라서 초안을 작성하는 동안 섹션에 대한 대략적인 요약을 제공하고 반론을 요청하는 것이 더 낫다고 생각합니다. 이 프롬프트에서는 현재 작업 중인 논문 결과의 요점을 요약하고, 그 결과를 바탕으로 제가 주장하고자 하는 바를 ChatGPT에 말한 다음 반론을 제시해 달라고 요청합니다: 
ChatGPTPlus (the paid version) is supposed to handle up to 25,000 words at a time, but I still received the error message when I tried to input more than a few paragraphs for it to read and respond to. Therefore, I think it’s better to give it a rough summary of a section (say, while you’re still drafting it) and ask it for counterarguments. In this prompt I summarize the gist of the results of a paper I’m currently working on, tell ChatGPT what I want to argue based on those results, and ask it to suggest counterarguments:

 

약 3초 만에 (얼마나 빨리 작동하는지 아직도 숨이 멎을 정도입니다) ChatGPT는 이를 제공합니다:

In about 3 seconds (it still leaves me breathless how quickly it works), ChatGPT offers this:

 

이 정도면 충분했습니다: 토론의 '반론' 섹션을 쉽게 작성할 수 있습니다. 이러한 아이디어 중 일부를 완전히 이해하지 못했거나 더 구체적인 내용을 원할 경우, 추가 질문을 통해 답변에 집중할 수 있습니다. 
This is enough to get my wheels turning: I could readily start writing a ‘counterargument’ section of my discussion. If I don’t understand fully some of these ideas or I want more specificity, further prompting would focus these responses.

통찰력: ChatGPT는 좋은 브레인스토밍 리소스가 될 수 있습니다. 주의: 하지만 그 제안을 맹목적으로 받아들이지 마세요. 여러분은 인공지능보다 더 똑똑합니다(적어도 현재 형태에서는). Insight: ChatGPT can be a good brainstorming resource. Caution: But don’t accept its suggestions blindly. You are smarter than it is (at least in its current form).

ChatGPT와 같은 AI 도구는 더 많은 청중이 더 쉽게 접근하고 포용할 수 있는 글을 작성하는 데에도 도움이 될 수 있습니다. 예를 들어, 최근 지원금 신청서의 첫 문단을 주고 100단어로 된 일반인용 요약문을 작성해 달라고 요청했더니 응답이 왔습니다: 

AI tools like ChatGPT can also help you to make your writing more accessible and inclusive of a wider audience. For instance, I gave it the opening paragraphs of a recent grant application and asked it to generate a 100-word lay summary, to which it responded:

 

이는 여전히 다소 형식적인 표현으로, 처음 프롬프트에서 '평이한 요약'의 의미가 자명하지 않은 것 같아서 더 자세히 설명했습니다: 

This was still a bit formal, suggesting that the meaning of ‘lay summary’ was perhaps not self-evident in my initial prompt, so I prompted it further:

 

이제 수정할 수 있는 초안이 완성되었으니, 예를 들어 '과학적 무결성'과 같이 삭제된 키워드 몇 개를 다시 넣을 수 있을 것입니다. 하지만 실행 가능한 초안이 있었기 때문에 최소 30분의 작업 시간을 절약할 수 있었습니다. 
This is an acceptable first draft that I can now rework; for instance, I would probably reinstate a few of the keywords (like “scientific integrity”) that were removed. But having a workable draft to start from has probably saved me at least 30 minutes of work.

초록은 ChatGPT가 도움을 줄 수 있는 또 다른 글쓰기 노동입니다. 프롬프트에 입력할 수 있는 단어가 제한되어 있어 논문 전체를 읽을 수 없기 때문에 첫 번째 초록 초안을 작성하는 데는 도움이 되지 않습니다. 하지만 항상 너무 긴 초록의 첫 초안을 필요한 단어 수 제한으로 줄이는 데는 도움이 될 수 있습니다. 이는 대부분의 사람들이 기꺼이 아웃소싱할 수 있는 노동력입니다: 저는 아직 초록의 단어 수를 줄이는 작업(과 시간!)을 소중히 여기는 작가를 만나지 못했습니다. 하지만 인공지능에게 완벽하게 적합한 것처럼 보이는 이 작업도 전적으로 신뢰할 수는 없습니다. 
Abstracts are another piece of writing labor that ChatGPT can help with. It can’t help you with your first abstract draft, because it can’t read your entire paper due to limits on the words you can enter in a prompt. But it can help you take your abstract’s first draft, which is invariably too long, and reduce it to the required word limit. This is labor most of us would be happy to outsource: I have yet to meet a writer who cherishes the task (and time!) of whittling words from their abstract. But even with this task which seems perfectly suited to AI, you can’t entirely trust it.

예를 들어, 제가 제공한 구조화된 초록에서 27개의 단어를 제거해 달라고 요청하면서 내용 그대로를 최대한 적게 다시 작성해 달라고 덧붙였습니다. 그 결과 약 100단어 길이의 비정형 버전이 만들어졌습니다. 저는 응답했습니다: 

As illustration, I asked it to remove 27 words from a structured abstract which I provided, adding that I wanted it to rewrite as little as possible as I liked the content as it was. It produced an unstructured version about 100 words long. I responded:

 

이제 구조화된 초록이 반환되었지만 여전히 제가 요청한 것보다 훨씬 짧았습니다. 이번에는 단어 수를 빼는 수학적 작업을 요청하지 않고 응답에 대한 단어 수 제한(300개)을 설정하여 다시 요청했습니다(약간 짜증이 났음을 고백합니다): 
Now it returned a structured abstract, but still much shorter than I had requested. I prompted again (I confess, a bit irritated), this time not asking it to do the mathematical task of subtracting the number of words, but setting a word limit (300) for its response:

 

 

이해하는 것 같지만 다음 버전도 300 단어가 아니 었습니다 (예, 이때까지 단어 수를 확인하기 위해 모든 시도를 Word 문서에 복사하여 붙여 넣었습니다): 

It seems like it understands, but the next version wasn’t 300 words either (yes, by this time I was copying and pasting all the attempts into a Word document to check the word count):

 

마지막으로 성공: 최종 버전은 310단어였습니다(이 중 10개가 구조화된 제목이었으므로 ChatGPT에 점수를 주겠습니다).
Finally, success: the last version was 310 words (we’ll give ChatGPT the point, because 10 of those were the structured headings). 

인사이트: ChatGPT는 분명히 셀 수 없습니다. 주의: 구체적인 작업을 수행하더라도 실패에 주의해야 합니다. Insight: ChatGPT apparently can’t count. Caution: Even with concrete tasks, be alert for failure.

물론 수학 문제를 풀도록 요청하면 ChatGPT는 계산할 수 있습니다. 하지만 정확한 단어 개수를 세는 것은 분명 장점은 아닙니다. 그럼에도 불구하고 ChatGPT는 기존 초록을 새로운 목적에 맞게 재구성하는 데 여전히 유용합니다. 250단어로 구성된 구조화된 컨퍼런스 초록이 있는데, 100단어로 구성된 비정형 초록이 필요한 다른 컨퍼런스에 제출하고 싶다고 가정해 보겠습니다:
ChatGPT can count, of course: if you ask it to solve math problems, it can do so. But exact word counts clearly aren’t its forte. Nevertheless, ChatGPT is still useful for reformatting existing abstracts for new purposes. I have a structured conference abstract of 250 words, which I want to submit to another conference that requires unstructured, 100-word abstracts:

 

아직 정확하게 계산하지는 못했지만(108단어) 비정형 초록으로 형식을 바꾸고 핵심 아이디어는 유지했습니다. 이 버전을 다시 작업할 때 여분의 단어 8개를 다듬을 예정인데, 전체 서식을 직접 다시 지정하는 것보다 확실히 빠릅니다.
It still hasn’t counted accurately (this is 108 words), but it has reformatted to an unstructured abstract and retained the key ideas. I’ll trim the extra 8 words when I rework this version; that’s certainly faster than doing the whole reformat myself.

명확성과 일관성을 개선하기 위해 ChatGPT로 편집하기
Editing with ChatGPT to improve clarity and coherence

이 도구를 사용하는 또 다른 방법은 초안 섹션의 명확성과 일관성을 강화하는 것입니다. 특히 독자를 잃을 수 있다고 생각되는 밀집된 부분의 명확성과 일관성을 강화하는 것입니다. 내부 일관성을 강화하려면 한 단락을 입력하고 요점을 설명하기 위해 토큰 문장을 추가할 위치를 제안하는 등 아이디어가 더 설득력 있게 전개되도록 다시 작성해 달라고 요청할 수 있습니다. 저는 초안을 작성한 단락을 입력하고 세 가지 주제 문장을 제안해 달라고 요청했고, 이에 응답했습니다: 

Another way to use the tool is to strengthen the clarity and coherence of sections of your draft, particularly those dense spots where you think you might lose the reader. To strengthen internal coherence, you could input a single paragraph and ask it to rewrite so that the ideas develop more convincingly, including suggesting where you should add token sentences to illustrate your points. I inputted a paragraph I’d drafted and asked it for three possible topic sentences, to which it responded:

 

각 주제 문장에서 서로 다른 강조점을 확인함으로써 단락에서 관심을 끌기 위해 경쟁하는 문제를 파악하고 더 일관성 있게 만드는 데 도움이 되었습니다.
Seeing the different emphases in each topic sentence helped me to identify the issues that were vying for attention in the paragraph, and make it more coherent.

인사이트: ChatGPT에 주제 문장을 요청하면 단락의 일관성 문제를 파악하는 데 도움이 될 수 있습니다. 주의: 이러한 문장을 그대로 사용하지 마세요. 이는 해결책이 아니라 신호일 뿐입니다. Insight: Asking ChatGPT for topic sentences can help reveal issues with paragraph coherence. Caution: Don’t use those sentences verbatim. They are a signal, not a solution.

이론적으로는 일련의 단락을 입력하고 새로운 주제 및 전환 문장을 제안하도록 요청하여 ChatGPT로 외부 일관성을 강화할 수도 있습니다. 저는 이번 작가의 기술을 위해 초안을 작성했던 첫 문단에 대해 ChatGPT에 도움을 요청했습니다:

Theoretically, you can also strengthen external coherence with ChatGPT, by inputting a series of paragraphs and asking it to suggest new topic and transition sentences. I asked ChatGPT for help with the opening paragraphs I had drafted for this Writer’s Craft:

 

제안한 내용은 다음과 같습니다:

Here’s what it suggested:

 

첫째, ChatGPT는 요청에 따라 주제와 전환 문장뿐만 아니라 모든 문장을 변경했습니다. 예를 들어, 수동태 구조(예: "촉발되었다", "점화되었다", "인정되었다")를 많이 사용하고, 단순한 주제를 좀 더 정교한 구조로 변경했습니다(예: "ChatGPT"가 "학계 내 ChatGPT의 영향력 증가"로 변경됨). 이제, 제가 제 글에 대해 약간 귀중하게 여길 수 있다는 것을 인정하는 첫 번째 사람이 되겠지만, 이것이 제가 부탁한 것은 아닙니다. 따라서 분명히 밝힙니다: 

I noticed two things immediately: first, ChatGPT changed all the sentences, not only the topic and transition sentences as requested. And second, it also changed the writing style: for instance, it uses many passive voice constructions (e.g., “has sparked”, “has ignited”, “has been acknowledged”), and changed out my simple subjects for more elaborate constructions (e.g., my “ChatGPT” has been changed to “the rising influence of ChatGPT within academia”). Now, I will be the first to admit that I can be a bit precious about my writing, but this is not what I asked it to do. Thus, I clarify:

 

Ugh. 은유가 지나치게 섞여 있습니다! - 은유가 지나쳤습니다. 그리고 어조가 답답한 학자에서 발랄한 청소년으로 바뀌었습니다. 다음 프롬프트는 제 짜증을 드러냅니다:

Ugh. It has overdone – and mixed! – the metaphors. And the tone has swung from stuffy academic to effusive adolescent. My next prompt reveals my irritation:

 

이 글은 제 글쓰기 스타일에 더 가깝고, 주제와 전환 문장이 시작 논거를 연결하고 발전시키는 데 효과적입니다. 글의 내적 또는 외적 일관성을 유지하는 데 어려움을 겪고 있다면 이 자료가 도움이 될 수 있습니다. 그러나 일관성 문제로 어려움을 겪고 있지 않다면(이 글에서는 특별히 그렇지 않았습니다) 이 제안이 흥미롭지 않을 수 있으며, 일부 제안은 좌절감을 줄 수도 있습니다.
This is closer to my writing style, and the topic and transition sentences are effective at connecting and developing the opening argument. If you’re struggling with internal or external coherence in a piece of writing, this could be a helpful resource. But if you’re not struggling with coherence (as I wasn’t particularly in this piece), its suggestions are unlikely to excite you – and some of them may frustrate you.

주의: ChatGPT는 콘텐츠뿐만 아니라 글쓰기 스타일도 편집합니다. 인사이트: ChatGPT가 생성한 자료를 다시 작성할 때 스타일을 자신만의 것으로 만드세요. Caution: ChatGPT will edit your writing style as well as your content. Insight: As part of your rewrite of ChatGPT-generated material, make the style your own.

ChatGPT를 통해 글쓰기에서 어떤 부분을 개선하고 싶으시다면, 그 글의 특징 뒤에 있는 문법적/수사적/언어적 개념을 ChatGPT가 이해하고 있는지 확인해야 합니다. 무엇을 "알고 있는지" 물어보기 전까지는 알 수 없습니다. 저는 제 학생 중 한 명이 왼쪽 분기 문장(많은 세부 사항을 일찍 도입하고, 주요 아이디어를 나중으로 미루어 다른 모든 세부 사항을 정리하기 위해 주요 아이디어가 필요한 독자에게 혼란을 줄 수 있는 문장)을 작성하는 경향을 파악하고 개선하는 데 도움이 될 수 있는지 알아보고 싶었습니다. 저는 먼저 물어보았습니다: 

Whatever you want ChatGPT to help improve in your writing, you need to ensure that it understands the grammatical/rhetorical/linguistic concepts behind that feature of your writing. You don’t know what it “knows” until you ask it. I wanted to see if it could help one of my students identify and improve their tendency to write left-branching sentences (those that introduce a lot of detail early, leaving the main idea until late and thus potentially creating confusion for the reader who needs the main idea to organize all the other details). I started by asking it:

 

보시다시피, 거꾸로 되어 있었습니다. 제가 수정했습니다:
As you can see, it had them backwards. I corrected it:

 

 

 

생성된 모든 문장이 마음에 들지는 않지만 오른쪽으로 더 많이 분기됩니다. 작가의 습관을 파악하고 ChatGPT가 관심 있는 문법적 특징에 대한 정확한 지식을 갖추게 되면 유용한 코칭 리소스가 될 수 있습니다. 예를 들어, 많은 작가들이 강력한 동사의 레퍼토리를 확장하는 데 어려움을 겪고 있습니다. ChatGPT에 글의 몇 단락을 제공하고 더 강하고 역동적인 동사로 다시 작성하도록 요청할 수 있습니다. 몇 가지 다른 버전을 요청하면 갑자기 선택할 수있는 새로운 동사의 멋진 카탈로그가 생깁니다. 
I don’t like all of the sentences it has created, but they are more right-branching. This would be a useful coaching resource, once a writer’s habits are identified and we have ensured that ChatGPT has accurate knowledge of the grammatical features we’re interested in. For instance, many writers struggle to expand their repertoire of strong verbs. We could give ChatGPT a few paragraphs of their writing and ask it to rewrite with stronger, more dynamic verbs. Ask it for a few different versions and suddenly you have a nice catalogue of new verbs to choose from.

더 일반적으로 ChatGPT는 영어를 추가 언어(EAL)로 쓰는 학자들을 위한 무료 언어 편집기 역할도 할 수 있습니다. 현재 많은 EAL 작가들이 언어 편집에 드는 비용(시간/노력 및 재정적 비용 모두)을 부담하고 있는데, 특히 초안 작성 및 수정 단계에서 이러한 비용을 일부 경감하고 작가들이 아이디어에 집중하고 문법에 대해 덜 걱정할 수 있게 해줄 수 있습니다. 
More generally, ChatGPT could also serve as a free language editor for scholars writing in English as an additional language (EAL). Many EAL writers now incur the costs (both time/effort and financial) of language editing: it could alleviate some of those costs, particularly during the drafting and revision stages, and free writers to focus on the ideas and worry less about the grammar.

Writing with ChatGPT: An Illustration of its Capacity, Limitations & Implications for Academic Writers

PMID: 37397181

PMCID: PMC10312253

DOI: 10.5334/pme.1072

Free PMC article

질적연구 실용 가이드: Part 6: 일차의료 연구에서 종단적 및 복잡한 건강 주제를 위한 종단적 질적 및 혼합방법 접근(Eur J Gen Pract.2022)
Series: Practical guidance to qualitative research. Part 6: Longitudinal qualitative and mixed-methods approaches for longitudinal and complex health themes in primary care research
Irene Korstjensa and Albine Moserb,c

생애 과정에서의 변화를 이해하기 위한 종단적 질적 연구
Longitudinal qualitative research to understand change during the life course

컨텍스트
Context

일반 진료는 생애 과정에서 환자와 가족을 돌보는 전통을 가지고 있습니다. 일반의는 만성 질환이나 다질환을 앓고 있는 환자가 노화 과정에서 겪는 변화를 이해해야 한다는 요구가 증가하고 있습니다. 종단적 질적 연구는 생애 과정의 연속성과 변화, 그리고 개인적, 건강 관련, 사회적, 환경적 요인이 이러한 과정을 어떻게 형성하는지에 대한 통찰력을 제공할 수 있습니다[17]. 이 접근법을 사용하여 발표된 경험적 연구에는 다음이 포함됩니다:
General practice has a tradition of caring for patients and families during their life course. General practitioners face increasing demands for understanding the changes patients with chronic illness or multimorbidity undergo during ageing. Longitudinal qualitative studies can provide insights into continuity and change during the life course and how individual, health-related, social and environmental factors shape these processes [17]. Published empirical studies using this approach include:

• 다질환을 앓고 있는 고령자가 보고한 1차 진료에서의 환자 안전 위협: 종단적 질적 연구의 기초 연구 결과 및 개입에 대한 시사점 [9].
  
• 신체 활동 처방을 진료에 통합하려는 시도에 대한 가정의의 경험을 설명하는 종단적 질적 연구: '습관을 바꾸는 것은 쉽지 않다'[12].
  
• 종단적 질적 연구를 사용하여 추가 케어 주택을 탐색합니다[17].
  
• 정신병에 대한 조기 개입 서비스에서 벗어나는 것에 대한 서비스 사용자의 견해: 일차 진료의 종단적 질적 연구 [11].
• Threats to patient safety in primary care reported by older people with multimorbidity: baseline findings from a longitudinal qualitative study and implications for intervention [9].
• Longitudinal qualitative study describing family physicians’ experiences with attempting to integrate physical activity prescriptions in their practice: ‘It’s not easy to change habits’ [12].
• Using longitudinal qualitative research to explore extra care housing [17].
• Service users' views of moving on from early intervention services for psychosis: a longitudinal qualitative study in primary care [11].

무엇?
What?

종단적 질적 연구는 시간이 지남에 따라 경험이 어떻게 그리고 왜 변화하는지를 연구하는 것을 목표로 합니다. 종단적 질적 연구는 사회과학에 뿌리를 두고 있으며, 밀레니엄 시대에 접어들면서 뚜렷한 방법론적 패러다임으로 등장했습니다[18]. 다른 질적 연구와 구별되는 점은 시간과 변화를 분석적 관심의 중심 초점으로 의도적으로 강조한다는 점입니다[15]. 종단적 질적 연구에는 발달 또는 인과 관계에 대한 종단적 연구 질문, 여러 데이터 수집 지점을 포함하는 표본, 시간 경과에 따른 변화를 명시적으로 다루는 분석이라는 세 가지 특징적인 요소가 있습니다. 질적 연구는 건강 문제를 경험하는 이유와 방법에 관한 것이며, 종단적 질적 연구는 이러한 경험이 시간이 지남에 따라 어떻게 그리고 왜 변화하는지에 초점을 맞춥니다[17]. 
Longitudinal qualitative research aims to study how and why experiences change over time. It is rooted in the social sciences and emerged as a distinct methodological paradigm around the turn of the millennium [18]. What distinguishes it from other qualitative research is the deliberate emphasis on time and change as the central focus of analytical attention [15]. Longitudinal qualitative research has three distinguishing elements: a longitudinal research question about developmental or causal relationships, a sample that includes multiple data collection points and an analysis that explicitly addresses change over time. Qualitative research is about why and how health issues are experienced, and longitudinal qualitative research focuses on how and why these experiences change over time [17].

왜 그리고 언제?
Why and when?

종단적 질적 연구는 개인과 환자 그룹의 생활 방식을 보다 복잡하고 현실적으로 이해할 수 있는 가능성을 제공합니다[18]. 이는 노화 및 생애 과정 문제, 장기 요양 및 복잡한 건강 개입의 과정 평가를 연구하는 데 도움이 되는 것으로 입증되었습니다[15,19]. 종단적 질적 연구의 장점은 시간과 맥락 간의 상호작용을 비선형적인 방식으로 평가할 수 있는 유연한 접근 방식에서 비롯됩니다[19]. 종단적 질적 연구를 통해 참가자는 과거와 현재의 사건을 반성적으로 바라보고 미래에 대한 열망을 변화시키면서 정서적 거리를 경험할 수 있습니다. 또한, 장기간에 걸쳐 진행되는 인터뷰는 참여자와 연구자 간의 친밀감, 신뢰, 대화를 촉진하고 연구자가 일회성 인터뷰보다 더 적절한 순간에 민감한 주제를 제기할 수 있게 해줍니다[20]. 
Longitudinal qualitative research offers the possibility of generating more complex and thus realistic understanding of how individuals and patient groups live [18]. It has proved helpful for studying ageing and life course issues, long-term care and process evaluation of complex health interventions [15,19]. Its advantages stem from its ability to take a flexible approach to evaluate interactions between time and context in a non-linear manner [19]. Longitudinal qualitative research can enable participants to experience emotional distance while reflexively viewing past and present events and changing their aspirations for the future. Furthermore, interviews carried out over time promote familiarity, trust and dialogue between participant and researcher and enable a researcher to raise sensitive topics at a more opportune moment than in a one-off interview [20].

어떻게?
How?

종단적 질적 연구를 수행하려면 연구자의 관계 인식과 참여자와 소통하고 관심을 기울이려는 의지가 필요합니다[21]. 또한 상당한 규모의 질적 데이터베이스를 수집, 관리 및 유지하고 반복적인 단면 또는 종단 분석을 수행하기 위한 지식과 기술이 필요합니다(표 1)[22].
Longitudinal qualitative research requires researchers’ relational awareness and willingness to connect with and care about participants [21]. Furthermore, it requires knowledge and skills to gather, manage and maintain a sizeable qualitative database and to conduct either recurrent cross-sectional or longitudinal analyses (Table 1) [22].

질적 연구자는 연구를 설계하기 위해 이론적 접근 방식과 연구 초점, 표본 및 분석을 고려해야 합니다[3,4]. 종단적 질적 연구에는 변화 또는 시간적 관점을 다루는 연구 질문과 두 개 이상의 시점을 체계적으로 비교하는 것이 필요합니다[19]. 또한 분석에는 코드, 영역, 인터뷰 질문, 분석 매트릭스 또는 사례, 반복적인 단면 또는 종단 분석 사용 등 비교 대상에 대한 투명성이 요구됩니다. 두 가지 유형의 분석이 모두 필요한 특정 연구 질문이 있을 수 있습니다. 
To design the study, qualitative researchers need to consider the theoretical approach and research focus, the sample and the analysis [3,4]. A longitudinal qualitative study requires a research question that addresses a change or time perspective and systematic comparisons of two or more time points [19]. Furthermore, the analysis requires transparency about what is compared, such as codes, domains, interview questions, analytical matrices or cases, and the use of either recurrent cross-sectional or longitudinal analysis. There may be some specific research questions requiring both types of analysis.

혼합 방법 연구
Mixed-methods research

컨텍스트
Context

혼합 방법 연구는 다양한 환경에서 다양한 의료 요구가 있는 환자를 다루는 일차 진료의 복잡성을 이해하는 데 도움이 됩니다[13]. 이 접근 방식은 질적 방법과 양적 방법을 통합하고 일차 진료의 복잡하고 다면적인 주제를 개선하고 해결하기 위한 새로운 통찰력을 제공합니다[13]. 혼합 방법을 사용하여 발표된 경험적 연구에는 다음이 포함됩니다:
Mixed-methods research supports understanding the complexity of primary care dealing with patients with diverse health care needs in various settings [13]. This approach integrates qualitative and quantitative methods and provides new insights to improve and address the complex and multifaceted themes of primary care [13]. Published empirical studies using mixed methods include:

• 질병별 임상 경로 - 일차 진료에서 실현 가능한가? 혼합 방법 연구 [23].
  
• 네덜란드 지역 사회 간호사와 일반의 간의 의사 소통에는 구조가 부족합니다: 탐색적 혼합 방법 연구 [24].
  
• 일차 진료에서 완화 치료 요구에 대한 컴퓨터 스크리닝: 혼합 방법 연구 [25].
  
• COVID-19 팬데믹 이후 영국 일차 진료에서 원격 컨설팅 구현: 혼합 방법 종단 연구 [16].
• Disease-specific clinical pathways – are they feasible in primary care? A mixed-methods study [23].
• Communication between Dutch community nurses and general practitioners lacks structure: an explorative mixed-methods study [24].
• Computer screening for palliative care needs in primary care: a mixed-methods study [25].
• Implementation of remote consulting in UK primary care following the COVID-19 pandemic: a mixed-methods longitudinal study [16].

무엇?
What?

혼합 방법 연구는 실제 상황에 대한 이해와 다차원적 관점을 요구하는 연구 질문에 중점을 둡니다. 이는 구성 요소의 규모와 빈도를 평가하는 엄격한 정량적 연구와 구성 요소의 의미와 이해를 탐구하는 엄격한 정성적 연구를 사용합니다. 여러 방법을 통합하고 여러 철학적, 이론적 입장 내에서 연구의 틀을 잡습니다[14].
Mixed-methods research focuses on research questions calling for real-life contextual understandings and multi-level perspectives. It employs rigorous quantitative research assessing magnitude and frequency of constructs and rigorous qualitative research exploring the meaning and understanding of constructs. It integrates multiple methods and frames the research within several philosophical and theoretical positions [14].

정성적 데이터와 정량적 데이터를 통합하는 것은 단순히 정량적 데이터나 정성적 데이터를 수집하고 분석하는 것 이상의 추가적인 통찰력을 제공하기 때문에 혼합 방법 연구의 핵심적인 특징입니다[26,27]. '통합'이란 혼합 방법 연구에서 데이터 수집-분석 또는 정성적-정량적 결과의 해석 과정에서 정량적 요소와 정성적 요소를 명시적으로 상호 연관시키는 것을 의미합니다[28]. 
Integrating qualitative and quantitative data is a central feature of mixed-methods research as it provides additional insight beyond what might be gained from simply collecting and analyzing quantitative data or qualitative data [26,27]. ‘Integrating’ means the explicit interrelating of the quantitative and qualitative components in a mixed-methods study, e.g. during the data collection-analysis or the interpretation of qualitative and quantitative results [28].

왜 그리고 언제?
Why and when?

혼합 방법 연구는 연구의 폭과 깊이를 최적화할 수 있으며 사회 문화적 맥락과 실제 환경을 고려하여 문제와 잠재적 해결책을 더 잘 이해하는 데 도움이 됩니다[28]. 예를 들어,

• 양적 횡단면 연구와 질적 연구, 행정 데이터베이스를 결합하면 가족 간호에 사례 관리자를 도입하기 위한 모델이나 일차 의료 서비스 평가를 위한 지표를 개발하는 데 도움이 될 수 있습니다[28].
• 질적 연구와 무작위 대조 시험을 결합하면 프로그램의 작동 방식과 이유를 더 잘 이해하는 데 도움이 될 수 있습니다[28].

Mixed-methods research can optimize the breadth and depth of a study and helps take into account the socio-cultural context and the real-world environment to better understand the problem and potential solutions [28].

• For example, combining quantitative cross-sectional and qualitative studies and administrative databases might support developing a model for introducing case managers in family care or indicators for evaluation of primary health care [28].
• Combining a qualitative study with a randomized controlled trial might support better understanding of how and why a program works or not [28].

혼합 방법 연구를 하는 이유는 다음과 같습니다[28,29]:

• 정량적 결과를 통해 정성적 결과를 강화 또는 구축하거나 그 반대의 경우,
• 현상에 대한 포괄적 이해 제공(예: 변수 및 관점),
• 결과 삼각 측량,
• 다양한 관점 결합,
• 샘플링 촉진(예: 설문조사를 사용하여 인터뷰 참가자 선정),
• 도구 개발 및 테스트(예: 포커스 그룹을 사용한 설문지 개발).  

Reasons for mixed-methods research include [28,29]:

• enhance or build upon qualitative findings with quantitative results and vice versa,
• provide a comprehensive understanding of a phenomenon (e.g. variables and viewpoints),
• triangulate results,
• combine diverse viewpoints,
• facilitate sampling (e.g. using a survey to select interview participants), and
• develop and test instruments (e.g. develop a questionnaire using focus groups).

어떻게?
How?

연구자는 처음부터 혼합 방법 설계를 계획하거나 프로젝트 진행 중에 '긴급' 설계를 사용할 수 있습니다[26]. Creswell과 Hirose는 5가지 프로젝트 단계를 설명했습니다[27].

• 첫째, 혼합 방법 연구가 연구 질문에 답하는 데 가장 적합한 방법론인지 판단하고 그 근거를 제시합니다.
• 둘째, 정량적 및 정성적 하위 질문과 필요한 데이터를 식별하고 각 데이터베이스에 대해 엄격한 데이터 수집 및 분석 절차를 사용합니다.
• 셋째, 혼합 방법 설계를 결정하고 명확한 다이어그램을 그립니다.
• 넷째, 이 시리즈의 이전 간행물[3,4]에서 설명한 대로 정량적 통계 및 질적 서술 결과를 별도의 제목으로 분석하여 보고합니다. 제목에는 설계의 단계와 정량적 구성 요소와 정성적 구성 요소 간의 명확한 연결 고리가 표시되어야 합니다(표 2).
• 마지막으로, 본문에서 정량적 결과와 정성적 결과를 나란히 논의하거나 정량적 결과, 정성적 결과 및 통합의 영향을 보여주는 표를 사용합니다.

Researchers can plan a mixed-methods design from the start or use an ‘emergent’ design during a project [26]. Creswell and Hirose described five project steps [27].

• First, determine if mixed-methods research is the best methodology for answering the research questions and provide a rationale.
• Second, identify the quantitative and qualitative sub-questions and the data needed and use rigorous data collection and analysis procedures for each database.
• Third, determine the mixed-methods design and draw a clear diagram.
• Fourth, analyse and report under distinct headings the quantitative statistical and the qualitative narrative results as described in previous publications of this series [3,4]. The headings should show the steps in the design and a clear linkage between the quantitative and qualitative components (Table 2).
• Last, discuss the quantitative and qualitative results side by side in the text or use a table showing the quantitative results, the qualitative findings and the impact of the integration.

표 2는 가장 일반적인 3가지 혼합 방법 설계를 제시하지만, 연구 질문에 따라 연구자는 주로 '양적 중심' 연구, 동등한 지위/'상호작용' 연구, 주로 '질적 중심' 연구에 이르기까지 다양한 설계 중에서 선택할 수 있습니다[26,30,31]. 표 3은 보고에 대한 권장 사항을 제시합니다[31].
Table 2 presents three most common mixed-methods designs but depending on the research questions, researchers can choose between various designs on a continuum from a predominantly ‘quantitatively driven’ study, via an equal-status/’interactive’ study to a predominantly ‘qualitatively driven’ study [26,30,31]. Table 3 presents recommendations for reporting [31].

종단적 질적 연구와 혼합 방법 연구의 도전과 전략
Challenges and strategies in longitudinal qualitative research and mixed-methods research

종단적 질적 연구와 혼합 방법 연구의 주요 실무적, 방법론적 과제를 언급하고 이러한 과제를 해결하기 위한 전략을 표 4에 제시합니다[14,15]. 이러한 연구 프로젝트의 기간은 다양하지만, 단기 계약 자금으로는 달성하기 어려운 지속적인 자금 지원이 필요할 수 있습니다[32]. 예를 들어, 한 장기 프로젝트는 핵심 기관 자금을 지원받고 기존 연구팀이 추가 프리랜서 작업으로 참여를 지원했습니다[32]. 이러한 프로젝트를 성공적으로 수행하기 위해서는 적절한 시간과 자원을 투자해야 합니다.

We mention the main practical and methodological challenges in longitudinal qualitative and mixed-methods research and provide strategies for addressing these challenges in Table 4 [14,15]. The duration of such research projects will vary but they may demand a continuity of funding, which is difficult to achieve within short term contract funding [32]. For example, a long-term project received core institutional funding and an existing team of researchers supported their involvement with additional freelance work [32]. Investing adequate time and resources is necessary for successfully conducting these projects.

 

Longitudinal qualitative research Balmer D, Richards BF. Longitudinal qualitative research in medical education Perspect Med Educ. 2017;6:306–310. Calman L, Brunton L, Molassiotis A. Developing longitudinal qualitative designs: lessons learned and recommendations for health services research. BMC Med Res Methodol. 2013;13:14. Derrington M. Qualitative research methods: qualitative longitudinal methods. Thousand Oaks (CA): Sage; 2019. Grossoehme D, Lipstein E. Analysing longitudinal qualitative data: the application of trajectory and recurrent cross-sectional approaches. BMC Res Notes. 2016;9(1):1–5. Nevedal A, Ayalon L, Briller S. A qualitative evidence synthesis review of longitudinal qualitative research in gerontology. Gerontologist. 2019;59:e791–e801. Thomson R, McLeod J. New frontiers in qualitative longitudinal research: an agenda for research. J Soc Res Methodol Int. 2015;18:243–250. Mixed-methods research: Creswell JW, Hirose M. Mixed methods and survey research in family medicine and community health. Fam Med Com Health. 2019;7:e000086. Doi:10.1136/fmch-2018-000086. Creswell JW, Klassen AC, Plano Clark VL, Smith KC for the Office of Behavioural and Social Sciences Research. Best practices for mixed methods research in the health sciences. 2011. National Institutes of Health. https://obssr.od.nih.gov/sites/obssr/files/Best_Practices_for_Mixed_Methods_Research.pdf. Creswell JW, Plano Clark VL. Designing and conducting mixed methods research. 3rd edn. Los Angeles (CA): Sage; 2018. Kaur N, Vedel I, El Sherif R, et al. Practical mixed methods strategies used to integrate qualitative and quantitative methods in community-based primary health care research. Fam Pract. 2019;36:666-671. Doi:10.1093/fampra/cmz010. Mixed Methods Program University of Michigan. http://www.mixedmethods.org.. Schoonenboom J, Johnson R. How to construct a mixed methods research design. Köln Z Soziol. 2017;69:107–131. Vedel I, Kaur N, Hong QN, et al. Why and how to use mixed methods in primary health care research. Fam Pract. 2019;36:365–368. Doi:10.1093/fampra/cmy127.

 

Series: Practical guidance to qualitative research. Part 6: Longitudinal qualitative and mixed-methods approaches for longitudinal and complex health themes in primary care research

PMID: 35593106

PMCID: PMC9132407

DOI: 10.1080/13814788.2022.2053106

Free PMC article

질적연구 실용 가이드: Part 5: 일차의료 연구에서 공동-생성적 질적 접근: 경험-기반 공동 설계, 사용자-중심적 설계, 공동체-기반 참여적 연구 (Eur J Gen Pract. 2022)
Series: Practical guidance to qualitative research. Part 5: Co-creative qualitative approaches for emerging themes in primary care research: Experience-based co-design, user-centred design and community-based participatory research
Albine Mosera,b and Irene Korstjensc

소개
Introduction

수년에 걸쳐 저희는 감독 업무를 수행하면서 질적 연구가 많은 질문과 도전을 불러일으키는 경향이 있다는 사실을 발견했습니다. 질적 연구에 대한 실용적인 지침을 제공하기 위한 시리즈[1-4]의 다섯 번째 글인 이 글에서는 일차 진료 연구에서 새롭게 떠오르는 주제를 다루기 위한 세 가지 공동 창조적(그리고 대부분) 질적 접근 방식, 즉 진료의 질을 개선하기 위한 경험 기반 공동 설계, eHealth 리소스 개발 및 평가를 위한 사용자 중심 설계, 지역 건강을 협력적으로 개선하기 위한 지역사회 기반 참여 연구를 소개합니다. 
Over the years, in our supervisory work, we have noticed that qualitative research tends to evoke many questions and challenges. This article, the fifth in a series aiming to provide practical guidance for qualitative research [1–4], introduces three co-creative (and mostly) qualitative approaches for addressing emerging themes in primary care research:

• experience-based co-design to improve the quality of care,
• user-centred design to develop and evaluate eHealth resources and
• community-based participatory research to improve local health collaboratively.

변화하는 1차 의료
A changing primary care

일차 의료는 만성 치료 및 노인 치료 제공 증가, 공동 의사 결정 및 사전 치료 계획, e- 및 mHealth, 예방 및 커뮤니티 케어, 간호사, 구급대원 및 관련 서비스와의 전문가 간 협업 등 변화하는 상황에 직면해 있습니다[5-8]. 이러한 변화는 일차 진료 연구에 영향을 미칩니다. 일반의는 본질적으로 환자 및 다른 전문가와 협력하여 일상 진료에서 복잡한 건강 문제에 대한 해결책을 모색하는 공동 창작자입니다. 그러나 공동 창작에 대한 '명시적' 개념은 국가 정책 맥락에 따라 일반의에게 익숙하지 않을 수 있습니다[9]. 
Primary care faces a changing context, including the increasing provision of chronic care and elderly care, shared decision-making and proactive care planning, e- and mHealth, preventive and community care, and interprofessional collaboration with nurses, paramedics and relevant services [5–8]. These changes have consequences for primary care research. By nature, general practitioners are co-creators in working with their patients and other professionals on seeking solutions for complex health issues in daily practice. However, the ‘explicit’ idea of co-creation may not be very familiar to general practitioners, depending on their national policy context [9].

공동 창조적 접근 방식
Co-creative approaches

연구에서 공동 창작은 연구 연속체 전반에 걸친 반복적이고 비선형적인 프로세스와 이해관계자와 함께 일하는 학자들의 협력적인 지식 창출을 의미합니다[10]. 우리는 공동 창조적 질적 접근법이라는 용어를 포괄적인 개념으로 사용합니다. 세 가지 공동 창조적 접근법은 기원, 핵심 원칙, 목표, 이해관계자가 다르지만(상자 1) 공통점을 공유합니다.

• 이 접근법은 현실의 문제를 해결하는 데서 출발하여, 이해관계자의 참여와 이해관계자 간의 동등한 파트너십을 지원하고, 취약한 사람/지역사회에 권한을 부여하며, 실천과 연구 간의 격차를 해소합니다.
• 이들은 일반의 및 기타 1차 진료 전문가의 과학적 지식과 전문성을 보완합니다.
• 이들은 다양한 관점에서 요구, 경험, 열망, 이해관계 및 변화에 대한 인사이트를 제공합니다.

공동 창조적 접근 방식은 일차 진료에서는 비교적 생소하지만 병원, 정신과 치료 또는 사회 복지와 같은 다른 환경과 간호, 사회학 또는 발달 연구와 같은 학문 분야에서는 다소 친숙한 접근 방식입니다. 
In research, co-creation means an iterative and non-linear process throughout the research continuum and the collaborative generation of knowledge by academics working alongside stakeholders [10]. We use the term co-creative qualitative approaches as an umbrella concept. The three co-creative approaches have different origins, core principles, goals and stakeholders (Box 1) but they share common ground.

• They start from solving a problem in practice, supporting stakeholder involvement and equal partnerships among the stakeholders, empowering vulnerable people/communities and bridging the gap between practice and research.
• They complement the scientific knowledge and expertise of general practitioners and other primary care professionals.
• They provide insights into needs, experiences, aspirations, stakes and changes from a multi-perspective.

Co-creative approaches are relatively novel to primary care but they are rather familiar in other settings such as hospitals, psychiatric care or social care and to disciplines such as nursing, sociology or developmental research.

공동 창작이 궁극적으로 효율성과 결과를 개선하고, 환자 만족도와 신뢰도를 높이며, 연구 역량을 강화할 수 있음을 시사하는 문헌이 점점 더 많아지고 있습니다[11]. 이는 일반의와 일차 진료 전문가가 제공하는 의료 서비스와 국민 건강을 개선하기 위한 상향식 접근 방식입니다[12]. 과학 문헌에서는 공동 설계, 공동 제작, 파트너십 접근법, 이해관계자 참여, 환자 및 대중 참여, 참여 연구 등 공동 창조라는 개념에 맞는 다양한 용어가 사용되고 있음을 알고 있습니다[13]. 
A growing body of literature suggests that co-creation can ultimately result in improved efficiencies and outcomes, increased patient satisfaction and trust and greater capacity for research [11]. It is a bottom-up approach to improve health services and the population’s health that general practitioners and primary care professionals serve [12]. We are aware that in scientific literature many different terms are used that fit our notion of co-creation such as co-design, co-production, partnership approaches, stakeholder engagement, patient and public involvement, and participatory research [13].

이해관계자
Stakeholders

공동 창조는 이해관계가 있는 사람들과의 파트너십을 통해 (연구) 문제를 정의하고, 중재를 개발 및 실행하며, (연구 및 실천) 결과를 평가 및 정의하는 것을 목표로 합니다. 

• 이 글에서는 [이해관계자]를 특정 진료, 과정, 결정 및 건강 결과와 이를 뒷받침하는 근거에 명시적인 이해관계가 있는 사람으로 정의합니다. 
• 일차 진료 연구의 일반적인 이해관계자는 환자, 가족 간병인, 연구자, 의료 전문가(관리자 포함), 옹호 단체 및 기타 관련 이해관계자(예: 지역 정책 입안자, 보험 회사)입니다. 

그러나 공동 창작을 사용하는 모든 연구 프로젝트는 연구 문제를 정의하는 단계에서 [이해관계자 분석]이 필요합니다. 초기 프로젝트 멤버들은 가능한 모든 이해관계자에 대한 브레인스토밍으로 시작한 다음, 문제와 프로젝트에 대한 이해관계자의 권한, 영향력, 관심도에 따라 우선순위를 정합니다. 그리고 그들의 동기, 관심사, 입장, 기대치, 기대 이익을 탐색합니다[14].
Co-creation aims to define the (research) problem, develop and implement interventions and evaluate and define (research and practice) outcomes in a partnership with those who have a stake.

• For this article, we define stakeholders as those who have an explicit interest in a particular practice, process, decision and/or health outcome and the supporting evidence.
• Common stakeholders in primary care research are patients, family carers, researchers, care professionals (including managers), advocacy organisations and other relevant stakeholders (e.g. local policymakers, insurance companies).

However, every research project using co-creation requires a stakeholder analysis at the stage of defining the research problem. The initial project members start with a brainstorm of all possible stakeholders and then prioritise them according to their power over, influence on, and their interest in the problem and the project. They explore their motivations, interests, positions, expectations and expected benefits [14].

이 문서의 대상 독자 및 내용
Target audience and content of this article

이 논문은 이러한 공동 창작 디자인을 사용하고자 하는 연구자들과 이 방법론을 사용한 논문을 점점 더 많이 읽게 될 일반 실무자들에게 적합합니다. 그들은 우리의 소개를 '첫 데이트'라고 생각할 수 있습니다. 우리는 이러한 접근법의 맥락과 무엇을, 왜, 언제, 어떻게, 그리고 주요 실무적, 방법론적 과제에 대한 가능한 질문을 다룹니다. 1차 의료 및 기타 의료 영역에서 발표된 경험적 연구 사례와 추가 자료를 제공합니다.  
This paper is relevant for researchers who want to use these co-creative designs and general practitioners who will increasingly read articles using this methodology. They might consider our introduction a ‘first date’. We address possible questions about the context and the what, why, when, and how of these approaches and their main practical and methodological challenges. We provide examples of published empirical studies in primary care and other health care domains and sources for further reading.

치료의 질을 개선하기 위한 경험 기반 공동 설계
Experience-based co-design to improve the quality of care

맥락
Context

고품질의 의료 서비스를 제공하는 것은 모든 1차 의료 전문가의 목표입니다. 치료의 질을 개선하는 고전적인 방법은 생의학적 및 심리사회적 결과, 기능 및 비용 효율성을 평가하는 것입니다[15]. 최근에는 의료 서비스 설계 과정에 환자, 가족 간병인, 대중을 적극적으로 참여시켜 환자 경험을 기반으로 의료의 질을 개선하는 방향으로 전환하고 있습니다. 의료 서비스의 질을 개선하기 위한 혁신적인 접근 방식 중 하나가 경험 기반 공동 설계입니다[16]. 이 접근법을 사용하여 발표된 경험적 연구에는 다음이 포함됩니다:
Providing high-quality care services is the goal of every primary care professional. Classic ways for improving quality of care are based on evaluating biomedical and psychosocial outcomes, functioning and cost-effectiveness [15]. In recent years, there has been a shift towards quality of care improvement based on patient experiences by actively involving patients, family carers and the public in the design process of health services. An innovative approach to improving the quality of care services is experience-based co-design [16]. Published empirical studies using this approach include:

• 사람들이 일차 진료에서 안전에 대해 발언할 수 있도록 지원: 공동 설계를 사용하여 복합 이환 환자를 위한 새로운 개입을 개발하는 데 환자와 전문가를 참여시킵니다[17].
  
• 경험 기반 공동 설계를 사용하여 환자 중심 암 치료 경로에서 대장암 및 유방암 고령자의 경험 개선 [18].
  
• 가보지 않은 길: 경험 기반 공동 설계를 사용하여 화상 부상 후 어린이와 가족의 정서적 여정을 매핑하고 서비스 개선 사항을 파악합니다[19].
• Empowering people to help speak up about safety in primary care: using co-design to involve patients and professionals in developing new interventions for patients with multimorbidity [17].
• Improving the experience of older people with colorectal and breast cancer in patient-centred cancer care pathways using experience-based co-design [18].
• A road less travelled: using experience-based co-design to map children’s and families’ emotional journey following burn injury and identify service improvements [19].

무엇?
What?

경험 기반 공동 설계의 목표는 환자, 가족 보호자, 전문가가 치료의 질을 개선한다는 공통의 목표를 향해 협력하는 것을 촉진하는 것입니다. 이 접근 방식은 사람들이 프로세스 또는 서비스를 경험하는 방식을 포착하고 이해하고자 하는 행동 연구의 한 형태입니다[16]. 경험 기반 공동 설계 접근 방식은 환자, 가족 간병인, 일반인, 전문가의 주관적이고 개인적인 감정을 의도적으로 끌어내어, (개인의 전반적인 경험을 형성하는 핵심 순간인) 터치포인트를 식별합니다. 경험 기반 공동 설계를 통해 환자, 가족 간병인, 일반인, 전문가가 파트너로서 서비스 또는 치료 경로를 공동 설계하여 경험을 바탕으로 치료의 질을 개선할 수 있습니다.
The goal of experience-based co-design is to facilitate collaborative work between patients, family carers and professionals towards a common goal – to improve the quality of care. This approach is a form of action research that seeks to capture and understand how people experience a process or service [16]. An experience-based co-design approach deliberately draws out the subjective, personal feelings of patients, family carers, the public and professionals to identify touchpoints – key moments that shape a person’s overall experience. Experience-based co-design enables patients, family carers, the public and professionals – as partners – to co-design services or care pathways to improve the quality of care based on experiences.

왜 그리고 언제?
Why and when?

의료 전문가는 종종 자신이 치료 프로세스를 개선하고 환자를 위한 가치를 창출할 수 있는 고유한 전문 지식을 가지고 있다고 생각합니다[16]. Berwick [20]은 전문가 우위에서 벗어나 공동 창조에 더 중점을 둘 것을 제안했습니다. 환자와 대중의 참여에 대한 관심이 증가하고 있으며, 이는 종종 보건 정책 이니셔티브와 의료 서비스 전반에 걸친 가치 공동 창출에 대한 지원으로 촉발됩니다. 
Health care professionals often think they have the unique expert knowledge to improve care processes and create value for patients [16]. Berwick [20] proposed shifting away from professional dominance to a greater focus on co-creation. There is a growing interest in patient and public involvement, often triggered by health policy initiatives and support for co-creating value across health care.

환자 및 대중 참여는 의료 서비스의 계획, 제공 및 평가에 환자, 가족 간병인 및 대중의 적극적인 참여를 수반합니다. 여기에는 환자 및 서비스 사용자 시작, 호혜적 관계 구축, 공동 학습, 재평가 및 피드백의 지속적인 프로세스가 포함됩니다[21]. 환자 참여는 개별 치료 및 치료에 대한 결정에 있어 개인 수준에서, 그리고 의료 서비스 제공에 대한 결정에 있어 집단 수준에서 이루어질 수 있습니다[22]. 
Patient and public involvement entail the active participation of patients, family carers and the public in planning, delivering and evaluating health care services. It involves the ongoing process of patient and service user initiation, building reciprocal relationships, co-learning and re-assessment and feedback [21]. Involving patients can happen at the individual level – in decisions about individual care and treatment – and at the collective level – in decisions about the delivery of care services [22].

Arnstein[23]의 참여 사다리를 변형한 버전에 따라 정보, 상담, 자문, 파트너십, 시민 통제 등 다섯 가지 수준의 참여를 구분합니다(상자 2). 일차 진료 맥락에서 환자, 가족 간병인, 대중, 전문가가 적극적으로 참여함으로써 공동 설계는 이해관계자의 지식을 연결하여 진료의 질 우선순위 문제를 해결합니다.
Based on an adapted version of Arnstein’s [23] participation ladder, we distinguish five levels of involvement: information, consultation, advising, partnership and citizen control (Box 2). In the primary care context, by the active involvement of patients, family carers, the public and professionals, co-design connects the knowledge of stakeholders to address quality of care priority concerns.

어떻게?
How?

치료의 질을 개선하기 위한 경험 기반 공동 설계 프로젝트는 일반적으로 12개월 동안 진행되며[24], 이 프로세스에는 발견 및 공동 설계 단계가 포함됩니다[25](그림 1). 프로젝트의 시작은 프로젝트를 실행할 핵심 그룹을 구성하고 연구자를 모집하는 것입니다. 
Experience-based co-design projects to improve the quality of care typically last 12 months [24], and the process contains discovery and co-design phases [25] (Figure 1). The start involves setting up a core group that runs the project and recruiting a researcher.

 

발견 단계는

• 개선할 서비스가 어떻게 작동하는지에 대한 귀중한 인사이트를 제공하는 [연구자의 관찰]로 시작됩니다. 이러한 인사이트는 연구자가 후속 인터뷰를 위해 민감하게 반응하는 데 도움이 됩니다.
• 발견 단계에서는 질병이 환자와 가족 간병인의 일상 생활에 미치는 영향을 탐색하고 학습하는 것을 목표로 하는 [발견 인터뷰]가 진행됩니다. 발견 인터뷰는 환자, 가족 간병인 및 전문가와 함께 의료 서비스 경험에 대해 실시하여 치료, 회복 및 복지에 중대한 영향을 미칠 수 있는 요구 사항에 대한 지식을 생성합니다.
• [접점]은 참여자의 경험을 바탕으로 파악됩니다. 인터뷰를 촬영하여 환자, 가족 보호자, 전문가 간의 대화를 유도하는 비디오를 제작합니다. 

The discovery phase

• begins with observations by the researcher that provide valuable insights into how the service to be improved works. These insights are helpful to sensitise researchers for the subsequent interviews.
• The discovery phase proceeds with discovery interviews, which aim to explore and learn from the impact of illness on patients’ and family carers’ everyday lives. Discovery interviews – conducted with patients, family carers and professionals about their experiences with a health service – produce knowledge about needs that may significantly impact care, recovery and wellbeing.
• The touchpoints are identified based on the experiences of participants. Interviews are filmed to develop a video to trigger a dialogue between patients, family carers and professionals.

연구자들은 영상을 편집할 때 진단, 치료, 후속 조치 등 특정 연대기 순서에 따라 품질 개선이 필요한 부분을 파악합니다. 환자 경험의 시각화는 비슷한 경험과 이야기를 가진 사람들을 (재)연결하는 데 도움이 되고 공동 설계 프로세스의 정서적, 인지적으로 강력한 출발점을 제공하기 때문에 비디오는 공동 설계 프로세스에서 중요한 촉매제 역할을 합니다[26]. 
In editing the video, researchers identify areas for quality improvement, often following a certain chronology, for example, diagnosis, treatment and follow-up. The video is an important catalyst in the co-design process as the visualisation of patient experiences helps (re)connect people with similar experiences and stories and offers an emotionally and cognitively powerful starting point for the co-design process [26].

다음으로, 공동 디자인 팀에서는 각 그룹(주로 환자, 가족 보호자, 전문가)별로 개별적으로 개선해야 할 다양한 영역의 우선순위를 정한 다음, 모든 그룹이 함께 모여 개선 방향을 논의합니다. 각 회의는 이전 단계에서 비디오로 촬영한 인용문을 통해 다양한 개선 영역을 발표하는 것으로 시작됩니다. 그런 다음 참가자들은 공동으로 3~4개 영역을 품질 개선의 핵심 우선순위로 선택합니다.
Next, the various areas for improvements are prioritised in the co-design team: separately within each group (mostly patients, family carers and professionals) and then with all the groups together. Each meeting starts with presenting the various areas for improvement, illustrated by videotaped quotes from the previous phase. Then, the participants jointly choose three or four areas as the key priority for quality improvement.

공동 설계 단계에서는 환자, 가족 보호자, 전문가로 구성된 소규모 실무 그룹인 공동 설계 품질 개선 그룹이 공동 설계 회의에서 강조된 핵심 우선순위 문제를 목표로 품질 개선 활동을 설계하고 실행합니다.
In the co-design phase, co-design quality improvement groups – small working groups of patients, family carers and professionals – design and implement quality improvement activities to target the key priority issues highlighted at the co-design meetings.

마지막으로 마무리 행사에서 개선 사항을 평가하고 공동 디자인 팀이 개선 사항을 공유하고 축하합니다. 경험 기반 공동 설계는 의료 서비스를 개선하고 변경 프로세스에 대한 과학적 인사이트를 제공하는 변경 접근 방식 및 프로세스입니다.
Finally, the improvements are evaluated in a closing event, and the gains are communicated and celebrated by the co-design team. Experience-based co-design is a change approach and process that improves health care and scientific insights into change processes.

사용자 중심 설계를 통한 eHealth 리소스 개발 및 평가
User-centred design to develop and evaluate eHealth resources

컨텍스트
Context

e헬스는 (디지털) 정보통신기술(ICT), 특히 인터넷 기술을 사용하여 건강 및 의료 서비스를 지원하거나 개선하는 것을 말합니다[27]. 이는 1차 진료의 질을 높이고 품질 보증, 교육 및 연구를 위한 고품질 데이터를 제공할 수 있는 포괄적인 가능성을 제공합니다[27]. 혁신적이면서도 타당한 연구 방법론은 eHealth의 지속적인 성공과 지속 가능성을 위한 전제 조건입니다[28]. 최종 사용자는 공동 제작 프로세스를 통해 전자 의료의 개발 및 구현에 참여해야 하며, 취약 계층과 전자 의료 문맹을 염두에 두고 설계해야 합니다. 적절한 접근 방식은 사용자 중심 디자인입니다.
eHealth is the use of (digital) information and communication technology (ICT), in particular internet technology, to support or improve health and health care [27]. It offers a comprehensive promise for a better quality of primary care and high-quality data for quality assurance, education and research [27]. Innovative but valid research methodology is a prerequisite for the ongoing success and sustainability of eHealth [28]. End-users need to be involved in the development and implementation of eHealth via co-creation processes, and design should be mindful of vulnerable groups and eHealth illiteracy. An appropriate approach is user-centred design.

이 접근 방식을 사용하여 발표된 경험적 연구에는 다음이 포함됩니다:
Published empirical studies using this approach include:

• 복잡한 환자를 위한 태블릿 대기실 도구를 사용자 중심으로 설계하여 1차 진료 방문 시 논의 주제의 우선순위를 정합니다[29].
  
• 향후 우울증 중증도를 예측하고 1차 진료에서 치료를 안내하기 위한 모바일 임상 예측 도구 개발: 사용자 중심 설계 [30].
  
• 생리적 출산의 보호자 양성: 네덜란드의 학생 조산사를 위한 교육 이니셔티브 개발 [31].
• User-centred design of a tablet waiting room tool for complex patients to prioritise discussion topics for primary care visits [29].
• Development of a mobile clinical prediction tool to estimate future depression severity and guide treatment in primary care: user-centred design [30].
• Creating guardians of physiologic birth: the development of an educational initiative for student midwives in the Netherlands [31].

무엇?
What?

사회 및 기술 디자인 과학에서 비롯된 사용자 중심 설계의 목표는 사용성이 매우 높은 eHealth 기술을 개발하는 것입니다. 이는 기술 및 조직 시스템을 평가, 설계 및 개발하는 방법으로, 설계 및 의사 결정 과정에 최종 사용자를 참여시킵니다[32]. 이 방법의 주요 특징은

• 문제 식별 및 솔루션 생성의 빠른 주기,
• 최종 사용자 특성에 대한 심층적 이해,
• 설계가 구체화되는 방식에 대한 최종 사용자의 영향,
• 전체 개발 프로세스 동안의 반복적 평가,
• 처음부터 구현 조건을 고려한다는 점입니다[33].

이상적으로 사용자 중심 설계는 환자, 가족 간병인, 전문가 및 직원, ICT 설계자, 의료 시스템 담당자, 기술 콘텐츠를 담당하는 연구자 등 모든 잠재적 이해관계자를 고려합니다. 그러나 최종 사용자는 대부분 환자, 가족 간병인, 전문가 및 직원입니다. 
The goal of user-centred design, stemming from social and technological design sciences, is to develop eHealth technologies with very high usability. It is a method to assess, design and develop technological and organisational systems, which involves end-users in design and decision-making processes [32]. Its key features are

• rapid cycles of problem identification and solution creation,
• in-depth understanding of end-user characteristics,
• the influence of end-users on how a design takes shape,
• iterative evaluation during the entire development process, and
• accounting for the implementation conditions from the beginning [33].

Ideally, the user-centred design considers all potential stakeholders, for example, patients, family carers, professionals and staff, ICT designers, representatives of the health care system and researchers responsible for the content of the technology. However, the end-users are mostly patients, family carers, professionals and staff.

왜 그리고 언제?
Why and when?

e헬스 개발은 복잡한 건강 문제를 겪고 있는 사용자를 위해 새로운 기술과 서비스를 사용하는 경우가 많습니다. 사용자 중심 설계는 문제를 동시에 반복적으로 이해하고 해결함으로써 eHealth 개발을 지원합니다[33]. 최종 사용자가 직접 개입을 만들고 구현하는 데 참여하면 개입에 미묘한 요소가 통합되고 최종 사용자에게 영향을 미치는 건강의 사회적, 구조적, 환경적 결정 요인을 고려할 수 있습니다. 이러한 입력이 없었다면 이러한 요소는 연구자나 전문가에게 분명하게 드러나지 않았을 것입니다[33]. 사용자 중심 디자인으로 개발된 앱은 사용자 수용성, 안면 타당도, 사용자 친화성 및 활용도가 개선된 것으로 보고되었습니다[30]. eHealth의 채택과 지속적인 사용을 위해서는 사용자 친화적이고 최종 사용자의 동기, 가치, 요구 및 능력을 충족하며 의료 조직에 적합해야 합니다. 
Developing eHealth often uses new technologies and services for users experiencing complex health problems. User-centred design supports developing eHealth by understanding and solving the problem simultaneously and iteratively [33]. If end users are engaged to create and implement interventions themselves, the interventions will incorporate nuanced factors and consider social, structural and environmental determinants of health that affect the end-users. Without this input, these elements would not have been evident to researchers or professionals [33]. Apps developed with user-centred design have reported improved user acceptance, face validity, user-friendliness and uptake [30]. Critical for eHealth’s uptake and continuous use is that it is user-friendly, meets end users’ motives, values, needs and abilities and fits into the organisation of care.

어떻게?
How?

사용자 중심 설계는 대부분 질적 또는 혼합 방법을 사용합니다[33].

• 문제 개발 주기에는 사용자 및 기타 출처에서 데이터를 수집하고 분석하여 문제와 요구 사항을 정의하는 과정이 포함됩니다.
• 솔루션 개발 주기에는 최종 사용자와 함께 프로토타입을 제작하고 테스트하기 위한 아이디어 창출이 포함됩니다.

이러한 주기 사이에는 반복적인 피드백 루프가 있습니다. 연구자와 개발자는 최종 사용자의 주요 요구 사항을 충족하는 e헬스 솔루션을 최종 확정하고 배포합니다.
User-centred design uses mostly qualitative or mixed methods [33].

• The problem development cycle involves gathering and analysing data from users and other sources to define problems and needs.
• The solution development cycle involves the generation of ideas to build and test prototypes with end-users.

Within and between these cycles, there are iterative feedback loops. Researchers and developers finalise and deploy an eHealth solution when it meets the end users’ key requirements.

사용자 중심 설계의 특정 유형은 교육(e-러닝) 프로그램 개발에 자주 사용되는 래피드 프로토타이핑입니다[34]. 여기에는 구현 및 평가를 위한 최종 프로토타입에 도달하기 위해 후속 프로토타입을 설계할 때 요구 사항 평가, 주요 이해관계자의 의견 및 피드백 단계가 중복적으로 포함됩니다.
A specific type of user-centred design is rapid prototyping, which is often used for developing educational (e-learning) programmes [34]. It involves overlapping stages of needs assessment, input and feedback from key stakeholders in designing subsequent prototypes to reach a final prototype for implementation and evaluation.

사용자 중심 설계 프로세스의 각 문제 및 솔루션 개발 주기 내 단계에 대한 다양한 설명이 존재하는데, 예를 들어 5단계 프로세스는 개념, 설계, 테스트 및 시험, 생산 및 배포 단계로 구성되며 최종 사용자는 생산을 제외한 모든 단계에 참여합니다[33,35](박스 3). 최종 사용자의 참여에 가장 많이 사용되는 방법은 사용성 테스트, 인터뷰 및 설문조사입니다. 다양한 단계에서 최종 사용자의 관점을 파악하는 것은 적용되는 방법에 따라 달라지므로 적절한 방법을 선택하는 것이 중요합니다[36]. 또한 모든 사용자와 그들의 활동, 실제 일상 환경, 기능적 한계, 무수한 정보 및 기술을 심도 있게 고려해야 합니다[35]. 예를 들어 조산사의 업무량이 많다는 점을 고려하여 연구자들은 포커스 그룹이 아닌 개별 인터뷰와 서면 피드백을 선택했습니다[31].
Various descriptions exist of the stages within each of the problem and solution development cycles in the user-centred design process, for example, a five-stage process consists of concept, design, testing and trials, production and deployment stages with end-users participating in all stages, except production [33,35] (Box 3). The methods most used for involving end-users are usability tests, interviews and questionnaire surveys. Since capturing end users’ perspectives at various stages depends on the method applied, selecting an appropriate method is important [36]. This also requires in-depth consideration of all users and their activities, their actual daily environment and their functional limitations, innumeracy and skills [35]. For example, considering midwives’ high workloads, researchers chose individual interviews and written feedback rather than focus groups [31].

고령자, 장애인 또는 특별한 도움이 필요한 사람을 포함하여 사용 가능한 최종 사용자의 경우 '사용자 대리인'이라고 하는 대리인이 개입할 수 있습니다[35]. 사용자 대리인이란 다른 사용자를 대신하여 작업을 수행할 수 있는 지식이나 권한을 가진 사용자를 말합니다. 사용자 대리자는 사용자에 대해 알고 있는 내용을 보고하거나 사용자가 어떻게 행동할지 역할극을 통해 보고합니다.
For less available end-users, including elderly people and people with disabilities and/or special needs, substitutes called ‘user surrogates’ might be involved [35]. A user surrogate is a user who has the knowledge or authority to perform tasks on behalf of another user. User surrogates report on what they know about the user or by role-playing how the user would behave.

지역 보건을 공동으로 개선하기 위한 커뮤니티 기반 참여 연구
Community-based participatory research to improve local health collaboratively

컨텍스트
Context

일차 진료 전문가는 종종 문화적 소수자나 빈곤한 지역사회와 같은 취약 계층을 대상으로 진료를 제공합니다. 이들은 라이프스타일 선택, 전기, 인생사, 교육 수준, 사회경제적 상황, 사회 및 물리적 환경의 영향을 받는 건강 문제로 어려움을 겪는 환자를 돌봅니다. 건강 격차를 해결하기 위한 연구 접근 방식은 커뮤니티 기반 참여 연구입니다. 이 방법은 접근하기 어렵거나 매우 취약한 지역사회에 주로 사용되어 왔습니다. 우리는 커뮤니티를 공유된 가치, 문화, 관습 또는 정체성과 같은 공통의 관심사를 가진 사람들의 그룹 또는 이웃, 지구 또는 지역과 같은 특정 지리적 영역에 거주하는 모든 사람들 또는 지리적 영역에 거주하는 공통의 관심사를 가진 사람들의 그룹으로 정의합니다.
Primary care professionals often provide care to vulnerable groups, such as cultural minorities and deprived communities. They care for patients who struggle with health problems affected by their lifestyle choices, biography, life events, educational level, socioeconomic situation and social and physical environment. A research approach to address health disparities is community-based participatory research. It has often been used for hard-to-reach or very vulnerable communities. We define community as a group of people with common interests – such as shared values, culture, customs or identity or as all people living in a particular geographical area – such as a neighbourhood, district or local area, or as groups of people with a common interest living in a geographical area.

이 접근법을 사용하여 발표된 경험적 연구에는 다음이 포함됩니다:
Published empirical studies using this approach include:

• 마카시 개입의 참여형 개발 및 파일럿 테스트: 프랑스에서 사하라 사막 이남 및 카리브해 이민자의 성 건강 역량 강화를 위한 지역사회 기반 아웃리치 개입 [37].
  
• 벨기에의 동유럽 및 터키 커뮤니티에서 약물 사용 및 서비스 이용에 대한 연구에서 커뮤니티 기반 참여 연구 실시 [38].
  
• 네덜란드에서 건강과 사회의 통합을 개선하기 위한 커뮤니티 기반 참여 연구 [39].
• Participatory development and pilot testing of the Makasi intervention: a community-based outreach intervention to improve sub-Saharan and Caribbean immigrants’ empowerment in sexual health in France [37].
• Implementing community-based participatory research in the study of substance use and service utilisation in Eastern European and Turkish communities in Belgium [38].
• A community-based participatory research on improving the integration of health and social in the Netherlands [39].

무엇?
What?

지역사회 기반 참여 연구의 목표는 교육, 실천 개선 또는 사회 변화를 가져오는 것입니다. 이는 지역적으로 관련된 건강 문제를 해결하고자 하는 연구에 대한 협력적 접근 방식입니다[40]. 커뮤니티 기반 참여 연구의 독특한 점은 다양한 커뮤니티 파트너가 참여하고 동등한 참여와 소유권, 호혜성, 공동 학습 및 변화를 위해 노력하는 데 중점을 둔다는 점입니다[41]. 이 접근 방식은 연구자와 커뮤니티 구성원을 요구 사항 평가 및 의제 설정, 의사 결정, 역량 구축, 지식 생성, 연구 결과의 실행 및 전파 등 연구 과정의 모든 측면에 참여시킵니다[42,43]. 지역사회 참여에 중점을 두기 때문에 지역사회 기반 참여 연구는 지역사회 파트너가 학술 파트너와 협력하여 지역사회에 영향을 미치는 건강 문제를 파악하고 해결할 수 있습니다(상자 4). 이는 변화로 이어질 수 있는 사회적 연결을 촉진하고 행동으로 이어질 수 있는 지식을 생산합니다[44].

The goal of community-based participatory research is to educate, improve practice or bring about social change. It is a collaborative approach to research, which seeks to address a locally relevant health issue [40]. What is unique to community-based participatory research is its emphasis on the diverse community partners involved and on striving for equal participation and ownership, reciprocity, co-learning and change [41]. This approach engages researchers and community members in all aspects of the research process, including needs assessment and agenda-setting, decision-making, capacity building, knowledge generation and the implementation and dissemination of findings [42,43]. Because of its focus on community engagement, community-based participatory research allows community partners working with academic partners to identify and address health problems affecting their communities (Box 4). It fosters social connections that can lead to change and produces knowledge that can lead to action [44].

왜 그리고 언제?
Why and when?

일차 진료에 대한 지역사회 참여는 1978년 알마-아타 선언[45]에서 시작되었으며, 이 선언은 사람들이 자신의 건강 관리 계획과 실행에 개별적으로나 집단적으로 참여할 권리와 의무가 있음을 명시했습니다. 연구 주제가 지역사회가 파악한 주요 이슈를 반영하도록 보장하고, 지역사회의 지혜를 활용하여 연구의 질, 타당성, 민감성을 개선함으로써 지역사회와 연구자 간의 신뢰를 증진하고, 연구 결과를 정책 및 실천으로 전환하는 과정을 개선하고, 지역사회 구성원의 연구 결과 활용도를 높이는 등의 이점이 있습니다[42]. 연구자들은 지역 사회와 함께 '상아탑' 연구라는 잘 설명된 문제를 해결하고 '현실 세계'에서 사회적 영향을 미칠 수 있습니다[46].
Community participation in primary care has its origins in the Alma-Ata Declaration of 1978 [45], which stated that people have the right and duty to participate individually and collectively in the planning and implementation of their health care. The benefits include the following: ensuring that the research topic reflects a major issue identified by the community; improving the quality, validity and sensitivity of the research by drawing upon community wisdom, thus promoting trust between communities and researchers; improving the translation of research findings into policy and practice; and enhancing uptake of the research findings by community members [42]. Researchers together with the local community might help address the well-described issue of ‘ivory tower’ research and have a social impact in the ‘real world’ [46].

어떻게?
How?

커뮤니티 기반 참여 연구는 질적 사례 연구, 환경 평가, 혼합 방법 연구, 무작위 대조 시험 등 다양한 방법론, 연구 설계 및 데이터 수집 방법을 사용할 수 있습니다. 일반적으로 7가지 단계가 있습니다[44](그림 2). 연구자와 지역 사회는 파트너로서 함께 일합니다. 
Community-based participatory research can employ diverse methodologies, study designs and data collection methods, for example, qualitative case studies, environmental assessments, mixed methods research and randomised controlled trials. In general, there are seven phases [44] (Figure 2). Researchers and the local community work together as partners.

첫 번째 단계는 잠재적인 비학계 파트너를 발굴하는 활동을 포함하여 지역사회 기반 행동 연구 파트너십을 형성하는 것입니다. 파트너에는 환자, 가족, 멘토, 친구 등 대인관계 지원 네트워크, 환자는 아니지만 이 문제를 지지하거나 믿는 일반 대중, 의사, 보건 전문가, 행정가 등 환자 및/또는 환자의 대인관계 네트워크와 직접 교류하는 사람, 서비스 제공자, 정책 입안자 등 기타가 포함될 수 있습니다. 이 활동은 신뢰와 관계를 구축하고, 운영 규범과 지역사회 기반 행동 연구 원칙을 수립하여 형평성과 권력 공유를 보장하고, 연구 인프라를 구축하는 것을 목표로 합니다[43].
The first phase is forming a community-based action research partnership involving activities to identify potential non-academic partners. Partners might include the following: patients; interpersonal support networks, including family members, mentors and friends; members of the general public who are not patients but who support or believe in the issue; those who interface directly with patients and/or patients’ interpersonal networks, including practitioners, health professionals and administrators; and others, such as service providers and policymakers. The activities aim to build trust and relationships, establish operating norms and community-based action research principles to ensure equity and power-sharing and create an infrastructure for the research [43].

두 번째 단계는 커뮤니티의 강점과 역학을 평가하는 것입니다. 여기에는 다음을 발견하고 평가하는 것이 포함됩니다[45].

• 커뮤니티의 강점과 자원,
• 주요 문화 및 역사적 차원,
• 영향력 있는 조직,
• 커뮤니티의 권력 관계,
• 커뮤니티의 목소리를 듣기 위해 참여할 파트너

The second phase entails assessing community strengths and dynamics. This involves activities such as discovering and assessing

• the strengths and resources in the community,
• key cultural and historical dimensions,
• influential organisations,
• power relationships in the community and
• partners to be involved to ensure that the community voice is heard [45].

세 번째 단계는 우선순위 지역 보건 문제와 연구 질문을 파악하는 것입니다. 주요 활동은 지역사회 파트너가 지역사회에 영향을 미치는 것으로 경험하고 해결해야 할 주요 건강 문제를 식별하고 건강 문제와 그 기여 요인의 우선순위를 정하는 것입니다. 마지막으로 연구자와 커뮤니티 파트너는 연구의 주요 연구 질문을 공식화합니다.
The third phase is identifying priority local health concerns and research questions. Key activities are to identify the major health problems that community partners experience as affecting the community and that need to be addressed and prioritise health concerns and their contributing factors. Finally, the researchers and community partners formulate the key research questions for the study.

네 번째 단계는 공동으로 개입 및 정책 연구를 설계하고 수행하는 것입니다. 여기에는 연구 질문과 목표의 우선순위를 정하고, 연구 설계와 데이터 수집 방법을 선택하고, 가장 적절한 개입을 결정하는 것이 포함됩니다. 또한 연구 설계와 선택한 개입을 수행하는 방법을 결정하고, 마지막으로 평가에 동의하는 단계가 포함됩니다.
The fourth phase involves collaboratively designing and conducting interventions and/or policy research. This involves prioritising the research questions and goal, selecting the research design and data collection methods and deciding the most appropriate intervention. In addition, it involves determining how to carry out the research design and the intervention selected and, finally, agreeing on the evaluation.

다섯 번째 단계는 커뮤니티 내에서 결과를 피드백하고 해석하는 단계입니다. 여기에는 설문조사, 심층 인터뷰, 포커스 그룹 토론 등을 통해 얻은 (예비) 결과를 공유하고 커뮤니티 파트너가 결과를 이해할 수 있도록 참여시키는 등 데이터 분석이 포함됩니다.
The fifth phase is feeding back and interpreting the findings within the community. This involves data analysis: sharing (preliminary) findings from surveys, in-depth interviews, focus group discussions, etc. and engaging the community partners to make sense of the findings.

여섯 번째 단계는 연구 결과를 배포하고 번역하는 것입니다. 여기에는 커뮤니티와 공유하기 위해 가장 중요한 연구 결과를 파악하고, 연구 결과를 전달하고 번역하는 데 있어 커뮤니티의 역할을 파악하고, 연구 결과를 광범위한 개입과 정책 변화로 확산하고, 연구 결과를 발표하는 것이 포함됩니다. 이는 커뮤니티 기반 행동 연구 파트너십의 형성으로 이어질 수 있습니다.
The sixth phase is disseminating and translating the research findings. This involves identifying the most important findings for sharing with the community, the community’s role in communicating and translating the findings, disseminating the findings into broader interventions and policy changes and publishing the research results. This might lead to the formation of a community-based action research partnership.

모든 단계는 커뮤니티 파트너십을 유지, 지속 및 평가하는 지속적인 프로세스를 기본으로 공유합니다. 연구자와 커뮤니티 파트너는 협력 관계에 대해 성찰하고 장기적인 목표와 역량을 공유합니다. 이러한 모든 접근 방식은 파일럿 테스트 또는 개념 증명과 같은 일부 혼합 방법 연구를 통합할 수 있습니다[47].
All phases share an underlying continuous process of maintaining, sustaining and evaluating the community partnerships. The researchers and community partners are reflective about their working relationships and shared long-term goals and capacities. All these approaches might integrate some mixed-methods research such as pilot testing or proof-of-concept [47].

Series: Practical guidance to qualitative research. Part 5: Co-creative qualitative approaches for emerging themes in primary care research: Experience-based co-design, user-centred design and community-based participatory research

PMID: 35037811

PMCID: PMC8765256

DOI: 10.1080/13814788.2021.2010700

Free PMC article

테크놀로지는 환자돌봄에 필요한 결정적 인간적 기술을 (대체가 아니라) 증강한다 (Acad Med, 2021)
Technology Can Augment, but Not Replace, Critical Human Skills Needed for Patient Care 
James Alrassi, MD, Peter J. Katsufrakis, MD, MBA, and Latha Chandran, MD, MPH

기술은 의료 분야에서 놀라운 발전을 이루었지만 때로는 바람직하지 않은 영향을 미치기도 합니다. 특히 인공지능(AI) 영역에서 기술 혁신의 엄청난 가치를 인정하면서도, 우리는 의료진 및 의료진들이 일하는 시스템이 진화하는 데 있어 인간적 특성과 행동, 즉 인간의 핵심적인 기술이 중요하다는 점을 강조합니다. 
Technology has enabled astonishing advances in medical practice, sometimes with associated undesirable effects. While acknowledging the immense value of technological innovation in medical practice, particularly in the realm of artificial intelligence (AI), we highlight the importance of humanistic characteristics and behaviors—critical human skills—for practitioners and the systems in which they work evolve.

의료 행위의 현재 상태
Current State of Medical Practice

최근 수십 년 동안 의료 관행의 변화는 많은 개선을 가져왔지만, 그 대가가 없는 것은 아닙니다. 의료 관행에 영향을 미치는 사회적 변화도 마찬가지입니다. 먼저 몇 가지 변화와 그에 따른 과제를 검토하여 이후 논의의 맥락을 설정합니다. 
Changes to the practice of medicine in recent decades have yielded many improvements, but not without costs. The same can be said for societal changes that impinge on medical practice. To begin, we review some of the changes and resulting challenges to set the context for the subsequent discussion.

미국에서 전자 의료 기록(EMR)이 도입되면서 장점과 함께 단점도 생겨났습니다. EMR은 의료 문서화와 의료 서비스 제공에 큰 변화를 가져왔지만, 의료비 청구에 최적화된 시스템은 국민 건강을 관리하거나 중요한 의사 결정을 지원하는 데 있어 약속한 잠재력을 달성하지 못했습니다.1 EMR의 이질성으로 인해 대량의 환자 데이터를 분석하는 것은 기술적으로 어려운 일입니다. 그럼에도 불구하고 EMR 데이터베이스에서 의료 서비스 결과가 수집되고 있습니다. 이러한 품질 지표는 환급과 연계되어 가치 기반 지불로의 진화를 뒷받침하고 있습니다.2 그러나 EMR은 의사의 번아웃 증가와도 관련이 있습니다. 의사들은 종종 저녁에 집에서 몇 시간 동안 하루 동안 입력한 내용을 완료하기 위해 고군분투합니다. 가정의학과 의사들을 대상으로 이벤트 로깅 기록의 데이터를 분석한 3년간의 연구에 따르면 참가자들은 하루의 절반 이상을 EMR 작업에 소비했으며, 이 작업의 거의 4분의 1이 근무 시간 이후에 발생했습니다.3 4개의 다른 전문과를 대상으로 한 또 다른 연구에 따르면 의사들은 매일 밤 1~2시간을 EMR 관련 업무에 소비합니다.4 EMR 및 사무 업무에 대한 의료진의 불만은 높은 번아웃 및 우울증 비율과 관련이 있습니다.5 번아웃은 의료진에게 부정적인 영향 외에도 환자에게 해로울 수 있는 잠재력이 있습니다.6  
The introduction of the electronic medical record (EMR) in the United States has engendered benefits as well as drawbacks. EMRs have vastly changed health care documentation and delivery, but systems optimized to bill for sick care have not achieved the promised potential to manage population health or assist in critical decision making.1 The heterogeneity of EMRs makes analyzing large amounts of patient data technically challenging. Nonetheless, health care outcomes are being collected from EMR databases. These quality metrics are being tied to reimbursements, supporting the evolution toward value-based payments.2 However, the EMR has also been linked to growing physician burnout. Physicians often struggle for hours in the evening at home to complete the day’s entries. A 3-year study of family physicians that entailed the analysis of data from event-logging records showed that participants spent more than half of their days working on an EMR and almost a quarter of this work occurred after office hours.3 Another study involving 4 different specialties indicated that doctors spend 1 to 2 hours nightly on EMR-related tasks.4 Health care provider dissatisfaction with the EMR and clerical tasks correlate with high rates of burnout and depression.5 In addition to the adverse effects on health care practitioners, burnout has the potential to harm patients.6

다른 시스템 변화도 여러 가지 이점과 비용을 가져왔습니다. 수직적으로 통합된 의료 시스템이 점점 더 보편화되고 있으며, 영리 기업에서만 볼 수 있었던 인수합병이 이제는 의료계에서도 일상적으로 이루어지고 있습니다.7,8 의사의 역할은 의료 행위와 함께 빠르게 진화하고 있습니다. 환자 치료는 과거 환자 정보의 유일한 저장소였던 의사 한 명보다는 여러 의료 서비스 제공자가 팀을 이루어 관리할 가능성이 높아졌습니다.9 '미니 클리닉'의 부상과 현재 의료 서비스 제공에서 전문간호사, 의사 보조원, 약사의 역할이 커지는 것은 의료 서비스의 게이트키퍼로서 전통적인 주치의의 시대가 끝났음을 알리는 신호입니다.10 항공 산업은 직급을 허물면 더 안전한 결과를 얻을 수 있다는 것을 보여주었습니다.11 임상 의학에서 직급을 허물면 임상 의사 결정이 간호사, 약사 등으로 옮겨갈 수 있습니다.12 이러한 변화 중 일부는 환자 치료에 도움이 되지만 다른 일부는 대가를 치를 수 있습니다. 교대 근무에 따른 의료 행위는 핸드오프 횟수를 증가시켜 의료 오류의 가능성을 증가시킴으로써 진료를 세분화할 수 있습니다.13 
Other system changes have also brought a mix of benefits and costs. Vertically integrated health systems are becoming more common, and mergers and acquisitions once found only in for-profit environments are now routine in health care.7,8 The role of the physician is rapidly evolving along with the practice of medicine. Patient care is more likely to be managed by a team of health care providers rather than a single physician who was previously the sole repository of patient information.9 The rise of “minute clinics” and the greater role that nurse practitioners, physician assistants, and pharmacists currently play in health delivery signal the end of the traditional primary care physician as gatekeeper to health care.10 The airline industry has shown how breaking down hierarchies can result in safer outcomes.11 In clinical medicine, breaking down professional hierarchies may shift clinical decision making to the nurse, pharmacist, and others.12 Some of these changes benefit patient care; others may come at a cost. Shift-based medical practice can fragment care by increasing the number of handoffs, thereby increasing the likelihood of medical errors.13

소셜 미디어와 인터넷의 광범위한 사용으로 인한 정보의 민주화는 의료 행위에도 영향을 미쳤습니다. 의사는 온라인에서 찾은 정보를 임상 의사 결정에 활용할 수 있는 중요한 정보원이 되었습니다.14 인터넷은 의사와 기타 의료 서비스 제공자를 도울 뿐 아니라 환자와 일반 대중에게 여과되지 않은 정보를 제공합니다. 전체 인터넷 사용자의 약 80%가 웹에서 건강 관련 주제를 검색하고 약 3분의 2가 특정 질병을 검색하지만, 이들 중 1/4만이 정보 출처의 신뢰성을 평가합니다.15 많은 웹사이트가 잘못된 정보를 제공하기 때문에 출처를 확인하고 정보의 정확성을 검증하는 것은 매우 중요합니다. 한 예로, 웹상의 수면 안전 정보에 관한 한 연구에서 평가 대상 1,300개 웹사이트 중 절반 미만이 정확한 권장 사항을 제공했습니다.16 
The democratization of information made possible by social media and the widespread use of the Internet has also had an effect on the practice of medicine. Google has become an important source for physicians, who may use the information they find online to inform their clinical decision making.14 In addition to helping physicians and other care providers, the Internet provides unfiltered information to patients and the lay public. Almost 80% of all Internet users search the web for health-related topics and almost two-thirds search for a specific disease, yet only a quarter of these users evaluate the reliability of the information source.15 Checking the source and verifying the accuracy of information is vital as many websites provide misinformation. To illustrate, in a study regarding sleep safety information on the web, less than half of the 1,300 websites evaluated had accurate recommendations.16

의사는 인터넷 기반 건강 정보에 액세스하는 환자를 "혼란스럽다" 또는 "괴롭다"고 인식합니다.17 일반 대중이 의심스러운 정보에 의존하는 것은 환자와 의사 관계 및 환자 치료에 부정적인 영향을 미칠 수 있습니다. 한 가지 예로 백신 조작을 둘러싼 캠페인이 있습니다.18 위에서 언급한 문제들은 현재와 미래의 의료 시스템에 반영된 사회적, 기술적 변화의 축소판을 나타냅니다. 하지만 이러한 도전 속에는 기회의 씨앗도 숨어 있습니다. 

• EMR의 사무적 요구,
• 의사의 소진,
• 파편화된 진료 시스템과 팀,
• 의료진의 자율성에 대한 위협,
• 의심스러운 정보의 광범위한 이용

Physicians perceive their patients who access Internet-based health information as “confused” or “distressed.”17 The general public’s reliance on questionable information can adversely influence the patient–physician relationship and patient care. One example is the campaign surrounding antivaccine fabrications.18 Collectively, the issues cited above—

• the clerical demands of the EMR,
• physician burnout,
• fragmented care systems and teams,
• threats to provider autonomy, and
• the wide availability of questionable information

—represent a microcosm of the societal and technological changes reflected in current and future health care systems. However, within these challenges lie also the seeds of opportunities.

이 글에서는 기술의 발전이 환자 치료의 핵심이자 토대를 이루는 핵심적인 인간 기술을 대체하는 것이 아니라 보완해야 한다고 가정합니다. 먼저 눈부신 기술 발전을 요약한 다음, 이러한 기술 기반 미래에서 의사의 역할에 대해 논의합니다. 다음으로, 우리는 교육 시스템과 미래의 의사를 준비하는 사람들에게 필요한 변화를 살펴보고, 의사가 인문학적 중환자 치료 기술을 연마하고 발전시킬 수 있는 변화와 기술을 옹호합니다. 마지막으로, 우리는 공감적이고 인본주의적인 의사가 기술로 보강된 치료를 제공하는 시스템을 강조하면서 의료의 미래를 상상합니다.
In this article, we posit that technological advances must complement—not eclipse—the critical human skills that form the core and foundation of patient care. First, we summarize truly remarkable technical advances, and then we discuss the role for the physician in this technology-enabled future. Next, we explore the corresponding changes needed by the educational system and by those who prepare practitioners of the future, advocating changes and technology that allow practitioners to sharpen and advance their humanistic critical care skills. Finally, we envision the future of health care, emphasizing a system in which empathetic, humanistic physicians provide care augmented by technology.

의료 분야의 기술 현황
Current State of Technology in Health Care

AI의 발전은 놀라운 속도로 의료 서비스를 변화시키고 있습니다. 목록 1은 인간 전문가와 동등하거나 더 우수한 것으로 밝혀진 AI 도구 및 애플리케이션의 예를 보여줍니다. AI가 큰 성공을 거둔 특정 영역으로는 시각 및 방사선 이미지 해석, 진단 및 치료 보조 도구 제공 등이 있습니다.19-35 AI 소프트웨어는 환자와의 직접적인 상호 작용, 진료 문서화, 인구 건강 관리를 개선할 수 있는 잠재력을 보여줍니다.36-40 또한 기술은 원격 의료를 가능하게 하며, 이는 특히 시골 지역과 의사 및/또는 전문 지식에 대한 접근성이 제한된 기타 지역에서 유용한 옵션이 될 수 있습니다.41 -43 원격 의료가 시골 의사를 교육하고 환자 치료 결과를 개선하는 데 성공한 대표적인 사례는 일차 진료 의사가 C형 간염 환자에게 효과적인 전문의 지원 치료를 제공한 프로젝트 ECHO입니다.44 2015년에는 많은 환자와 장기간에 걸쳐 가상이지만 정기적으로 개별화된 상호작용을 통해 환자 관리를 제공하는 최초의 가상 병원이 미국에서 문을 열었습니다. 이 가상 병원 모델은 "비접촉식 따뜻함"이라는 개념을 장려합니다.45 오프라인 병원에서는 이제 로봇 도우미가 환자에게 음식과 약을 배달합니다.46 
The advances made in AI are transforming medical care at a remarkable speed. List 1 provides examples of AI tools and applications that have been found to be equal or superior to human experts. Specific domains where AI is highly successful include visual and radiological image interpretation and the provision of diagnostic and therapeutic aids.19–35 AI software demonstrates the potential to improve direct interactions with patients, care documentation, and population health management.36–40 Technology also enables the practice of telemedicine, a particularly valuable option in rural communities and in other areas with limited access to practitioners and/or specialty expertise.41–43 A classic example of the success of telemedicine in training rural physicians and improving patient care outcomes is Project ECHO, through which primary care physicians have provided effective specialist supported care to patients with Hepatitis C.44 In 2015, the first virtual hospital, wherein patient management is provided through virtual but regular individualized interactions with many patients longitudinally over long periods of time, opened in the United States. The virtual hospital model promotes the concept of “touchless warmth.”45 In brick and mortar hospitals, robotic helpers now deliver food and medications for patients.46

이러한 최근의 발전은 미래에 어떤 의미가 있을까요? 이러한 혁신과 기타 혁신에 대한 우려로 인해 ACGME는 "대안적 미래" 시나리오 기반 계획을 개발했습니다.47 그 결과 의료 서비스 전달의 복잡성 증가와 의료 서비스의 "상품화" 가속화를 포함한 통찰력을 얻었습니다. 여기서 상품화라는 용어는 기존 공급업체를 대체할 수 있는 저비용 적시 공급업체의 성장과 지속적으로 모니터링되는 환자 센서의 사용 가속화를 의미합니다.47 이러한 풍부한 데이터 소스는 환자의 병력, 신체 검사 및 검사 결과에 대한 기존 의존도를 높일 수 있습니다. 현재 시범 운영 중인 모델은 다중 도메인 데이터 세트에서 도출된 인사이트를 통해 환자의 질병 진행 및 향후 질병을 성공적으로 예측했습니다.48 이러한 모델은 진단 코드, 시술 코드, 검사 결과, 약물 복용 등 EMR에 일반적으로 코딩된 정보를 사용하여 최대 10년 후의 미래 질병 진단까지 예측할 수 있었습니다.48  
What do these recent advances mean for the future? Concerns about these and other innovations prompted the Accreditation Council for Graduate Medical Education (ACGME) to develop “alternative futures” scenario-based planning.47 Resulting insights include enhanced complexity in health care delivery and accelerated “commoditization” of health care services. In this context, the term commoditization refers to the growth of lower-cost, just-in-time alternatives to traditional providers, and the accelerated use of continuously monitored patient sensors.47 These rich data sources would augment traditional reliance upon a patient’s history, physical examination, and test results. Models currently undergoing piloting have successfully predicted disease progression and future diseases in patients via insights derived from multidomain datasets.48 These models were able to predict future disease diagnoses, sometimes as far as 10 years in the future, using commonly coded information in EMRs, such as diagnostic codes, procedural codes, lab results, and medications.48

다른 기술도 환자 센서로 인한 개선 사항을 보완할 수 있습니다. 자연어 처리(NLP)의 발전으로 EMR 분석이 자동화될 수 있습니다.49 스마트폰은 개인 맞춤형 의료를 개발하고 배포하는 데 중요한 도구가 될 것입니다.50 Google 지도가 거리 수준에서 대륙까지 지구의 공간적 표현을 생성하는 것처럼, 인간에 대해 수집된 대량의 데이터는 DNA 서열에서 장기 시스템에 이르기까지 인간의 공간적 표현을 생성할 수 있습니다.51 개인의 건강과 관련된 이 '개인 지리 정보 시스템'은 치료 탐색을 의사에서 환자로 전환할 수 있습니다.51 
Other technologies may augment the improvements made possible by patient sensors. Advances in Natural Language Processing (NLP) may automate EMR analysis.49 Smartphones will become important tools to develop and deploy personalized medicine.50 Just as Google Maps creates a spatial representation of Earth from the level of street to continent, the large volume of data collected on humans will allow for the creation of a spatial representation of humans from DNA sequence to organ system.51 This “personal geographic information system” pertaining to a person’s health may shift care navigation from physician to patient.51

미래 의료 종사자의 역할
The Role of the Future Practitioner of Medicine

기술 발전으로 인한 근본적인 변화로 인해 우리는 "기술 기반 미래에서 의사의 역할은 무엇인가?"라는 질문을 던지고 답을 찾으려고 합니다. 의사는 인간의 통찰력과 이해가 필요한 활동을 포기하지 않으면서도 인간의 능력을 향상시키는 기술을 수용, 적응 및 포용할 수 있도록 진화해야 합니다. 환자는 의심할 여지 없이 의료진으로부터 신뢰, 존중, 보살핌과 연결, 공감, 적극적인 경청을 포함한 효과적인 커뮤니케이션을 계속 원할 것입니다.52 효과적인 치료는 정확한 진단, 필요한 절차의 능숙한 수행, 적절한 치료법 처방에 달려 있습니다. 인간의 고통을 덜어주는 것은 공감과 연민으로 소통하고 인간의 감정과 우려를 안전하게 표현할 수 있도록 허용하는 데 달려 있습니다. 
The fundamental changes enabled by advancing technology cause us to ask, and attempt to answer, the question What is the role for the physician in this technology-enabled future? Practitioners must evolve to accept, adapt, and/or embrace the technologies that enhance human capabilities while not relinquishing those activities that require human insight and understanding. Patients will undoubtedly continue to want trust, respect, care and connection, empathy, and effective communication, including active listening, from their care providers.52 Effective care depends on accurate diagnosing, skillfully performing necessary procedures, and prescribing appropriate therapy. Relieving human suffering depends on communicating empathically and compassionately and allowing for the safe expression of human emotions and concerns.

'핵심적인 인간 기술'이란 환자 및 동료와의 의사소통, 환자의 안전한 이송, 전문가 간 팀워크, 상황 판단력 등 가까운 미래에 기술로 쉽게 대체할 수 없다고 판단되는 기술을 말합니다. 또한 공감, 겸손, 연민, 감성 지능, 지속적인 학습에 대한 열정 등의 개인적 특성도 중요한 인간 기술입니다. 자신의 감정에 대한 인식 및 환자의 감정에 관여하는 방법과 관련된 정서 지능은 특히 팀 기반 치료에서 미래의 의사에게 중요한 기술로 남을 것입니다.53 마찬가지로, 권고 사항 준수 및 환자의 전반적인 스트레스 감소와 같은 임상적으로 의미 있는 결과의 개선과 분명히 연관된 공감 능력54은 계속해서 의사의 필수 역량이 될 것입니다. 

“Critical human skills” are ones that we believe cannot be easily replaced by technology in the foreseeable future, such as communication with patients and peers, safe hand-offs of patients, interprofessional teamwork, and situational judgment. Moreover, the personal characteristics of empathy, humility, compassion, emotional intelligence, and passion for continued learning are also critical human skills. Emotional intelligence, as it relates to awareness of one’s own emotions and how to engage with patients’ emotions, will remain a vital skill for future practitioners, especially in team-based care.53 Likewise, empathy, which is clearly associated with improvements in clinically meaningful outcomes such as adherence to recommendations and overall stress reduction among patients,54 will continue to be a required physician competency.

의학을 지식 관리가 아닌 돌봄의 기술로서 바라보는 클레이본 존스턴 박사는 학술 의학 초청 논평에서 "돌봄의 기술은 환자 치료 결과 개선과도 관련이 있다"고 말합니다.55 의사는 공감하고, 방해하지 않고 경청하며, 효과적인 의사소통을 보장하기 위해 시간이 필요하다는 점을 적절히 지적하고 있습니다. AI는 현재 의사에게 필요한 업무를 자동화하거나 더 효율적으로 만들어줌으로써 의사와 환자에게 시간이라는 선물을 줄 수 있는 잠재력을 가지고 있습니다. 한 연구에 따르면 의사가 환자와 더 많은 시간을 보낼수록 재입원 위험이 8% 감소했습니다.56 방문 시간이 길어지면 의사소통이 원활해지고 신뢰가 높아지며, 무엇보다도 환자와 의료진 간의 치료 협력 관계가 개선되어 치료 결과가 향상됩니다.57
In an Invited Commentary in Academic Medicine, Dr. Claiborne Johnston, focusing on medicine as the art of caring rather than as knowledge management, states that “the skills of caring are also associated with improved patient outcomes.”55 Practitioners appropriately note that time is required to connect empathically, listen without interrupting, and ensure effective communication. By automating or making more efficient the current tasks required of a physician, AI has the potential to give practitioners and their patients the gift of time. In one study, for every extra minute that the doctor spent with the patient, the readmission risk fell by 8%.56 A longer visit promotes better communication, increased trust, and importantly, improved outcomes due to a better therapeutic alliance between the patient and the care provider.57

의학교육자는 기술과 휴머니즘을 다뤄야 합니다
Medical Educators Must Address Technology and Humanism

미래의 의료인이 변화해야 하는 것처럼, 교육 시스템과 미래의 의료인을 양성하는 교육자 모두에게 그에 상응하는 변화가 필요합니다. 인지적 기술이 효과적이고 효율적으로 테크놀로지에 위임됨에 따라, 의학교육자는 학습자가 환자와 관계를 맺고 환자의 고통을 덜어주는 데 필요한 비인지적, 핵심적인 인간 기술에 대한 교육을 강화해야 합니다. 의학교육자는 적절한 커리큘럼 요소와 교수법뿐만 아니라 미래의 의료 현장에서 성공하는 데 필요한 핵심적인 인간 기술을 평가할 수 있는 정확하고 신뢰할 수 있으며 유효한 수단을 개발하는 데 집중해야 합니다. 이 영역의 발전은 의료 서비스 제공의 발전과 함께 진행되어야 하며, 이용 가능한 기술 발전을 반영해야 합니다. 다른 사람들이 지적했듯이 미래에 대한 예측은 오류로 가득 차 있지만 종종 혁신을 촉진하기도 합니다.58 기술 발전은 때때로 고르지 않은 커리큘럼 혁신을 낳지만,59,60 의학교육을 완전히 발전시켜야 할 필요성은 부인할 수 없는 사실입니다. 
Just as future practitioners must change, corresponding changes are needed both in the educational system and in those who prepare practitioners of the future. As cognitive skills are effectively and efficiently delegated to technology, medical educators must enhance their training of the noncognitive, critical human skills that learners will need to relate to patients and relieve their suffering. Medical educators must focus on developing not only appropriate curricular elements and pedagogy but also accurate, reliable, and valid means to assess the critical human skills needed for success in the future practice of medicine. Progress in this realm must march alongside progress in health care delivery and reflect available technological advances. As others have noted, predictions about the future are fraught with error, yet they often stimulate innovation.58 Technological advances sometimes yield uneven curricular innovations,59,60 but the need to wholly evolve medical education is undeniable.

심층 신경망과 그 도구는 의료의 여러 측면에서 AI 알고리즘의 활용도를 높이는 데 큰 잠재력을 가지고 있지만61, 적절하게 사용되어야 합니다. 기술로 증강된 의료 서비스를 제공하려면 의사는 임상적 의사 결정과 환자 치료를 지원하기 위해 적절한 현장 진료 도구를 능숙하게 적용해야 합니다. 워트먼과 콤스는 다양한 출처에서 얻은 "정보의 효과적인 통합 및 활용"과 관련된 교육 기술을 강조합니다.62 이들은 미래의 의사들이 의사 결정 지원 소프트웨어를 사용하고 병원, 가정, 심지어 환자의 체내에서 센서와 로봇을 관리할 수 있도록 교육하는 의학교육의 재부팅을 주장하고 있습니다. 의과대학의 커리큘럼도 진화해야 합니다. 
Deep neural networks and the tools they engender hold great potential in increasing the use of AI algorithms in many aspects of medical care61—but only if used appropriately. Technology-augmented medical practice will require physicians to be adept at applying appropriate point-of-care tools to aid in clinical decision making and patient care. Wartman and Combs emphasize teaching skills related to the “effective integration and utilization of information” from a variety of sources.62 They advocate a reboot of medical education, training future doctors to use decision support software and to manage sensors and robots in hospitals, in homes, or even within patients’ bodies. The curriculum of medical schools must evolve.

임상 치료에서 뛰어난 AI 지원을 받더라도 의사는 환자를 돌보는 데 AI 지시 관리를 적용해야 할 때와 AI 알고리즘에서 벗어나야 할 때를 구분할 수 있어야 합니다. AI 시스템이 완전히 신뢰할 수 있게 될 때까지 의사는 독립적으로 정보를 찾고, 평가하고, 사용할 수 있는 기술이 필요합니다.

• 가까운 미래에도 의사에게는 일차 연구 문헌을 언제, 어떻게 검색해야 하는지 아는 기술이 필요할 것이므로 학생은 근거 기반 지식을 찾고 적용하는 데 있어 명시적인 교육을 받는 것이 도움이 될 수 있습니다.63 최근 문헌 검토에 따르면 대부분의 보건과학 학생은 인터넷에서 찾은 건강 정보를 찾고, 평가하고, 효과적으로 사용하는 기술이 제한적인 것으로 나타났습니다.64
• 비판적 연구 기술에 대한 교육은 여전히 발전하고 있지만 단일 기관에 국한된 경우가 많으며, 보고서는 다른 사람들이 개입을 완전히 평가하거나 복제할 수 있도록 충분한 정보를 제공하지 않습니다.65
• 학습자의 기술 보유도 제한적입니다. 예를 들어, 초급 의사를 대상으로 한 한 연구에 따르면 대다수가 높은 수준의 검색 기술을 보유하지 못했으며 최상의 근거를 식별하고 적용하는 기술이 부족했습니다.66  

Even with excellent AI support in clinical care, physicians must be able to discern when to apply AI-directed management to care for a patient and when to deviate from the AI algorithm. Until AI systems become fully reliable, physicians will require the skills to seek, evaluate, and use information independently. For the foreseeable future, physicians will likely still need the skills to know when and how to search primary research literature, thus students may benefit from explicit instruction in seeking and applying evidence-based knowledge.63 A recent literature review has revealed that the majority of health sciences students have limited skills in locating, evaluating, and effectively using the health information they find on the Internet.64 Pedagogy in critical research skills is still developing, but is often limited to a single institution, and reports provide insufficient information to enable others to fully evaluate or replicate the intervention.65 Learners’ skills retention is also limited; to illustrate, one study of entry-level physicians has shown that the majority had not retained high-level search skills and lacked skills in identifying and applying the best evidence.66

위에서 언급한 핵심적인 인간 기술은 의료 실무에서 여전히 필수적입니다. 2019년 아카데믹 메디슨의 초청 논평에서 "의학의 인본주의: 그것은 무엇을 의미하며 왜 그 어느 때보다 중요한가?"라는 제목의 초청 논평에서 조지 티볼트는 "인간 상호 작용을 대체하는 기술에 대한 의존도가 높아지면서 ... 환자와 전문가의 만족도가 전반적으로 하락하고 있다."67 의학교육자는 학습자의 전체 의학교육 여정에서 의도적인 실습, 피드백, 코스 수정 기회를 통해 미래의 의사에게 인문학적 기술을 배양하여 향후 성공적인 진료에 대비하도록 노력해야 한다고 말합니다. 
The critical human skills cited above will remain essential to medical practice. In a 2019 Invited Commentary in Academic Medicine entitled “Humanism in Medicine: What does it mean and why is it more important than ever?”, George Thibault laments that “the increasing reliance on technology as a substitute for human interaction … [leads] to a general decline in patient and professional satisfaction.”67 Medical educators must strive to cultivate humanistic skills in future physicians through opportunities for deliberate practice, feedback, and course correction throughout a learner’s whole medical education journey to prepare them for successful practice in the future.

위탁 전문 활동(EPA)은 수련생이 여러 번의 만남을 통해 자신의 술기 발전을 추적할 수 있는 프레임워크를 제공하여 발달 경로를 따라 학습과 개선을 촉진합니다. 수련의는 자신이 무엇을 평가받고 있는지, 자신의 진척도가 예상되는 학습 궤적과 어떻게 일치하는지 알 수 있습니다.68 기술 증강 의료 행위의 시대에는 모든 의료 수련의에게 추가적인 EPA가 요구될 수 있습니다.

• 빅데이터 쿼리 능력,
• 생물정보학의 힘에 대한 명확한 인식,
• AI 알고리즘의 강점과 한계에 대한 지식,
• 환자 유래 생체 데이터 평가 능력,
• 기본 컴퓨터 프로그래밍 기술 등

현재 EPA의 개발이 의학 및 교육 분야의 전문성을 갖춘 개인에게 의존하는 것처럼, 새로운 EPA의 개발은 AI 및 정보 과학 분야의 전문가에게 의존할 가능성이 높습니다. 
Entrustable professional activities (EPAs) provide a framework for trainees to track their skill progression over multiple encounters, thereby driving learning and improvement along a developmental path. Trainees know what they are being assessed on and how their progress aligns with the expected trajectory of learning.68 In the era of technology-augmented medical practice, additional EPAs may be required of all medical trainees:

• the ability to query big data,
• a clear awareness of the power of bioinformatics,
• knowledge of the strengths and limitations of AI algorithms,
• ability to evaluate patient-derived biometric data, and
• skills in basic computer programming.

Just as the development of current EPAs relies on individuals with expertise in medicine and education, the development of new EPAs will likely rely on experts in AI and information science.

기술 증강 의료 행위가 임상적 의사 결정의 내용과 이유를 가능하게 하고 기술이 점점 더 많은 작업에서 인간의 두뇌를 능가함에 따라, 알려진 사실과 임상 의사 결정 기술에 초점을 맞춘 현재의 평가 전략도 진화해야 합니다. 교육생에 대한 평가는 기술 사용 및 빅데이터 쿼리 능력을 측정해야 합니다. 평가 전문가는 중요한 인간 기술의 다양한 측면을 측정할 수 있는 새롭고 유효한 방법을 개발해야 하며, 의학 이외의 분야에서도 유용한 지침을 제공할 수 있습니다.69 
As technology-augmented medical practice enables the what and why of clinical decisions, and as technology outperforms the human brain for an increasing number of tasks, current assessment strategies that focus on known facts and clinical decision-making skills must also evolve. Assessment of trainees must measure their ability to use technology and query big data. Assessment experts need to develop new and valid methods to measure various aspects of critical human skills; fields outside of medicine may provide useful guidance.69

또한 AI는 평가 대상뿐만 아니라 학습자를 평가하는 방법도 변화시킬 것입니다. 자연어 처리 기술은 이미 의료 면허 시험 채점에도 활용될 준비가 되어 있습니다.70 평가는 의료 임상 실무에 완전히 통합된 원활하고 장기적이며 지속적인 프로세스가 되어야 합니다. 비정기적, 총괄적, 적시 평가는 학습자의 발달에 초점을 맞추고 안내하기 위해 유효한 지속적인 피드백으로 보완되어야 합니다. 의료 기록을 해석하여 환자 치료를 안내하는 데 사용하는 것과 동일한 기술을 의료진 평가에 사용할 수 있습니다. 시간이 지남에 따라 모든 임상 상황에서 수집된 여러 데이터 포인트를 통해 신규 의료진의 기술적 능력과 중요한 인적 기술을 모두 명확하게 파악할 수 있습니다. 자연어 처리 기술은 EMR 문서를 통해 매일의 임상 활동을 자동으로 추적하는 옵션을 제공합니다. 따라서 수련의는 실제 업무 문서를 통해 특정 기술과 역량을 추적하고 평가할 수 있습니다. 
AI also promises to transform not only what is assessed but also how learners are assessed. NLP is already poised to guide scoring of medical licensing examinations.70 Assessment must become a seamless, longitudinal, and continuous process that is fully integrated into the clinical practice of medicine. Occasional, summative, point-in-time assessments must be supplemented by valid ongoing feedback to focus and guide learners’ development. The same technologies that enable interpretation of the medical record to guide patient care can be employed to assess practitioners. Multiple data points, collected at every clinical encounter over time, can create a clear picture of both the technical and the critical human skills of an emerging practitioner. NLP technology offers an option to automatically track daily clinical activities via EMR documentation. Thus, trainees can be tracked and assessed for specific skills and competencies through their authentic workplace documentation.

AI는 전임상 교육 및 평가에도 잠재력을 가지고 있습니다. 학습자의 행동에 반응하여 부족한 부분을 강화하기 위해 가중치가 부여된 콘텐츠를 간격을 두고 반복하여 제공하는 초보적인 AI 시스템이 이미 존재합니다.71 휴대폰의 마이크를 사용하여 일상적인 임상 및 교육 상호작용을 눈에 띄지 않게 캡처하고 분석할 수 있는 NLP 지원 앱을 상상해 볼 수 있습니다. 음성 언어를 수동적으로 캡처하고 분석하는 NLP 지원 앱은 사례 기반 문제에 대해 동료와 함께 작업하는 학생이나 환자 및 기타 의료 팀원과 상호 작용하는 의사 등 상호 작용에서 개인의 수행 품질에 대한 개별화된 피드백을 제공할 수 있습니다. 이러한 앱은 상호 작용 내용의 명확성과 정확성뿐만 아니라 잠재적으로 감정적인 어조까지 평가할 수 있습니다.
AI also holds promise for preclinical teaching and assessment. Rudimentary AI systems already exist that respond to the learner’s actions by providing spaced repetition of content weighted to strengthen demonstrated areas of deficit.71 One might imagine an NLP-enabled app that, through use of a phone’s microphone, could unobtrusively capture and analyze routine clinical and educational interactions. An NLP-enabled app that passively captures and analyzes spoken language could provide individualized feedback about the quality of a person’s performance in their interactions—whether a student working with peers on a case-based problem or a doctor interacting with patients and other members of the health care team. Such an app may be able to assess not just the clarity and accuracy of the content of the interaction, but even, potentially, the emotional tone.

의학교육계는 의료 서비스에서 중요한 인간 기술의 중요성을 인식하고 학생, 레지던트, 교수진의 명확한 의사소통, 공감, 팀워크와 같은 기술 역량을 평가할 수 있는 유효하고 신뢰할 수 있는 수단을 마련하기 위해 노력해 왔습니다. 의대생의 휴머니즘 평가에 대한 방법론적 검토(155개 논문에서 보고된 202개의 다양한 평가 포함)에 따르면 휴머니즘 평가는 종종 제한적이며 단일 정량적 측정에 의존하는 것으로 나타났습니다.72 마찬가지로 감성 지능 및 공감 테스트는 아직 예비 단계에 머물러 있습니다.73,74
Recognizing the primacy of critical human skills in medical care, the medical education community has worked to establish valid and reliable means to assess students’, residents’, and faculty members’ competence in skills such as clear communication, empathy, and teamwork. A methodological review of the assessment of humanism in medical students (that involved 202 different assessments reported in 155 articles) indicated that assessing humanism is often limited and reliant on a single quantitative measure.72 Likewise, the testing of emotional intelligence and empathy is still in its preliminary stages.73,74

미국국립시험위원회(NBME)와 협력자들은 소아과 전공의의 전문성 및 기타 중요한 기술을 평가하기 위해 검증된 평가 도구를 개발했습니다.75 NBME는 미국소아과학회 및 소아과 프로그램 디렉터 협회와 협력하여 소아과 마일스톤 평가 협력체(PMAC)를 구성했습니다. 이 협력체의 구성원들은 레지던트에 대한 관찰을 수집하기 위해 테크놀로지 기반 다중 소스 평가 시스템을 개발했으며, 이를 통해 ACGME 마일스톤 달성에 대한 판단을 내릴 수 있습니다. PMAC는 여러 비인지적 기술에 대한 효과적인 종단 평가의 초기 증거를 보여주었으며, 수집된 데이터는 일부 레지던트 프로그램의 임상 역량 위원회에서 교육을 안내하는 데 사용되었습니다.76 다른 많은 레지던트 평가와 달리 PMAC 시스템은 평가자의 응답을 사용하여 실시간으로 평가를 맞춤화하고 평가자에게 제공된 데이터를 기반으로 다양한 질문을 전달하여 신뢰도를 높이고 행정 부담을 줄입니다. 이 작업을 통해 개발된 원칙과 프로세스는 다른 전문 분야와 교육/훈련/실습 연속체의 다른 단계로 일반화할 수 있습니다.
The National Board of Medical Examiners (NBME) and collaborators have developed validated assessment tools to assess professionalism and other critical skills of pediatric residents.75 The NBME partnered with the American Board of Pediatrics and the Association of Pediatric Program Directors to form the Pediatric Milestones Assessment Collaborative (PMAC). The members of the collaborative have developed a system of technology-enabled multisource assessment to collect observations of residents, which, in turn, inform judgments about their achievement of ACGME milestones. PMAC has shown early evidence of effective longitudinal assessment of several noncognitive skills, and data collected have been used by the clinical competence committees of some residency programs to guide education.76 Different from many other residency assessments, the PMAC system uses the assessor’s responses to tailor assessment in real time, delivering different queries based on data provided to the assessor, thus improving reliability and reducing administrative burden. The principles and processes developed during this work may generalize to other specialties and to other stages along the education/training/practice continuum.

미래를 위한 도전 과제
Challenges for the Future

성공이 보장되는 것은 아니지만, 위에서 설명한 발전과 기회는 환자 치료 결과와 환자와 의료진의 치료 경험 모두에서 극적인 개선을 이룰 수 있는 잠재력을 창출합니다. 이 마지막 섹션에서는 미래에 발생할 수 있는 몇 가지 시나리오를 살펴봅니다.  
While success is not guaranteed, the advances and opportunities described above create the potential for dramatic improvements both in patient outcomes and in patients’ and providers’ experience of care delivered. This final section explores some possible scenarios for the future.

기계가 인간을 대체할지에 대한 우려는 여전히 남아 있습니다. 미래 의료에 대한 디스토피아적 관점에서는 환자가 의료 기기와 직접 상호 작용하여 자신의 증상을 NLP 인터페이스에 설명하고, 바이오센서를 통해 객관적인 정보를 제공하며, 진단과 치료를 개발할 알고리즘에 정보를 제공하기 위해 필요에 따라 검체 채취에 동의하는 세상을 상상합니다. 재정적 자원은 이용 가능한 치료의 범위와 개인이 서비스를 쉽게 이용할 수 있는 정도를 모두 결정할 수 있습니다. 
Concerns over whether the machine will replace the human remain. A dystopian view of future medical care envisions a world where patients interact directly with health care appliances, describing their symptoms to an NLP interface, providing objective information via biosensors, and submitting to specimen collection as needed to inform the algorithms that will develop their diagnosis and treatment. Financial resources may determine both the range of available treatments and the ease with which individuals can access services.

이것이 우리의 미래가 될 필요는 없으며, 그렇게 되어서도 안 됩니다. AI 초강대국들에서: 중국, 실리콘밸리, 그리고 새로운 세계 질서에서 카이푸 리는 AI가 "매우 불평등한 사회 전반에 걸쳐 세계적 수준의 의료 지식을 동등하게 보급하고, 모든 의사와 간호사가 기계가 할 수 없는 인간적인 일, 즉 환자를 돌보고 있다고 느끼게 하고 진단이 밝지 않을 때 환자를 위로하는 일에 집중할 수 있게 한다."77 우리는 이상적인 미래의 의료 행위는 기계가 최적의 중요한 결정을 내리고 인간은 환자에게 동정, 존중, 경청, 정서적 지원을 제공하는 보다 통합적인 치료 제공으로 구현될 것으로 가정하고 있습니다.의사의 진료 방식은 환자와 환자의 결과55, 그리고 의사와 환자의 웰빙에 중요한 영향을 미칩니다. 기존의 커리큘럼과 평가 프레임워크를 지금 수정하면 환자나 환자의 결과에 대한 진정한 배려 없이 기계적으로 기술에 의존하는 의료 서비스를 제공하는 불만과 불만을 가진 미래의 의사 인력이 늘어나는 것을 방지하는 데 도움이 될 것입니다. 
This need not—and should not—be our future. In AI Super Powers: China, Silicon Valley and the New World Order, Kai-Fu Lee writes that AI “disseminates world class medical knowledge equally throughout highly unequal societies, and lets all doctors and nurses focus on the human tasks that no machine can do: making patients feel cared for and consoling them when the diagnosis isn’t bright.”77 We posit that ideal future medical practice will embody more integrated delivery of care, with the machine enabling optimal critical decision making while the human provides compassion, respect, listening, and emotional support to patients. How physicians care matters to patients and their outcomes55—and to physicians and their well-being. Modifying existing curricular and assessment frameworks now will help prevent the growth of a future workforce of disgruntled, dissatisfied physicians who provide technology-dependent health care mechanically without truly caring for their patients or about their outcomes.

기술 증강 치료와 의학 지식의 평준화 시대에 의과대학 교수진은 지금까지 뛰어난 두뇌와 인지능력을 기준으로 학생들을 입학시켜 왔지만, 이제는 공감 능력, 의사소통 능력, 감성 지능이 뛰어나 인류의 고통을 덜어줄 수 있는 최고의 치료자로 성장할 가능성이 높은 학생들을 선발하고 교육해야 할 것입니다. 의대 교육자와 규제 기관의 과제는 여러 데이터 소스를 활용하여 개인에 대한 풍부하고 다각적인 그림을 그리는 평가 모자이크를 개발하는 것입니다. 이 모자이크는 기술이 통합된 시스템에서도 환자 치료에서 계속 중요한 역할을 하게 될 핵심적인 인간 기술에서 학습자의 역량을 입학 시와 수련 기간 내내 파악할 수 있는 데이터를 안정적으로 제공할 수 있습니다. 실제 환자 치료 환경에 기반하고 실제 환자 치료 환경에 포함된 실제적이고 종단적인 다중 소스 평가는 현재의 시뮬레이션 평가 환경을 보강하고 잠재적으로 대체할 수 있어야 합니다. 
In the era of technology-augmented care and the leveling of medical knowledge, medical school faculty—having so far admitted students based on their brilliance and cognitive abilities—will now need to select and train students with high empathy, communication skills, and emotional intelligence who are likely to blossom into the best healers capable of alleviating human suffering. The challenge for medical educators and regulatory bodies will be to draw from multiple data sources to develop an assessment mosaic: a rich, multifaceted picture of the individual. This mosaic could reliably provide data to discern the competence of learners—upon matriculation and throughout their training—in the critical human skills that will continue to play an important role in patient care, even in a technology-integrated system. Authentic, longitudinal, multisource assessments that are workplace-based and embedded in real patient care encounters will have to augment, and potentially replace, current simulated environments of assessment.

의료계가 AI의 잠재력을 성공적으로 활용하는 동시에 돌보는 의사의 인문학적 발전을 촉진할 수 있다면, 위에서 설명한 디스토피아와는 확연히 다른 미래를 만들 수 있을 것입니다. 밝은 미래에는 환자가 의료 시설이나 자신의 집 등 편안하고 보살핌을 받는 환경에서 의사의 진료를 받고, 진단과 치료 결정은 고화질의 원격 프레젠테이션 기술을 통해 이루어집니다. 의사나 환자는 진료 중 언제든지 AI 아바타의 참여를 요청하여 환자의 전체 건강 기록과 최신 의학 문헌에 대한 지식에 기반한 정보, 조언 또는 의견을 요청할 수 있습니다. 아바타는 대화에 초대받지 않거나 금기 치료 처방과 같이 환자와 의사의 대화에서 개입이 필요한 상황이 발생하지 않는 한 침묵을 유지합니다. AI 시스템은 먼저 진료 중에 교환된 주관적 및 객관적 정보를 의사와 환자가 함께 검토할 수 있도록 서면 기록으로 자동 정리한 다음 의사의 검토 및 승인을 위해 진단 및 치료 초안을 작성합니다. 
If medicine can successfully harness the potential of AI while simultaneously fostering the humanistic development of caring physicians, we will create a future that differs dramatically from the dystopia described above. In our bright future, patients are attended by a physician in a comfortable, nurturing environment that may be a health care facility or their own home; diagnosis and treatment decisions are facilitated by high-fidelity tele-present technology. Either the physician or the patient can invoke the participation of an AI avatar at any point during the encounter to solicit information, advice, or an opinion that is guided and informed by knowledge of both the patient’s full health record and current medical literature. The avatar remains silent unless invited into the interaction, or unless anything in the patient–doctor interaction—such as prescribing a contraindicated treatment—triggers a need for intervention. The AI system, first, automatically organizes the subjective and objective information exchanged during the visit into a written record for shared review by both the physician and the patient, and then drafts diagnoses and treatments for the physician’s review and approval.

의료 면허 당국은 이미 원격 의료 및 면허 규정과 같은 기술로 인한 의료 행위의 변화와 씨름하고 있습니다.78 기술이 통합된 새로운 의료 행위의 시대에 최소한의 진료 역량에 대한 기준의 진화를 고민해야 할 것입니다. 환자와 의료진이 하이테크 하이터치 진료로 전환할 수 있도록 지원하고 가능하게 하는 기술은 의료진과 환자 모두에게 환영받을 것입니다. 인문학적 소양을 갖춘 기술 교육을 받은 의료진이 시행하는 기술 강화 의료를 통해 환자는 양질의 자비로운 치료를 받을 수 있고, 의료진은 본질적으로 인간적인 의료 활동에서 의미와 기쁨을 찾으며 번창할 수 있습니다.
Medical licensing authorities are already grappling with technology-enabled changes in the practice of medicine such as those related to telemedicine and licensure regulations.78 They will have to grapple with the evolution of standards of minimal competence to practice in the new era of technology-integrated medical practice. Technology that enables and supports patients and providers to move to high-tech, high-touch care would be welcomed by health care providers and patients alike. Technology-enhanced medicine practiced by humanistic, technology-trained providers will enable patients to receive high-quality compassionate care while allowing the provider to flourish by finding meaning and joy in this essentially human activity of medical care.

Copyright © 2020 by the Association of American Medical Colleges.

인공지능이 의학교육에 갖는 함의 (Lancet Digit Health. 2020)
Implications of artificial intelligence for medical education

Vanessa Rampton 1, Michael Mittelman 2, Jörg Goldhahn 3

디지털 헬스1는 의학에 큰 변화를 가져왔지만, 이로 인해 야기되는 문제는 아직 의학교육 전반에 걸쳐 교육과 학습에 통합되지 않았습니다. 이 문제는 의료 디지털화의 구체적인 사례로 논의되는 인공지능(AI) 시스템의 부상이 교육의 근본적인 패러다임 변화와 연관되어 있다는 점에서 더욱 시급한 문제입니다. 20세기 의학교육 모델은 실험 결과가 공인된 표준으로 발전하여 교과서 교육에 영향을 미치는 것에 의존했지만, 오늘날에는 더 이상 이러한 순서가 적용되지 않습니다. 새로운 의료 AI 기술이 개발되고, 임상에 도입되고, 환자들이 사용하는 속도가 빨라지면서 의사들은 아직 일반적으로 받아들여지는 지식의 일부가 되지 않은 실험 기법을 적절히 다룰 수 있는 역량을 갖춰야 합니다. 어떤 치료법이 환자에게 가장 큰 혜택을 줄 수 있는지에 대한 민첩한 교육과 교육받은 추측이 의사들이 [단순히 기술에 반응하지 않고 이러한 기술의 도입을 주도할 수 있도록] 하는 데 매우 중요합니다.  
Although digital health1 has occasioned huge changes for medicine, the issues it provokes have yet to be integrated into teaching and learning across the medical education continuum. This question is all the more pressing given that the rise of artificial intelligence (AI) systems, discussed here as a specific example of healthcare's digitalisation, are associated with a fundamental paradigm shift in teaching. Whereas 20th-century medical education models relied on experimental results evolving into a recognised standard that then informed textbook teaching, today this sequencing no longer holds. The speed at which new health AI technologies are developing, being introduced into clinical practice, and being used by patients requires equipping doctors to deal appropriately with experimental techniques that have not yet become part of a generally accepted body of knowledge. Agile teaching and educated guesswork about which treatments will benefit patients the most are crucial for enabling physicians to lead the introduction of such technologies without simply being forced to react to them. 

당면 과제 중 하나는 기존의 교육 프레임워크를 21세기 현실을 고려하여 현실적으로 업데이트할 수 있는 방법을 모색하는 것입니다. 일반적으로 의학교육자들은 역량 프레임워크를 사용하는데, 이 프레임워크에는 여러 가지 경쟁 모델이 존재하며, 이 중 한 가지 역량은 여러 전문적 역할을 적절히 수행할 수 있는 것으로 간주될 수 있습니다. 엘러웨이에 따르면 이러한 프레임워크는 "이상을 집합적으로 정의하는 일련의 명제와 관계"를 설명하는 이론으로 간주하므로 지속적으로 테스트하고 도전해야 한다고 생각합니다.2 오늘날 의사가 환자의 의료 요구를 적절히 충족하는 데 필요한 다양한 능력은 모두 AI 지원 시스템의 영향을 받습니다.3 
Part of the task at hand is to ask how existing educational frameworks can be realistically updated to take into account 21st-century realities. As a rule, medical educators work with competency frameworks, of which several competing models exist, whereby a competence can be considered the suitable performance of several professional roles. Following Ellaway, we view such frameworks as theories outlining “a series of propositions and relationships that collectively define an ideal”, and therefore consider that they must be continuously tested and challenged.2 Today, the various abilities that physicians require to adequately meet patients' health-care needs are all affected by AI-enabled systems.3 

기술이 앞으로 어떻게 발전할지는 아무도 예측할 수 없지만, 의학은 환자의 웰빙을 증진하고 모든 사람이 적절한 의료 서비스를 이용할 수 있도록 하는 등 [인류 공통의 요구]에 부응합니다.4 한편, 우리는 환자가 자신의 치료와 관련하여 무엇을 원하고 필요로 하는지, 그리고 환자의 선호도가 의학 교육에 어떻게 더 잘 통합될 수 있는지 잘 파악하고 있습니다. 일부 환자 옹호자들이 쓴 것처럼, 여기에는 의학교육자가 환자를 완전한 가치의 파트너로 간주하는 것뿐만 아니라 "의사가 환자가 겪고 있는 일에 진정으로 관심을 갖고 진정으로 돕고 싶어 한다는 것을 느끼는 것"과 "환자의 가치, 희망, 선호도를 완전히 맥락화하고 이해할 수 있는 능력"이 포함됩니다. 5 치료가 환자와 그 가족이 치료에 중요한 역할을 하는 파트너십으로 진화함에 따라 의사는 환자와 협력하여 환자와의 관계를 발전시키고 이해해야 하며, 이는 매우 다양할 수 있는 AI 및 빅 데이터와의 관계를 발전시켜야 합니다. 또한 다양한 배경을 가진 환자와 협력하여 사회 정의 문제와 전문가 시스템 중심의 솔루션에 대한 민감성을 개발해야 합니다.  
No one can predict the future ways in which technology will develop, but medicine serves common human needs, such as promoting patient well-being and making adequate health care available to all.4 Meanwhile, we have a good picture of what patients want and need with regard to their own care, and how their preferences could be better integrated into medical education. As some patient advocates have written, this includes being considered full-value partners by medical educators, as well as “sensing that your doctor truly cares about what you are going through, and really does want to help”, and has the ability to “fully contextualise and appreciate the patient's values, wishes, and preferences”.5 As care has evolved to become more of a partnership, in which patients and their families have a key role to play in their treatment, physicians ought to collaborate with patients to develop and understand the patient's own relationship with AI and big data, which can vary dramatically. Moreover, they must work with patients from different backgrounds to develop sensitivities to problems of social justice and expert systems-driven solutions. 

존경받고 널리 사용되는 도구 중 하나인 캐나다 전문의 의학교육 지침(CanMEDS) 의사 역량 프레임워크는 변화를 위한 실용적이고 효과적인 지렛대라는 장점이 있습니다.6 또한, CanMEDS에 묘사된 많은 역할이 미국의 의학전문대학원 교육 인증위원회(ACGME)와 같은 다른 프레임워크에서 재현되고 있어 우리가 관찰하는 것이 더 중요하다는 것을 강조합니다. 또한 의사소통자, 협력자, 리더, 건강 옹호자, 학자, 전문가, 의료 전문가 등 의사의 역할은 정의상 비기술적non-technical이며, 합리적이거나 객관적인 기준으로 환원할 수 없기not reducible to rational or objective criteria 때문에 [기계에 의해 (완전히) 대체될 위험이 없다는 점]에서 CanMEDS는 매력적인 이론적 프레임워크입니다. 이 중 6개는 개념적으로 사회과학과 인문학에 기반을 두고 있으며, 의료 전문가의 역할은 나머지 6개, 즉 연결성과 함께 속한 것에 대한 지식을 통합하는 것으로, 기계는 부분적으로만 수행할 가능성이 높습니다.7 
By way of illustration, take one respected and widely used instrument, the Canadian Medical Education Directives for Specialists (CanMEDS) Physician Competency Framework, which has the advantage of being a practical and effective lever for change.6 Moreover, many of the roles depicted in CanMEDS are reproduced in other frameworks, such as the Accreditation Council for Graduate Medical Education (ACGME) in the USA, which underscores the broader importance of our observations. CanMEDS is also an appealing theoretical framework because none of the physician roles it describes—communicator, collaborator, leader, health advocate, scholar, professional, and medical expert—are at risk of being (entirely) replaced by machines, because they are non-technical by definition, and not reducible to rational or objective criteria. Of the roles, six are conceptually based in the social sciences and humanities, and the role of medical expert is to integrate the remaining six, that is to have knowledge of connectedness and what belongs together, something machines are likely to accomplish only partially.7 

동시에 AI가 가져온 변화는 모든 의사의 역할에 영향을 미칩니다.8 
At the same time, changes brought about by AI affect all physicians' roles.8

의사 소통자의 역할과 전통적인 의사와 환자의 만남이 "컴퓨터를 진료실에 도입함으로써 삼자 관계로 바뀌었다"는 사실을 고려하십시오.9 의사는 개인 정보 보호에 대한 우려, 권한 박탈, 모든 것을 알고 싶은 욕구 부족을 포함하여 빅 데이터 및 AI 지원 대상에 대한 환자의 다양한 반응을 인정해야 합니다.  
Take the role of communicator, and the fact that the traditional physician–patient encounter has “been altered into a triadic relationship by introducing the computer into the examination room”.9 Physicians need to acknowledge the large variety of patients' responses to big data and AI-supported objects, including concerns regarding privacy, disempowerment, and a lack of desire to know everything 

협력자로서 의사는 의료 AI 기술과 지식의 폭넓은 접근성이 다른 의료 전문직(예: 심리학자, 물리치료사, 간호사)은 물론 환자들에게도 힘을 실어준다empowers는 사실을 받아들이고 이를 바탕으로 배타적 지식 보유자로서의 의사의 기존 지위에 의문을 제기하도록 교육받아야 합니다. 
As a collaborator, physicians should be taught to accept and build on the fact that health AI technology and the wider accessibility of knowledge empowers some other health professions (eg, psychologists, physiotherapists, and nurses), as well as patients themselves, questioning physicians' previous status as holders of exclusive knowledge. 

리더로서 의사는 환자와 협력하여 AI 기술을 투명하고 책임감 있게 구현하고, 디지털 기술을 개발하고 옹호하는 것에 대해 상업적 및 기타 이해관계를 명확히 하는 문화에 기여해야 합니다. 
As a leader, physicians must work with patients to make the implementation of AI technologies transparent and accountable, contributing to a culture that makes explicit the commercial and other interests of those developing and advocating for digital technologies. 

건강 옹호자로서 의사는 환자 및 취약 계층과 협력하여 로봇 간병인과 같은 전문가 시스템의 사용이 권한이 부여된 선택인지 아니면 더 광범위한 사회경제적 접근 문제와 관련이 있는지를 확인할 수 있습니다. 이러한 환경에서 보다 다양한 팀을 옹호함으로써 교육과 임상 실습을 개선해야 하며, 이러한 팀은 AI 솔루션이 더 큰 시스템적 문제를 가리는 사례를 더 잘 식별할 수 있기 때문입니다.  
As a health advocate, physicians can work with patients and disadvantaged groups to establish whether the use of expert systems—such as robot carers—is an empowered choice or rather related to broader socioeconomic access problems. They ought to improve education and clinical practice by advocating for more diverse teams in those settings, as these are better able to identify instances in which AI solutions mask larger systemic problems. 

학자로서 의사는 디지털 리터러시 향상과 AI, 수학적 모델링, 의사 결정 이론 등에 대한 지속적인 학습을 통해 이점을 얻을 수 있습니다. 이는 데이터의 편향성에 대한 인식, 그리고 이러한 편향성이 AI 모델이 객관적이고 중립적인 결과를 도출할 수 있다는 주장을 어떻게 약화시키는지에 대한 인식과 관련이 있습니다. 의사는 질병의 주관적인 측면을 포함하여 다양한 현실과 지식의 종류를 더 잘 이해하기 위해 환자 학자들의 연구를 활용해야 합니다.  
As a scholar, physicians will benefit from improved digital literacy and continuous learning about AI, mathematical modelling, decision theory, and so on. This is linked to an awareness of biases in data, and how these undermine any claims about how AI models are able to produce objective, neutral results. They should draw on the work of patient scholars to understand better different realities and kinds of knowledge, including the subjective aspect of illness. 

전문직으로서 의사는 공학, 데이터 및 정보 과학의 도구를 자신의 기술에 통합해야 하는 직업 정체성의 근본적인 변화를 받아들여야 합니다. 한편, 의사는 e헬스 진료가 환자에게 도움이 되는지 여부에 대한 최종 결정권은 환자에게 있으며, 의사는 환자의 결정을 지원하는 데 필요한 지침과 조언을 제공할 책임이 있다는 점도 인정해야 합니다. 
As a professional, physicians should accept a fundamental change in professional identity which requires them to incorporate tools from engineering, data, and information sciences into their skill sets. Meanwhile, physicians should also acknowledge that patients have the final say in whether an eHealth practice benefits them, whereas physicians have a responsibility to provide the necessary guidance and advice to support patients' decisions. 

의료 전문가로서 의사는 환자와 협력하여 통합 지식의 중요성, 즉 함께 속한 것, 사회적 관계, 질병이 환자의 삶과 어떻게 관련되어 있는지에 대한 (기계가 접근할 수 없는) 지식을 창출하고 해석할 수 있어야 합니다.10 
As medical experts, physicians must be able to work together with patients to create and translate the importance of integrated knowledge, that is knowledge of what belongs together, social relationships, and how illness relates to a patient's life, something that is inaccessible to machines.10 

AI 의료 기술의 급증으로 가장 큰 혜택을 받는 것은 환자임을 확인하는 것은 앞으로 몇 년 동안 핵심 과제로 남을 것이며, 의사의 디지털 리터러시를 개선하고 환자의 관점을 더 잘 통합하는 의학교육의 새로운 접근 방식이 중요해질 것입니다. AI 기반 혁신에는 일반적으로 느리고 점진적으로 임상 진료에 대한 근거 기반의 표준을 생성하는 기존 모델을 뛰어넘는 것이 포함되기 때문에 이러한 접근 방식이 더욱 필요합니다. 즉, 환자의 희망사항은 AI 기술이 환자의 건강과 웰빙에 어떻게 기여할지 예측하는 데 중요한 척도가 됩니다. 
Making sure that it is patients who benefit the most from the surge of AI health technology will remain a key challenge in years to come, and new approaches in medical education that improve the digital literacy of physicians and better integrate patients' views will be crucial. This is all the more necessary since AI-driven transformations involve going beyond previously accepted models of the usually slow and gradual process of generating evidence-based gold standards for clinical practice. In turn, this means that patients' wishes are a crucial measure for anticipating how AI technologies contribute to their health and well-being. 

Implications of artificial intelligence for medical education

PMID: 33328081

DOI: 10.1016/S2589-7500(20)30023-6

의학교육은 정보시대에서 인공지능시대로 옮겨가야 한다(Acad Med, 2018)
Medical Education Must Move From the Information Age to the Age of Artificial Intelligence
Steven A. Wartman, MD, PhD, and C. Donald Combs, PhD

윌리엄 오슬러는 의학은 불확실성의 과학이자 확률의 예술이라고 말한 것으로 알려져 있습니다. 하지만 오늘날 이 오랜 관점은 도전받지는 않더라도 개선되고 있습니다. 의료계의 변화하는 모습과 의사들이 현대 의료 현장에 보다 효과적으로 진입할 수 있도록 하는 의학교육 개혁은 백서와 뉴스 기사에서 자주 등장하는 주제입니다. 일반적인 개혁 주제에는 커뮤니케이션, 팀워크, 위험 관리 및 환자 안전에 대한 새로운 강조가 포함됩니다. 이러한 개혁은 중요하지만 충분하지 않다고 생각합니다. 가장 근본적인 변화, 즉 정보화 시대에서 인공지능 시대로 빠르게 전환되고 있는 의료계의 현실을 해결하는 데 더 많은 관심을 기울여야 합니다. 이러한 변화의 결과는 심대하며 학부 의학교육 프로그램의 개혁을 요구합니다. 이러한 개편의 기본 원칙은 학생들이 "정보"와 "인공 지능"의 차이를 이해하고 관리해야 한다는 것입니다. 
William Osler is reported to have said that medicine is a science of uncertainty and an art of probability. Yet today, this time-honored perspective is being refined, if not challenged. The changing state of the medical profession and the medical education reforms that will enable physicians to more effectively enter contemporary practice are frequent topics of white papers and news stories. Common reform themes include a renewed emphasis on communication, teamwork, risk management, and patient safety. We believe that these reforms are important but insufficient. More attention needs to be given to addressing the most fundamental change of all—the practice of medicine is rapidly transitioning from the information age to the age of artificial intelligence. The consequences of this transition are profound and demand the reformulation of undergraduate medical education programs. A fundamental principle of this reformulation is that students must understand and manage the difference between “information” and “artificial intelligence.”

정보 대 인공 지능
Information Versus Artificial Intelligence

정보 시대(대략 1970년대부터 2010년대 기계 학습 도구가 등장하기 전까지)에는 정확하고 시의적절하며, 목적에 맞게 구체적이고 체계적으로 정리되고, 의미와 관련성을 부여하는 맥락 내에서 제시된 데이터를 사용하여 이해도를 높이고 불확실성을 줄이는 것이 특징이었습니다.1 이 시기 의사의 주요 과제는 [유효성을 판단]하고, [사용 가능한 정보를 효과적으로 사용하는 방법을 찾는 것]이었습니다. 
The information age (roughly from the 1970s to the emergence of machine learning tools during the 2010s) featured the use of data that were accurate and timely, specific and organized for a purpose, and presented within a context that gave them meaning and relevance, as well as led to an increase in understanding and decrease in uncertainty.1 The primary challenges for physicians during this time were determining validity and how to effectively use the available information.

인공 지능(또는 컴퓨터가 인간의 인지를 모방하는 것)은 한때 미래적인 비전으로만 여겨졌습니다. 이제 컴퓨터나 컴퓨터로 제어되는 로봇이 지능적인 존재와 관련된 작업을 수행하는 능력은 널리 받아들여지고 있습니다. 더 중요한 것은 "인공 지능"이라는 용어가 [추론, 의미 발견, 일반화 및 경험으로부터 학습하는 능력]과 같은 인간의 특징적인 지적 과정을 부여받은 시스템의 개발에 적용된다는 점입니다.2 인공 지능의 응용 프로그램을 사용한 데이터 조작은 의학교육에 중요한 영향을 미칩니다. 암기 위주의 현행 커리큘럼은 점점 더 다양한 출처의 정보를 효과적으로 통합하고 활용할 수 있는 역량을 가르치는 커리큘럼으로 전환해야 합니다.
Artificial intelligence—or the mimicking of human cognition by computers—was once only a futuristic vision. Now, the ability of a computer or a computer-controlled robot to perform tasks commonly associated with intelligent beings is widely accepted. More important, the term “artificial intelligence” applies to the development of systems that are endowed with the intellectual processes characteristic of humans, such as the ability to reason, discover meaning, generalize, and/or learn from experience.2 The manipulation of data using applications of artificial intelligence has significant implications for medical education. The current, largely memorization-based curriculum must transition to one that teaches competence in the effective integration and utilization of information from a growing array of sources.

예를 들어, 인체 안팎에서 사용 가능한 센서의 수와 유형이 기하급수적으로 증가하고 개인 및 조직 정보 인프라에 연결되는 것을 관리하는 것은 인공지능 시대에 떠오르는 과제 중 하나에 불과합니다. 의사와 환자 모두가 이용할 수 있는 대규모 데이터 모음, 점점 더 정교해지는 머신러닝(예: 왓슨 및 알파고) 사용, 의사와 환자 간의 지식 격차 축소 등 빅 데이터 사용의 의미는 현재의 의료 교육 모델에도 상당한 도전 과제를 안겨주고 있습니다. 의사가 신뢰할 수 있는 인공지능 기반의 의사결정 지원 소프트웨어를 사용하든, (병원, 환자 가정 또는 인체 내에) 배치된 로봇을 관리하든, 의사는 이 새로운 패러다임에 대한 교육을 받아야 할 것입니다. 
For example, managing the exponential growth in the number and type of available sensors, both within and outside the human body, and their connectivity to personal and organizational information infrastructures, is just one of the challenges emerging in the age of artificial intelligence. The implications of using big data, including large compilations of data that are available to both physicians and their patients, increasingly sophisticated uses of machine learning (e.g., Watson and Alpha Go), and the narrowing of the knowledge differential between physicians and patients, also pose substantial challenges to the current medical education model. Whether physicians use decision support software based on reliable artificial intelligence or manage robots deployed in hospitals, patients’ homes, or within the human body, they will need to be educated in this new paradigm.

20세기에 주로 집중된 의학교육 개혁
Medical Education Reform Has Largely Focused on the 20th Century

재단과 정부 기관이 자금을 지원하는 국가 보고서의 연구 결과를 바탕으로 의학교육을 개혁하려는 노력은 1910년 아브라함 플렉스너의 보고서 이후 일상화되어 몇 년마다 발표되고 있습니다. 미국의사협회는 2000년부터 2015년까지 의학교육 개혁을 촉구하는 국가 보고서가 15건 발표되었다고 언급했습니다.3 이러한 개혁안은 만성 질환 관리 및 진료 조정, 시스템 기반 진료, 진료 기반 개선, 효과적인 커뮤니케이션 등 이전에 확인된 개혁 분야와 많은 부분이 일치합니다. 전통, 인증 문제, 변화에 대한 교수진의 저항, 학생들이 국가 시험에서 좋은 성적을 거둘 수 있도록 준비시켜야 할 필요성 등이 일반적으로 필요한 개혁을 방해하는 주요 요인으로 간주됩니다. 미국의학협회의 수잔 스코첼락은 다음과 같이 주장합니다:

• "[이러한 개혁에서] 빠진 것은 의료 서비스 전달의 과학입니다. 만성 질환을 어떻게 관리할까요? 예방과 건강에 어떻게 집중하나요? 어떻게 팀으로 일할 것인가?"3 

Efforts to reform medical education, largely based on the findings in national reports funded by foundations and government agencies, have become routine and have been rolled out every few years since Abraham Flexner’s 1910 report. The American Medical Association noted that from 2000 to 2015 there were 15 national reports calling for medical education reform.3 These proposed reforms paralleled many of the previously identified areas for reform, including the management of chronic conditions and care coordination, systems-based practice, practice-based improvement, and effective communication. Tradition, accreditation concerns, faculty resistance to change, and the need to prepare students to perform well on national board exams are generally considered the major factors impeding needed reform. Susan Skochelak of the American Medical Association argued:

• “What’s been missing [from these reforms] is the science of health-care delivery. How do you manage chronic disease? How do you focus on prevention and wellness? How do you work in a team?”3

2016년 강연에서 워트먼은 의학교육의 "재부팅"을 주장하면서 현재 확인된 많은 개혁이 21세기 의학교육에 필요하지만 충분하지 않다고 지적했습니다.4 그는 또한 의학교육 개혁의 실적을 보면 의미 있는 변화를 받아들이는 데 더딘 산업을 묘사한다고 지적했습니다. 21세기형 의료 기술을 습득하기 위해서는 의학교육의 보다 근본적인 변화가 필요하다고 생각합니다. "한 번 보고, 한 번 하고, 한 번 가르친다"는 격언이 과거 의사의 임상 술기 학습 방식을 특징지었을지 모르지만, 이제 교육이 효과적이려면 모든 수준의 학습자가 자신의 성과를 표준과 비교하고 역량을 갖출 때까지 계속 연습할 기회를 가져야 한다는 것이 분명해졌습니다.5 의료의 질 저하와 지속 불가능한 비용 증가로 고민하는 리더, 외부 이해관계자, 대중의 압박으로, 의사들은 학습 목표를 보다 나은 치료 제공 및 책무성 강화 조치와 더욱 긴밀하게 연계하는 이니셔티브를 설계하는 데 더 엄격한 과제에 직면해 있습니다.6
In a 2016 lecture, Wartman advocated a “reboot” of medical education, noting that many of the current reforms that have been identified are necessary but not sufficient for 21st-century medical education.4 He also noted that the track record of medical education reform depicts an industry that is slow to adopt meaningful change. The acquisition of 21st-century skills for medical practice requires, in our opinion, a more radical transformation of medical education. Although the dictum “see one, do one, teach one” may have characterized the way physicians learned clinical skills in the past, it is now clear that, for training to be effective, learners at all levels must have the opportunity to compare their performance against a standard and to continue to practice until competence is achieved.5 Pressed by their leaders, external stakeholders, and a public troubled by lapses in quality of care and unsustainable cost increases, physicians are facing stiffer challenges in designing initiatives that more closely link the goals of learning with both the delivery of better care and measures of greater accountability.6

고용주들은 학부, 대학원 및 평생 의학 교육을 더욱 긴밀하게 통합해야 한다는 설득력 있는 주장을 펼치고 있습니다. 이들은 면허를 취득한 후 다른 의료 팀원들과 함께 일하고, 의료 전문직과 치료 연속체를 아우르는 지식을 갖추고, 스마트폰, 소셜 미디어 및 기타 장치를 사용하여 데이터 플랫폼을 활용하고, 고객 서비스를 포함한 결과 분석과 성과 개선에 집중하는 의사를 필요로 합니다.7 
Employers are making a compelling case for a tighter integration of undergraduate, graduate, and continuing medical education. They need physicians who work at the top of their license with other members of the health care team; have knowledge that spans the breadth of the health professions and care continuum; leverage data platforms by using smartphones, social media, and other devices; and focus on analyzing outcomes and improving performance, including customer service.7

의학교육의 의미 있는 변화에 대해 아브라함 플렉스너만큼 큰 소리로 환호하는 사람은 없을 것입니다. 변화에 대한 유연성과 자유, 그리고 변화의 의무는 그의 메시지의 일부였습니다. 그는 의심할 여지없이 오늘날 필요한 의학교육의 근본적인 구조조정을 지지할 것입니다. 그렇다면 문제는 다음과 같습니다:

• 20세기의 지배적인 모델에서 21세기의 새로운 과제, 특히 빅데이터와 인공 지능의 전문 진료 분야 적용 증가에 대응할 수 있는 의학교육으로 어떻게 개혁할 수 있을까요? 

No one would cheer more loudly for meaningful change in medical education than Abraham Flexner. The flexibility and freedom to change—indeed, the mandate to do so—were part of his message. He would undoubtedly support the fundamental restructuring of medical education that is needed today. So, the question becomes:

• How do we reform medical education from the dominant 20th-century model into one that can address the emerging challenges of the 21st century, especially the increasing application of big data and artificial intelligence in professional practice?

21세기를 위한 의학교육 리부트
A Medical Education Reboot for the 21st Century

우리는 의학교육 재부팅의 토대는 미래의 의료 행위가 [의사, 다른 의료 전문가, 기계(소프트웨어와 하드웨어 모두 포함), 환자] 간의 명백한 파트너십이 될 것이라는 공동체의 인식에 있다고 믿습니다. 미래의 의료 행위는 의사의 기본 규칙을 변화시키는 네 가지 특징을 갖게 될 것입니다.
We believe that the foundation for a medical education reboot lies in the community’s recognition that future medical practice will be an explicit partnership among physicians, other health care professionals, machines (which includes both software and hardware), and patients. Future medical practice will have four characteristics that change the ground rules for physicians.

첫째, 다양한 장소에서 진료가 제공될 것입니다. 기술은 환자와 함께, 그리고 환자 내부로 이동하며 지속적인 데이터 흐름을 제공할 것입니다. 대용량 데이터 저장 및 처리 인프라에 실시간으로 더 쉽게 액세스할 수 있게 될 것입니다. 환자, 보험사, 규제 당국은 편의성과 입증 가능한 결과를 요구할 것입니다.
First, care will be provided in many locations. Technology will move with and inside patients, providing a continuous flow of data. Large data storing and processing infrastructures will become more readily accessible in real time. Patients, insurers, and regulators will insist on convenience and demonstrable results.

둘째, 의료 서비스는 새롭게 구성된 의료팀에 의해 제공될 것입니다. [신성하게 여겨져왔던 일대일 의사-환자 관계]는 환자와 여러 의료 제공자(예: 간호사, 사회복지사, 물리 및 작업 치료사, 케어 매니저, 가정 건강 보조원, 사회적 지원 그룹, 가족, 아직 정의되지 않은 새로운 종류의 의료 제공자)와의 관계로 대체될 것이며, 환자의 거주지와는 무관하게 이루어집니다. 의사나 팀 리더 역할을 하는 다른 사람들은 팀 치료에서 최대한의 가치를 얻는 방법을 배워야 합니다. 이를 위해서는 새로운 진료 방식에 맞춰 팀원들의 진료 범위를 신중하게 재설계해야 할 것입니다. 그 결과 현재의 면허 제약에 대한 도전과 수정이 이루어질 것으로 예상됩니다.
Second, care will be provided by newly constituted health care teams. The sacrosanct one-to-one doctor–patient relationship will be replaced by patient relationships with multiple health providers (e.g., nurses, social workers, physical and occupational therapists, care managers, home health aides, social support groups, family members, and new kinds of health care providers yet to be defined, without regard to where patients live). Physicians or others who serve as team leaders will need to learn how to gain the most value from team care. Such practice will necessitate the careful redesign of the scopes of practice of team members to align with new practice modalities. As a result, we believe that current licensure constraints will be challenged and modified.

셋째, 다양한 출처의 데이터, 접근 가능한 대규모 데이터 세트, 인공 지능을 기반으로 진료가 제공될 것입니다. 방대한 메타 데이터 세트에 대한 기계 기반 분석의 통합이 환자 치료의 표준이 되어 각 환자를 지속적으로 모니터링할 수 있게 될 것입니다. 데이터를 관리하고 방대한 양의 정보에 대한 유효한 평가를 제공하기 위해 새로운 해석 및 기능적 진료 인프라가 시간이 지남에 따라 개발될 것입니다. 의사는 환자와 그 가족, 기계, 점점 더 다양해지는 의료 전문가들의 복잡한 교차점 속에서 의사결정이 이루어지는 환경에서 진료를 하게 될 것입니다.
Third, care will be delivered based on a growing array of data from multiple sources, accessible large data sets, and artificial intelligence. The incorporation of machine-based analysis of huge meta-data sets will become standard for patient care, leading to continuous monitoring of each patient. A new interpretive and functional practice infrastructure will be developed over time both to manage the data and to provide valid assessments of the expanding volume of information. Physicians will practice in an environment where decision making takes place within the complex intersection of patients and their families, machines, and an expanding variety of health professionals.

넷째, 마지막으로 의학과 기계 간의 인터페이스를 능숙하게 관리해야 할 것입니다. 기계는 많은 분야에서 더 많은 것을 알게 되고 전통적으로 의사가 수행하던 더 많은 작업을 수행할 수 있게 될 것입니다. 따라서 돌봄제공자는 기계가 점점 더 인지적, 육체적으로 인간을 능가할 것이라는 사실을 받아들여야 합니다.
Fourth, and finally, the interface between medicine and machines will need to be skillfully managed. Machines will know more in many areas and be able to perform more tasks that traditionally have been performed by physicians. Thus, caregivers will need to come to terms with the fact that devices increasingly will outperform humans, both cognitively and physically.

미래 실무에 필요한 기술
Necessary Skills for Future Practice

인지 심리학의 연구 결과를 더 잘 활용하고, 교육에서 인간과 기계를 더 긴밀하게 연계하며, 치료 전달에 기계를 통합하고 환자를 치료의 적극적인 협력자로 보는 데 초점을 맞춘 시뮬레이션을 강화하는 등 인공지능 시대로 이동함에 따라 새로운 기술과 전문성이 요구될 것입니다.
New skills and expertise will be required as we move to an age of artificial intelligence, including better use of the findings of cognitive psychology, closer alignment of humans and machines in education, and enhanced use of simulations focused on the integration of machines in care delivery and on patients as active collaborators in their care.

인지 심리학은 사실과 개념이 사용될 맥락에서 가르치고, 연습하고, 평가할 때 가장 잘 기억되고 활용된다는 사실을 입증했습니다. 임상 전문 지식에 대한 수십 년간의 연구를 통해 징후와 증상을 평가하고, 진단 검사를 선택 및 해석하고, 데이터를 종합하여 임상 평가 및 치료 계획을 개발하는 의사의 사고가 밝혀졌습니다.8 한 관찰자는 "기술이 변화하고 데이터 안개가 짙어짐에 따라 교육 표준을 새로 고치고, 개선하고, 개선해야 합니다."9 
Cognitive psychology has demonstrated that facts and concepts are best recalled and put into service when they are taught, practiced, and assessed in the context in which they will be used. Several decades of research on clinical expertise have elucidated the thinking of physicians as they evaluate signs and symptoms, select and interpret diagnostic tests, and synthesize data to develop clinical assessments and care plans.8 As noted by one observer, “Educational standards need to be refreshed, refined and improved as technology changes and the data fog thickens.”9

생물의학에 대한 근본적인 이해와 임상 지식 및 실무 전문 지식과의 상호 연결성이 의학교육의 중심이 되어야 한다는 데에는 이견이 없습니다. 그러나 21세기 커리큘럼에는 인공지능이 지원하는 풍부한 데이터 환경에서 의사가 보다 정밀하게 진료할 수 있는 역량을 강화하는 요소도 포함되어야 합니다. 한 가지 예로, 학습자는 의사 결정의 맥락에서 빅 데이터에 노출되어야 합니다. 학습자는 빅데이터의 네 가지 V에 대한 확실한 이해를 키워야 합니다.

• 볼륨(과거의 데이터 양에 비해 오늘날의 데이터 양은 방대함),
• 다양성(데이터는 다양한 유효성을 가진 다양한 소스에서 제공됨),
• 속도(데이터는 매우 빠르게 생성되고 있으며 그 속도가 증가하고 있음),
• 진실성(생성되는 데이터의 품질을 평가해야 함)

There is no disagreement that a fundamental understanding of the biomedical sciences and their interconnectedness with clinical knowledge and expertise in practice should remain central to medical education. However, the 21st-century curriculum also should include components to strengthen physicians’ capacity to practice with more precision in a data-rich environment supported by artificial intelligence. As one example, learners must be exposed to big data in the context of decision making. They must develop a solid understanding of the four Vs of big data:

• volume (the amount of data today is vast compared with the amount in the past);
• variety (data come from many different sources of varying validity);
• velocity (data are being generated very fast, and momentum is increasing); and
• veracity (the quality of the data being generated needs to be assessed).

또한 학습자는 인공 지능 애플리케이션을 통해 의료 서비스 제공에서 데이터가 어떻게 집계, 분석되고 궁극적으로 개인화되는지에 대한 기본적인 이해를 개발해야 합니다. 또한 의사 결정 지원 소프트웨어, 로봇 또는 보다 정교한 소셜 미디어 애플리케이션에 구현된 다양한 애플리케이션을 관리하는 방법에 대해 폭넓게 생각할 수 있어야 합니다. 양과 벨트리10는 "가장 중요한 과제는 의료 데이터를 정밀 의학, 예방 의학, 예측 모델링을 위한 부가 가치로 변환하는 방법입니다."라고 지적했습니다. 
Learners also will need to develop a basic understanding of how data are being aggregated, analyzed, and ultimately personalized in health care delivery through artificial intelligence applications. They will need to be able to think broadly about how to manage the variety of applications, whether embodied in decision support software, robots, or more sophisticated social media applications. As Yang and Veltri10 noted, “The most critical challenge is how we can transform the health care data into additional values for precision medicine, preventive medicine, and predictive modeling.”

결론
Conclusion

의대생들이 인공지능 애플리케이션으로 변화된 의료 환경에서 성공적으로 실습할 수 있도록 가르치는 방법은 오늘날 커리큘럼 개혁의 중심이 되어야 합니다. 이를 위해서는 인증 기관의 전폭적인 지원이 필요합니다.

• 혁신과 실험에 기꺼이 개방적이고, 
• 학생들의 미래 진료와 무관한 사실 기반 암기와 임상 실습에 중점을 두는 기존 모델을 훨씬 뛰어넘을 수 있도록

미래의 의대 졸업생들이 면허를 취득하고 가치 기반 재정 시스템에 적응하려면 새로운 방식의 평생 교육에 참여해야 합니다. 이들은 다음을 강화해야 할 것입니다.

• 진료 연속체 전반에 걸쳐 의료 전문가의 역량에 대한 확실한 이해를 통합
• 전문 진료에서 팀워크를 강화
• 정보 플랫폼 및 인텔리전스 도구에 대한 편안한 지식을 보유
• 고객 서비스 기술을 강화
• 성과와 결과를 개선하기 위해 정보 및 인텔리전스의 효과적인 사용

이러한 전문적 특성의 토대는 학부 의학교육 커리큘럼에 포함되어야 합니다.
How to teach medical students to practice successfully in a health care environment transformed by artificial intelligence applications should be a central focus of curricular reform today. It requires the whole-hearted support of accreditors who are

• willing to be more open to innovation and experimentation and
• able to move far beyond the old model with its emphasis on fact-based memorization and clinical clerkships that are often unrelated to students’ future practice.

Future medical school graduates will need to participate in new modalities of lifelong education if they are to perform at the top of their license and adapt to a value-based financing system. They will need to

• incorporate a solid understanding of the capabilities of health professionals across the care continuum,
• enhance teamwork in their professional practice,
• possess a comfortable knowledge of information platforms and intelligence tools,
• strengthen their customer service skills, and
• reinforce the effective use of information and intelligence to improve performance and outcomes.

The foundation for these professional attributes must be embedded in undergraduate medical education curricula.

또한 커리큘럼 전반에 걸쳐 두 가지 추가 기술(새로운 기술, 기존 기술)을 강조하고 전달해야 합니다. 

• 첫 번째는 의사가 데이터 플랫폼에서 생성된 확률의 의미를 인간 특유의 복잡성에 직면한 환자에게 전달할 수 있는 능력을 향상시키는 통계적 전문 지식을 습득하는 것입니다.
• 두 번째는 진정으로 자비로운 의료인이 되기 위한 지속적인 교육과 평가이며, 이는 의학이 점점 더 첨단화되는 상황에서 간과해서는 안 되는 부분입니다.

Two additional skills, one new, one old, also must be emphasized and carried throughout the curriculum.

• The first is the mastering of statistical expertise that enhances the ability of the physician to communicate the meaning of the probabilities generated by data platforms to patients in the face of their uniquely human complexity.
• The second involves constant training and evaluation toward being a truly compassionate provider, something that must not be overlooked as medicine becomes increasingly high tech.

즉, 의학교육은 기초적인 생의학 및 임상 과학을 넘어 새로운 진단 및 치료 트렌드에 대한 최신 정보를 제공해야 합니다. 다양한 의료 전문가들 간의 전문적 노력의 조직화, 기계 학습 및 로봇과 같은 정보 및 인텔리전스 도구의 사용, 성과 및 결과 개선에 대한 끊임없는 집중, 환자와의 자비로운 소통의 숙달을 보장하는 체계적인 커리큘럼으로 발전해야 합니다.
In other words, medical education will need to move beyond the foundational biomedical and clinical sciences and updates on emerging diagnostic and therapeutic trends. It will need to evolve to include systematic curricular attention to the organization of professional effort among a variety of health professionals, the use of information and intelligence tools such as machine learning and robots, a relentless focus on improving performance and outcomes, and ensuring the mastery of compassionate communication with patients.

사회적 책무성 프레임워크와 그것이 의학교육과 프로그램 평가에 갖는 함의: 내러티브 리뷰(Acad Med, 2020)
Social Accountability Frameworks and Their Implications for Medical Education and Program Evaluation: A Narrative Review 
Cassandra Barber, MA, Cees van der Vleuten, PhD, Jimmie Leppink, PhD, and Saad Chahine, PhD

의과대학이 봉사하고자 하는 인구에 대한 사회적 책무성을 다해야 한다는 국제적인 요구가 계속 제기되어 왔습니다. 사회적 책무성은 많은 교육기관이 추구하는 이상이지만, 이를 측정하는 것은 전 세계적인 과제로 남아 있습니다. 투명성과 책임성에 대한 사회적 요구가 증가함에 따라 의과대학은 사회적 책무성에 대한 더 강력한 증거를 제시해야 한다는 압박에 직면해 있습니다.1,2 
There have been repeated international calls for medical schools to be socially accountable to the populations they intend to serve. While social accountability is an ideal that many institutions strive toward, measuring it remains a global challenge. With increasing societal demands for greater transparency and accountability, medical schools face growing pressures to produce stronger evidence of their social accountability.1,2

1995년 세계보건기구(WHO)는 사회적 책무성을 다음과 같이 정의했습니다: 
In 1995, the World Health Organization (WHO) defined social accountability as:

[의과대학은 교육, 연구 및 봉사 활동을 그들이 봉사해야 하는 지역사회, 지역 및 국가의 우선적인 건강 문제를 해결하는 방향으로 이끌어야 할 의무가 있습니다. 우선적 건강 요구는 정부, 의료 기관, 의료 전문가 및 대중이 공동으로 파악해야 합니다.3 
[T]he obligation of medical schools to direct their education, research and service activities towards addressing the priority health concerns of the community, region, and/or the nation they have a mandate to serve. The priority health needs are to be identified jointly by governments, healthcare organizations, health professionals and the public.3

그 이후로 사회적 책무성에 관한 문헌이 확대되고 이니셔티브의 수가 증가했습니다.4,5 많은 의과대학이 사명 선언문, 프로그램 목표 및 전략 계획에 사회적 책무성 정책을 포함시켰으며 일부 조직은 공식 인증 절차에 포함시켰습니다.5 그러나 증가하는 관심에도 불구하고 사회적 책무성이 측정 가능한 속성으로 운영되는 방법은 여전히 불분명하여 사회적 책무성을 객관적으로 평가하기 어렵습니다.6 
Since then, the literature surrounding social accountability has expanded and the number of initiatives has multiplied.4,5 Many medical schools have embedded social accountability policies in their mission statements, program objectives, and strategic plans, and some organizations have included them in formal accreditation processes.5 Yet despite the growing interest, how social accountability is operationalized into measurable attributes remains elusive, making social accountability difficult to evaluate objectively.6

의과대학의 사회적 책무성 평가를 지원하기 위해 다양한 정책과 프레임워크가 마련되었지만, 사회적 책무성 원칙, 지표 및 매개변수에 대한 설명은 주로 개념적인 수준에 머물러 있습니다. 위의 WHO의 사회적 책무성 정의는 의학교육의 세 가지 영역(교육, 연구, 봉사 활동)을 포괄하며, 이 검토에서는 교육 영역에 대해 다룹니다. 이 검토의 목적은 프로그램 평가 모델을 조직적 프레임워크로 사용하여 대규모 사회적 책무성 프레임워크 전반에서 공통 주제와 지표를 식별하고 문서화하는 것입니다. 이는 의학교육의 사회적 책무성을 평가하는 데 필요한 초기 운영 구조의 개발을 촉진하기 위한 것입니다.  
Although various policies and frameworks have been established to assist medical schools in the evaluation of social accountability, their descriptions of socially accountable principles, indicators, and parameters remain predominately conceptual in nature. The WHO’s social accountability definition, above, encompasses the 3 domains of medical education (education, research, and service activities), and this review addresses the educational domain. The purpose of this review is to identify and document common themes and indicators across large-scale social accountability frameworks, using a program evaluation model as an organizational framework. It is intended to facilitate the development of initial operational constructs needed to evaluate social accountability in medical education.

배경
Background

설명하다(account)라는 동사에서 파생된 책무성은 가장 단순한 형태의 답변성, 즉 자신의 행동에 대해 설명하고 책임을 져야 하는 의무를 의미합니다.7,8 교육에서 책무성은 기관의 효과성(즉, 기관이 목표를 얼마나 잘 달성했는지)을 평가하는 시스템으로 기능하여 기관이 결과에 대한 책임을 지고 교육 개선을 촉진합니다.9-12 이 시스템은 교육 기관이 자신의 행동에 대해 사회에 답변해야 하는 책임감, 투명성 및 공공 신뢰를 의미합니다.13,14 다양한 형태의 책임성은 존재하지만 모두 다음의 근본적인 질문을 다루고 있습니다:

• 누가, 무엇에 대해, 누구에게, 어떤 수단을 통해 책임을 져야 하는가?7,10,15

Derived from the verb account, accountability in its simplest form means answerability, the obligation to provide an account and be held responsible for one’s actions.7,8 In education, accountability functions as a system to evaluate institutional effectiveness (i.e., how well institutions meet their goals), holding institutions responsible for results and promoting educational improvement.9–12 This system implies a sense of responsibility, transparency, and public trust, whereby educational institutions are obligated to answer to society for their actions.13,14 While many forms of accountability exist, they all address the following fundamental questions:

• Who is held to account, for what, to whom, and through what means?7,10,15

모든 의과대학은 이러한 의무를 인정하거나 해결하기로 선택했는지 여부에 관계없이 대중에 대해 책임을 집니다.3 보건의료 전문직 교육 프로그램과 미래의 보건의료 인력을 준비하는 모든 교육기관은 다음에 대해 책임을 집니다. 

• 의료계,
• 대중(환자, 가족, 지역사회, 사회),
• 교육 결과물(졸업생, 봉사 활동, 연구 활동),
• 미래의 보건의료 수요

책임의 한 형태인 사회적 책무성은 의과대학이 지역사회의 변화하는 공공 의료 수요에 대응할 준비가 된 유능한 졸업생을 배출해야 한다는 점에서 암묵적, 명시적, 예상되는 것입니다.16-20 
All medical schools are accountable to the public, regardless of whether they choose to acknowledge or address this obligation.3 Health professions education programs and any educational institutions responsible for preparing the future health care workforce are accountable to

• the medical profession;
• the public (patients, families, communities, and society);
• their educational products (graduates, service activities, and research activities); and
• future health care needs.

As a form of accountability, social accountability is implicit, explicit, and anticipated, in that medical schools must produce competent graduates prepared to respond to the changing public health care needs within their local communities.16–20

의료계는 사회로부터 일정한 책임과 특권을 부여받았습니다. 의과대학은 법률, 규제 및 인가를 통해 사회의 요구를 충족할 준비가 된 유능한 의사를 배출하도록 위임받았습니다.21,22 이러한 사회적 역할은 의사와 사회 간의 본질적인 사회적 계약을 의미하는 큰 책임을 수반합니다.23 이러한 사회적 계약은 특히 의학교육이 정부 자금으로 지원되는 국가에서 더욱 강화됩니다. 그 결과, 의과대학은 긍정적인 사회적 환원에 대한 증거를 제공해야 한다는 사회적 압력에 직면해 있습니다.3,16 사회적 책무성은 의학과 사회 사이에 존재하는 전방위적인 사회적 계약을 나타냅니다.24-31 
The medical profession has been granted certain responsibilities and privileges by society. Through legislation, regulation, and accreditation, medical schools are entrusted to produce competent physicians who are prepared to meet the needs of society.21,22 This social role carries great responsibilities, signifying the intrinsic social contract between physicians and society.23 This social contract is specifically amplified in countries where medical education is government funded. As a result, medical schools face increasing societal pressures to provide evidence of a positive social return.3,16 Social accountability represents an omnipresent social contract that exists between medicine and society.24–31

일반적으로 사회적 책무성이란 기업이 자신의 행동, 행위 및 성과에 대해 봉사하고자 하는 사회에 대한 헌신을 의미합니다.32 WHO의 사회적 책무성에 대한 정의는 국제적으로 가장 널리 받아들여지고 있습니다. 2010년에 의과대학의 사회적 책무성에 대한 글로벌 컨센서스는 이 정의를 재확인하면서 사회적 책무성이 측정 가능한 활동임을 강조했습니다: 
Broadly, social accountability implies an entity’s commitment to the society it is intended to serve for its actions, conduct, and performance.32 The WHO’s definition of social accountability remains the most widely accepted internationally. In 2010, the Global Consensus for Social Accountability of Medical Schools reaffirmed this definition, emphasizing that social accountability is a measurable activity:

주요 이해관계자, 정책 입안자, 의료기관, 의료보험 제공자, 의료 전문가 및 시민사회와 협력하면서 사회의 현재 및 미래 건강 요구와 도전에 대응하기 위한 행동입니다.19 
[A]n action to respond to current and future health needs and challenges in society while working collaboratively with key stakeholders; policy-makers; healthcare organizations; health-insurance providers, health professionals and civil society.19

광범위한 책임성 문헌에서 책임성이라는 용어는 종종 개념적 우산13,33,34 으로 불리며 신뢰, 신뢰성 또는 투명성의 이미지를 묘사하기 위해 책임성, 답변 가능성 또는 효과성과 상호 교환적으로 사용됩니다. 그러나 의학교육 문헌에서 책임성, 책임감, 응답성이라는 용어는 동일하지 않습니다. 이들 간의 차이점은 Boelen과 Woollard의 사회적 의무 척도에 명확하게 정의되어 있습니다.32 이 분류법은 사회적 책무성을 달성하기 위한 선형적 진행을 나타냅니다:

• 책임성이란 "사회의 요구에 부응해야 할 의무를 인식하는 상태"를 의미합니다; 
  
• 반응성은 "사회의 요구에 반응하는 행동 과정"을 의미합니다. 
  
• 책무성은 프로그램이 공중 보건에 긍정적인 영향을 미치기 위해 주요 이해관계자들과 협력하면서 사회의 우선적인 보건의료 요구를 선제적으로 충족한다는 증거를 제공하는 "측정 가능한 활동"을 의미합니다.32  

Within the broader accountability literature, the term accountability is often referred to as a conceptual umbrella13,33,34 and used interchangeably with responsibility, answerability, or effectiveness to portray an image of trust, trustworthiness, or transparency. However, in the medical education literature, the terms accountable, responsible, and responsive are not equivalent. Differences between them are clearly defined within Boelen and Woollard’s social obligation scale.32 Their taxonomy represents a linear progression toward achieving social accountability: 

• responsibility refers to a “state of awareness of duties to respond to society’s needs”; 
• responsiveness refers to “a course of action addressing society’s needs”; and 
• accountability represents a “measurable activity” to provide evidence that programs proactively meet the priority health care needs of society while working alongside key stakeholders to positively impact public health.32 

방법
Method

프로그램 평가 모델은 사회 정책, 프로그램 및 개입에 대한 포괄적인 평가를 제공하기 위해 여러 분야에서 널리 사용됩니다.35-39 우리는 프로그램 평가 모델을 조직적 프레임워크와 체계화된 프로세스로 사용하여 대규모 사회적 책무성 프레임워크와 저널 논문 및 의학교육 문헌의 기타 문서를 검토하는 내러티브 검토40를 수행했습니다. 그런 다음 질적 접근법을 사용하여 핵심 개념을 종합했습니다.  
Program evaluation models are widely used in multiple fields to provide comprehensive evaluations of social policies, programs, and interventions.35–39 We conducted a narrative review40 using a program evaluation model as an organizational framework and a systematized process to review large-scale social accountability frameworks as well as journal articles and other documents from the medical education literature. We then synthesized key concepts using a qualitative approach.

조직 프레임워크
Organizational framework

우리는 사회적 책무성의 복잡한 요구, 지표, 결과를 체계적으로 파악하기 위한 평가 도구로 스터플빔의 맥락-입력-과정-산출물(CIPP) 모델을 선택했습니다.35 교육의 책무성을 높이기 위해 1960년대에 처음 개념화된 이 프로그램 평가 모델은 국제적으로 사용되는 책무성 모델이며 의학 교육에서 널리 수용되고 있습니다.35-37 그림 1에 표시된 대로 CIPP 모델은 프로그램 개선 및 책무성을 위한 방법으로 평가를 사용합니다. 이 모델은 상호 관련된 4개의 구성요소로 구성되어 있으며 평가 모델 전체에서 사용되는 지속적인 질 개선 피드백 루프를 통합합니다.35,36,38 
We selected Stufflebeam’s context–input–process–product (CIPP) model as the assessment tool to systematically identify social accountability complex needs, indicators, and outcomes.35 First conceptualized in the 1960s to provide greater accountability in education, this program evaluation model is an internationally used accountability model and widely accepted in medical education.35–37 As depicted in Figure 1, the CIPP model uses evaluation as a method for program improvement and accountability. It consists of 4 interrelated components and incorporates continuous quality improvement feedback loops to be used throughout the evaluation model.35,36,38

CIPP 모델에서35-37 

• 맥락은 배경을 의미하며, 교육 기관의 요구, 목표 및 기회를 파악하는 데 사용되는 요구 평가이다. 
• 투입은 교육기관이 효과적으로 기능하는 데 필요한 물적 및 인적 자원을 의미합니다. 투입은 프로그램 목표와 목적을 달성하는 데 필요한 적절한 행동 방침을 결정하는 데 사용됩니다. 
• 프로세스는 프로그램 실행을 가이드하는 데 사용됩니다. 
• 산출은 학생 학습의 질과 개인 및 사회에 대한 유용성을 나타냅니다. 산출은 결과를 측정하는 데 사용됩니다. 이후 CIPP 모델에서는 프로그램의 영향력, 효과성, 지속가능성, 전달성을 평가하기 위해 산출 구성요소를 4개의 하위 구성요소로 나누었습니다.36,38

CIPP 모델은 역동적이며 교육을 생산 기능으로 간주하여 교육 투입물이 교육 산출물로 전환되는 방식으로 접근합니다. 각 구성 요소는 독립적으로 평가할 수 있지만, 어떤 지표도 프로그램 성과를 절대적으로 나타내는 것은 아닙니다.36,38
In the CIPP model,35–37

• Context refers to background—a needs assessment used to help identify needs, objectives, and/or opportunities of an educational institution. 
• Inputs refer to material and human resources needed for effective functioning of an educational institution. Inputs are used to determine the appropriate course of action(s) required to achieve program goals and objectives. 
• Processes are used to guide the implementation of a program. 
• Products refer to the quality of student learning and its usefulness for the individual and for society. Products are used to measure outcomes. In later iterations of the CIPP model, the product component was divided into 4 subcomponents to assess a program’s impact, effectiveness, sustainability, and transportability.36,38 

The CIPP model is dynamic and views education as a production function, whereby educational inputs are transformed to educational outputs. While each component can be evaluated independently, no indicator independently represents an absolute measure of program performance.36,38

선택 및 검색 기준
Selection and search criteria

반복적인 프로세스를 사용하여 5개의 전자 서지 데이터베이스 및 플랫폼(PubMed, Embase, ERIC, Web of Science, Google Scholar)과 광범위한 월드 와이드 웹(Google 사용)에서 의학교육에 적용 가능한 사회적 책무성 프레임워크와 동료 평가 저널 논문 및 문서를 검색했습니다. 이러한 검색은 영어 문서로 제한되었습니다. 검색은 2018년 10월에 처음 수행된 후 2019년 3월 31일에 최신 문서를 포함하기 위해 반복되었습니다. 검색 전략에 사용된 키워드에는 사회적 책무성 또는 책임, 사회적 책무성 또는 책임, 사회 정책 등이 포함되었습니다. 이러한 단어는 의학교육, 의과대학, 의료 수련 프로그램, 보건 전문직 교육 주제 제목 용어와 함께 검색되었습니다. 데이터베이스 검색 전략 샘플은 부록 디지털 부록 1에 제공됩니다.  
Using an iterative process, we searched 5 electronic bibliographic databases and platforms (PubMed, Embase, ERIC, Web of Science, and Google Scholar) as well as the broader World Wide Web (using Google) for social accountability frameworks and peer-reviewed journal articles and documents applicable to medical education. These searches were limited to English-language documents. The searches were first conducted in October 2018 and then repeated on March 31, 2019, to include any more recent documents. Keywords used in the search strategies included social accountability OR responsibility, socially accountable OR responsible, and social policies. These words were searched in combination with medical education, medical schools, medical training programs, and health professions education subject heading terms. A sample database search strategy is provided in Supplemental Digital Appendix 1 at https://links.lww.com/ACADMED/B24.

포함 및 제외 기준
Inclusion and exclusion criteria

저희는 의과대학의 사회적 책무성에 초점을 맞추었습니다. 1990년(사회적 책무성이라는 용어가 의학교육 문헌에 명시적으로 등장한 시기)부터 2019년 3월까지 출판된 주요 영어 정책 프레임워크와 동료 검토 문서가 포함 대상에 포함되었습니다. 사회적 책무성 프레임워크에 대해 논의하지 않은 문서는 제외되었습니다. 검색에서 확인된 모든 문서는 연구팀의 포함 여부 검토 과정을 거쳤습니다. 저자 중 두 명(C.B., S.C.)이 검색에서 확인된 모든 문서를 선별했습니다. 전체 연구팀은 수시로 만나 문서를 검토하고 자격 요건에 관한 합의를 도출했습니다. 의과대학이 사회적 책무를 다하기 위해 노력할 수 있는 기본 가치, 원칙 및/또는 매개변수를 나타내고 사회적 책무를 개념화하기 위해 후속 논문에서 사용된 주요 출처의 사회적 책무 프레임워크가 검토에 포함되었습니다. 하위 프레임워크 및/또는 프로그램 또는 기관별 문서는 이전에 확립된 프레임워크를 기반으로 구축되어 일반화 가능성이 부족할 수 있으므로 제외되었습니다. 
Our focus was social accountability in medical schools. Key English-language policy frameworks and peer-reviewed documents published from 1990 (when the term social accountability explicitly emerged within the medical education literature) through March 2019 were eligible for inclusion. Documents that did not discuss social accountability frameworks were excluded. All documents identified in the searches underwent an inclusion review process by the research team. Two of the authors (C.B. and S.C.) screened all documents identified in the searches. The full research team met frequently to review the documents and come to consensus regarding eligibility requirements. Primary source social accountability frameworks which represented the foundational values, principles, and/or parameters of the attributes medical schools can strive toward to fulfill their social mandate and which were used in subsequent papers to conceptualize social accountability were included in the review. Subframeworks and/or program- or institution-specific documents were excluded as these built upon previously established frameworks and could lack generalizability.

분석
Analysis

주제별 종합41-44은 포함된 사회적 책무성 프레임워크 전반에 걸쳐 공통 요소와 고유 요소를 설명하는 데 사용되었습니다. 주제 종합은 귀납적 접근법을 사용하여 텍스트를 체계적으로 코딩하여 주제를 생성하는 것입니다.43,44 3단계 분석 프로세스는

• 텍스트의 줄별 코딩으로 시작하여,
• CIPP 모델의 4가지 차원을 조직적 프레임워크로 사용하여 특성화한 설명적 주제를 개발한 다음
• 분석적 주제를 생성하는 것으로 이어집니다.

저자 중 두 명(C.B. 및 S.C.)이 포함된 문서를 독립적으로 코딩했습니다. 결과물은 두 명의 코더가 검토하고 코딩의 정확성과 포괄성을 보장하기 위해 합의에 도달할 때까지 연구팀 내에서 논의했습니다. 
Thematic synthesis41–44 was used to describe common and unique elements across the included social accountability frameworks. Thematic synthesis involves the systematic coding of text using an inductive approach to generate themes.43,44 The 3-stage analytical process starts with

• line-by-line coding of text;
• followed by the development of descriptive themes, which we characterized using the 4 dimensions of the CIPP model as an organizational framework; and
• then the generation of analytical themes.

Two of the authors (C.B. and S.C.) coded the included documents independently. Resulting themes were reviewed by the 2 coders and discussed within the research team until consensus was reached to ensure coding accuracy and inclusivity.

결과
Results

33개의 초기 샘플 문서3,16,18-20,23,44-70에서 4개의 주요 대규모 사회적 책무성 정책 프레임워크3,16,18,19를 선정하여 검토에 포함시켰습니다(선정된 프레임워크의 개요는 표 1 참조). 이 4개의 주요 출처 문서는 의학교육에서 사회적 책무성의 기본 가치, 원칙 또는 매개변수를 나타냅니다. 또한 이 문서들은 모두 사회적 책무성을 개념화하기 위한 후속 논문에서 많이 인용되고 사용되었습니다. 또한 건강 형평성을 위한 교육 네트워크 평가 프레임워크47 및 다양한 기관별 교육, 연구, 서비스 활동의 정보로도 사용되었습니다. 
From the initial sample of 33 documents,3,16,18–20,23,44–70 we selected 4 key large-scale social accountability policy frameworks3,16,18,19 for inclusion in the review (see Table 1 for an overview of the selected frameworks). These 4 primary source documents represent the foundational values, principles, and/or parameters of social accountability in medical education. Additionally, these documents have all been highly cited and used in subsequent papers to conceptualize social accountability. They were also used to inform the Training for Health Equity Network evaluation framework47 as well as various institution-specific education, research, and service activities.

이러한 프레임워크에는 지역, 국가 및 국제 수준에서 사회적 책무성에 대한 정책, 정의, 적용 및 평가가 포함됩니다.71 이러한 프레임워크는 조금씩 다르지만 모두 [사회적 책무성을 입증하는 데 사용할 수 있는 특성]을 설명합니다. 공통점으로는

• 지역 공중보건 수요에 대응하고,
• 주요 이해관계자와 협력하여 기존 및 향후 사회적 공중보건 수요를 파악하고,
• 주변 지역사회에 봉사하고,
• 의사 부족 문제를 해결하고,
• 지역 인구통계와 지리를 반영하여 입학 과정 내 다양성을 높이고,
• 유능한 의료 전문가를 배출하고,
• 교육과정에 우선적 보건 수요를 반영하는 것 등이 있습니다.3,16,18,19 

These frameworks include policy, definition, application, and evaluation of social accountability at the local, national, and international levels.71 Although these frameworks differ slightly, they all describe characteristics that can be used toward demonstrating social accountability. Commonalities include

• responding to local public health needs;
• working alongside key stakeholders in identifying existing and forthcoming societal public health needs;
• servicing surrounding communities;
• addressing physician shortages;
• increasing diversity within the admissions process to reflect local demographics and geography;
• producing competent medical professionals; and
• ensuring the curriculum reflects priority health needs.3,16,18,19

주제별 종합에서는 공유 가치를 포함한 6가지 주제와 CIPP 평가 모델과 관련된 5가지 지표를 확인했습니다.

• 맥락(프로그램 목표),
• 투입물(활동),
• 과정(활동),
• 결과물(기관의 산출물/결과),
• 사회 보건에 미치는 영향

영향 평가는 CIPP 모델에서 제품 평가의 하위 구성 요소이지만, 의학교육의 사회적 책무성이 실무에 미치는 영향과 공중 보건 개선에 중점을 두는 점을 고려하여 분석에서 영향 평가를 별도의 주제로 다루었습니다. 또한 아래 설명과 그림 2에 표시된 것처럼 각 테마 내에서 하위 주제를 식별했습니다. 주제와 하위 주제를 설명하기 위한 인용문은 표 2에 나와 있습니다. 
Our thematic synthesis identified 6 themes, including shared values and 5 indicators as they relate to the CIPP evaluation model:

• context (program objectives),
• inputs (actions),
• processes (activities),
• products (institutional outputs/outcomes), and
• impacts on societal health.

While impact evaluation is a subcomponent of product evaluation in the CIPP model, given the emphasis of social accountability in medical education on impact in practice and improvement in public health, we treated impacts as a separate theme in our analysis. Additionally, we identified subthemes within each theme, as described below and depicted in Figure 2. A selection of quotes to illustrate the themes and subthemes is provided in Table 2.

공유 가치
Shared values

4개의 프레임워크는 모두 4가지 핵심 사회적 가치(관련성, 품질, 효과성, 형평성)를 강조합니다.3,16,18,19 이러한 광범위한 가치는 CIPP 모델의 모든 구성 요소에 걸쳐 있습니다. 일반적으로 핵심 사회적 가치는 맥락(프로그램 목표), 투입물(행동), 프로세스(활동), 결과물(기관의 산출물/결과)에 정보를 제공하기 위한 사회적 책무성의 개념적 이상과 잘 의도된 속성을 나타냅니다. 이는 행동 지향적이며 사회적 요구의 파악에 기반을 두고 있습니다. 이는 교육, 연구 및 서비스 전반에 걸쳐 의학교육 프로그램 활동을 안내하기 위한 것입니다.18 
All 4 frameworks emphasized the 4 core social values (relevance, quality, effectiveness, and equity).3,16,18,19 These far-reaching values extend across all components of the CIPP model. Generally, the core social values refer to the conceptual ideals and well-intended attributes of social accountability intended to inform context (program objectives), inputs (actions), processes (activities), and products (institutional outputs/outcomes). They are action oriented and grounded in the identification of societal needs. They are intended to guide medical education program activities in education, research, and service across the training continuum.18

핵심 사회적 가치는 의과대학이 사회적 책무성에 대한 진전을 평가하는 데 도움을 주기 위해 1995년 WHO3 에 의해 처음 개념화되었으며, 이후 후속 프레임워크에서 적용되었습니다.16,18-20,23,44-70

• 관련성은 의학교육 프로그램이 교육, 연구 및 봉사 활동에서 체계적인 접근법을 사용하여 인구, 지역사회 또는 국가의 우선적인 건강 요구 또는 우려를 해결한다는 것을 의미합니다.3,16,18,19
• 질은 근거에 기반하고 포괄적이며 문화적으로 민감한 최상의 진료를 개인에게 제공하는 것을 말합니다.3,16,18,19
• 효과성은 보건의료 자원(비용)을 활용하고, 자원을 최대한 활용하면서 공중보건에 가장 큰 영향을 미치는 것을 말합니다.3,16,18,19
• 형평성은 보편적 접근성을 의미하며 모든 개인이 양질의 보건의료에 접근할 수 있도록 노력하는 것을 말합니다.3,16,18,19 

The core social values were originally conceptualized in 1995 by the WHO3 as a means to help medical schools evaluate their progress in addressing social accountability and have since been adapted by subsequent frameworks.16,18–20,23,44–70

• Relevance implies that a medical education program addresses priority health needs or concerns of the population, community, or nation using a systematic approach in education, research, and service activities.3,16,18,19
• Quality refers to providing individuals with the best possible care that is evidence based, comprehensive, and culturally sensitive.3,16,18,19
• Effectiveness refers to the utilization of health care resources (costs) and ensuring that the greatest impact on public health is achieved while making the best use of resources.3,16,18,19
• Equity refers to universal access and striving to ensure that all individuals have access to quality health care.3,16,18,19

이러한 핵심 사회적 가치들 간의 상호관계는 "지역사회 또는 국가의 필요와 관련이 있고, 비용 효율적이며, 공평한 양질의 진료를 제공하는 의료 시스템을 구축"하겠다는 보편적인 사회적 약속을 나타냅니다.3 교육, 연구, 봉사 및 보건 정책에서 의과대학 활동은 이러한 필요를 반영해야 하며, 인구의 우선적인 건강 요구와 관련되고, 이에 대응하며, 예측해야 합니다.3,16,18,19 
The interrelationship between these core social values represents a universal social commitment to “building a health care system that is relevant to the needs of the community or nation and provides high-quality care that is cost-effective and equitable.”3 Medical school activities in education, research, and service as well as health policies must be reflective of these needs—they must relate to, respond to, and anticipate priority health needs of the population.3,16,18,19

핵심 사회적 가치에 더하여, 포함된 3개의 프레임워크16,18,19 는 전문직업성의 가치와 윤리, 팀워크, 문화적 역량, 리더십, 의사소통, 평생 학습, 근거 기반 실천 등의 역량을 강조했습니다. 캐나다의 맥락에서는 학문적 자유와 임상 자율성의 가치도 강조되었습니다.16 
In addition to the core social values, 3 of the included frameworks16,18,19 emphasized the value of professionalism as well as the following competencies: ethics, teamwork, cultural competence, leadership, communication, lifelong learning, and evidence-based practice. In the Canadian context, the values of academic freedom and clinical autonomy were also highlighted.16

CIPP 모델
CIPP model

맥락.
Context.

맥락은 CIPP 모델의 첫 번째 구성 요소입니다. 프레임워크 전반에 걸쳐 반복적으로 등장하는 하위 주제에는 사명 선언문, 지역사회 파트너십, 보건의료 정책에 대한 적극적인 기여가 포함됩니다. 
Context is the first component in the CIPP model. Recurring subthemes that emerged across the frameworks included mission statements, community partnerships, and active contributions to health care policy.

[기관 또는 프로그램 사명 선언문, 의무, 정책, 목적 및 목표]는 사회적 책무성의 핵심 사회적 가치와 사회적 건강 요구 충족에 대한 명시적 약속을 반영해야 합니다.3,16,18,19 이러한 선언문은 공개적으로 게시하고 일반 대중이 쉽게 접근할 수 있도록 해야 합니다.16 또한 의과대학의 사명 선언문과 교육, 연구, 봉사 활동의 내용과 맥락의 특수성은 해당 기관이 서비스를 제공하는 지역사회 및 국가의 현재 및 예상되는 우선적 건강 요구 또는 관심사에 영감을 받고 이에 부합해야 합니다.3,19 이러한 사명 선언문은 요구 평가의 역할을 하며 기관의 교육, 연구, 봉사 활동이 사회에 대한 사회적 의무와 헌신을 입증하도록 안내하기 위한 것입니다.3 
Institutional or program mission statements, mandates, policies, objectives, and/or goals must reflect the core social values of social accountability and the explicit commitment to meeting societal health needs.3,16,18,19 These statements should be posted publicly and made easily accessible to the general population.16 Additionally, the content and context specificity of a medical school’s mission statement and activities in education, research, and service should be inspired by and aligned with the current and anticipated priority health needs or concerns of the community and/or nation the institution serves.3,19 These mission statements serve as needs assessments and are intended to guide institutions’ education, research, and service activities to demonstrate their social obligation and commitment to society.3

지역 보건 시스템 및 기타 이해관계자들과 효과적인 지역사회 파트너십을 개발하는 것도 중요합니다.3,16,18,19 의과대학은 다른 이해관계자들과 협력하여 우선순위를 설정하고 현재 및 미래의 보건 요구를 파악하면 그 효과를 개선할 가능성이 더 높습니다.18 지역사회는 모든 의과대학의 주요 이해관계자 역할을 합니다.19 따라서 학교는 보건의료 정책, 계획, 재정을 담당하는 지역 이해관계자들과 협력하여 우선순위 건강 요구와 최적의 환자 치료에 필요한 서비스 및 자원을 파악하는 것이 필수적입니다.3,16,18,19 관련 보건의료 기관, 전문가 그룹, 정부, 소비자, 시민사회와의 파트너십은 보건 계획, 정책 개발, 보건의료 전달 및 평가에 대한 공동 작업을 촉진하고 장려할 수 있습니다.16 
Developing effective community partnerships with local health systems as well as other stakeholders is also important.3,16,18,19 Medical schools are more likely to improve their effectiveness if they work collaboratively with other stakeholders to establish priorities and identify current and future health needs.18 The local community serves as the primary stakeholder of all medical schools.19 Therefore, it is imperative that schools work in partnership with local stakeholders responsible for health care policy, planning, and finance to identify priority health needs as well as services and resources required for optimal patient care.3,16,18,19 Partnerships with affiliated health care organizations, professional groups, governments, consumers, and civil society could facilitate and encourage shared work on health planning, policy development, health care delivery, and evaluation.16

의료 교육 프로그램도 보건의료 시스템을 형성하는 데 중요한 역할을 합니다. 지역사회 파트너십은 의과대학이 보건의료 정책에 적극적으로 기여할 수 있는 수단이 될 것입니다.3,16,18,19 의과대학은 변화의 촉매제 역할을 하고 보건의료 계획 및 전달, 정책 개발의 지속 가능성과 평가에 적극적으로 기여해야 합니다.16 
Medical education programs also play an important role in shaping the health care system. Community partnerships would serve as a means for medical schools to actively contribute to health care policy.3,16,18,19 Medical schools should act as catalysts of change and actively contribute to the sustainability and evaluation of health care planning and delivery, and policy development.16

입력.
Inputs.

인풋은 목표한 목표를 달성하기 위해 프로그램에서 취하는 조치입니다. 이러한 행동은 기관/프로그램의 의무와 사명 선언문에 의해 동기가 부여되며, 사회적 책무성의 핵심 사회적 가치를 반영합니다. 프레임워크 전반의 하위 주제에는 다음이 포함됩니다. 

• 모집 및 선발(학생, 교수진, 교직원)의 다양성 및 형평성,
• 지역사회 인구 건강 프로필

Inputs are actions taken by programs to meet targeted goals. These actions are motivated by institution/program mandates and mission statements, and they reflect the core social values of social accountability. Subthemes across frameworks included

• diversity and equity in recruitment and selection (students, faculty, and staff) and
• community population health profiles.

두 가지 프레임워크는 학생 모집 및 선발에서 다양성과 형평성의 중요성을 강조했습니다.18,19 핵심 사회적 가치와 사명 선언문에 포함된 사회적 약속을 이행하기 위해 의과대학은 모집 및 선발 정책을 조정하여 지원자의 다양성을 높여 소외된 인구와 취약 계층을 포함해야 합니다.18 학생들은 인종 및 민족, 가시적 소수 또는 원주민 신분, 사회경제적 지위, 성별 및 성적 지향, 종교를 포함한 일반 인구의 인구통계를 반영하고 농촌 및 소외된 지역사회 등 기타 취약 계층의 특성을 반영해야 합니다.19 또한 학교는 사회적 약자 지원자에게 동등한 기회를 보장하기 위해 지원 메커니즘(예: 재정 지원, 상담 서비스)뿐만 아니라 소외 계층을 위한 전략적 파이프라인 또는 할당제를 시행해야 합니다.19 의과대학은 또한 의학, 의료 서비스 전달 및 사회과학 부서의 교수진이 커리큘럼과 프로그램 의사 결정에 대표성을 갖고 참여하도록 해야 합니다.18 마지막으로 의과대학은 WHO 보고서에서 권고한 대로 일반의로서 진료할 가능성이 더 높은 학생을 입학시켜야 합니다.3 
Two frameworks emphasized the importance of diversity and equity in the recruitment and selection of students.18,19 To meet the social commitments embedded within the core social values and mission statements, medical schools must adapt their recruitment and selection policies to increase the diversity of accepted applicants to include individuals from underrepresented populations and disadvantaged groups.18 Students should reflect the demographics of the general population—including race and ethnicity, visible minority or indigenous status, socioeconomic status, gender and sexual orientation, and religious affiliation—and reflect other disadvantaged groups, such as rural and underserved communities.19 Additionally, schools should implement strategic pipelines and/or quotas for underrepresented groups as well as support mechanisms (e.g., financial aid, counseling services) to ensure equal opportunities for socially disadvantaged applicants.19 Medical schools should also ensure that faculty from medicine, health service delivery, and social science divisions are represented and involved in the curriculum and in programmatic decision making.18 Lastly, medical schools should matriculate students who are more likely to practice as generalists, as recommended by the WHO report.3

세 가지 프레임워크의 또 다른 핵심 주제는 의과대학이 대상 지역사회 또는 국가의 서비스 격차뿐만 아니라 인구 요구를 파악해야 한다는 것입니다.3,18,19 학교는 잘 정의된 인구 건강 연구와 포괄적인 지역사회 인구 건강 프로필 개발을 통해 이러한 요구를 파악하기 시작할 수 있습니다.3,18 이러한 프로필에는 지역사회의 사회 인구학적 및 지정학적 구성과 인구 건강 위험, 건강의 사회적 결정 요인, 서비스 접근 장벽이 반영되어야 합니다. 
Another central theme in 3 frameworks was the need for medical schools to identify population needs as well as service gaps of a targeted community and/or nation.3,18,19 Schools can begin to identify these needs through well-defined population health research and the development of a comprehensive community population health profile.3,18 These profiles must reflect the community’s sociodemographic and geopolitical composition as well as population health risks, social determinants of health, and barriers to accessing services.

프로세스.
Processes.

과정에는 교육 활동의 전체 스펙트럼이 포함됩니다.

• 커리큘럼 내용 및 구조,
• 교수법,
• 지역사회 기반 임상 교육 기회 및 지역 인구와 의료 서비스 소외 지역에 대한 학습 노출,
• 학습 평가,
• 지속적인 전문성 개발,
• 평가 시스템 등 

Processes include the entire spectrum of educational activities:

• curricular content and structure;
• teaching methods;
• community-based clinical training opportunities and learning exposures to local populations and underserviced areas;
• learning assessments;
• continuing professional development; and
• evaluation systems.

프레임워크 전반에 걸쳐 반복적으로 등장하는 하위 주제에는 다음이 포함되었습니다. 

• 커리큘럼 활동과
• 지역사회 기반 임상 교육 기회 및 학습 노출

Recurring subthemes that emerged across frameworks included

• curricular activities as well as
• community-based clinical training opportunities and learning exposures.

의과대학은 우선순위 공중보건 요구를 해결하는 방향으로 교과과정 활동을 진행해야 합니다.3,16,18,19 교과과정 내용과 구조는 학생 중심 패러다임으로 접근해야 하며, 건강의 사회적 결정요인, 공중보건 위험, 인구, 지역사회, 국가의 지정학적, 사회인구학적, 역학적 특수성을 포함해야 합니다.3,19 또한 학교의 교과과정 활동은 강력한 지속적인 전문성 개발 프로그램을 통해 결함 학생, 졸업생, 직원에게 평생 학습 기회를 지원해야 합니다.16,18 
Medical schools must direct their curricular activities toward addressing priority public health needs.3,16,18,19 Curricular content and structure should be approached using a student-centered paradigm and must include the social determinants of health; public health risks; and the geopolitical, sociodemographic, and epidemiological specificities of a population, community, and/or nation.3,19 Additionally, schools’ curricular activities should support lifelong learning opportunities for faulty, graduates, and staff through the availability of robust continuing professional development programs.16,18

지역사회 기반 임상 교육 기회와 학습 노출은 인구 접근법을 사용하여 설계되어야 합니다.3,19 의과대학은 일차 진료를 장려하고 일차 진료 실습에 대한 학습 기회와 노출을 제공해야 합니다.3,16,19 또한 학교는 지역사회의 건강 요구와 관련된 종단적 지역사회 기반 학습 경험을 제공해야 합니다.3,19 마지막으로 학교는 농촌 의료 환경에서 학습 기회를 제공하고 불우하고 소외된 그룹에 노출되도록 해야 합니다.3,19 
Community-based clinical training opportunities and learning exposures should be designed using a population approach.3,19 Medical schools should promote primary care and provide learning opportunities and exposure to primary care practices.3,16,19 Additionally, schools should provide longitudinal community-based learning experiences that are relevant to the community’s health needs.3,19 Lastly, schools should provide learning opportunities in rural health care settings as well as exposure to disadvantaged and underserved groups.3,19

제품.
Products.

제품 평가는 프로그램 졸업생들의 유용성을 의미합니다. 프레임워크 전반에 걸쳐 반복적으로 등장하는 하위 주제에는 다음이 포함되었습니다. 

• 의사 자원 계획,
• 품질 보증,
• 프로그램 평가 및 인증

Product evaluation refers to the usability of a program’s graduates. Recurring subthemes that emerged across frameworks included

• physician resource planning,
• quality assurance, and
• program evaluation and accreditation.

4개의 프레임워크 모두 의사 자원 계획의 중요성을 강조했습니다. 의과대학은 학생의 적절한 구성을 결정하고 교육하며, 사회적 요구를 충족하는 데 필요한 졸업생의 분포, 배치 및 유지를 결정하는 데 적극적으로 참여해야 합니다.3,16,18,19 또한 학교는 일차 진료 의사를 위한 지역 취업 기회를 보장해야 합니다.18,19 
All 4 frameworks emphasized the importance of physician resource planning. Medical schools should be actively involved in determining and educating the right composition of students and in determining the distribution, deployment, and retention of graduates necessary to meet social needs.3,16,18,19 Additionally, schools must ensure local employment opportunities for primary care physicians.18,19

또 다른 핵심 주제는 프로그램 평가 및 인증의 중요성이었습니다.3,16,18,19 인증 기준 및 프로세스는 사회적 책무성 원칙을 통합해야 합니다.3,16,18,19 평가 및 인증은 정기적으로 수행되어야 하며,3,19 결과는 공개적으로 이용 가능하고 제도 개선에 사용되어야 합니다.19 또한 평가 및 인증 팀은 정책 입안자, 보건 전문가, 지역사회 구성원을 포함한 이해관계자를 폭넓게 대표할 수 있어야 합니다.3,16,18,19 
Another central theme was the importance of program evaluation and accreditation.3,16,18,19 Accreditation standards and processes should incorporate social accountability principles.3,16,18,19 Evaluation and accreditation must be conducted at regular intervals,3,19 and the results should be made publicly available and used for institutional improvement.19 Additionally, evaluation and accreditation teams should be widely representative of stakeholders, including policymakers, health professionals, and community members.19

마지막으로, 교육, 연구 및 서비스 제공에서 지속적인 품질 보증 프로세스를 수용하는 것의 중요성은 모든 프레임워크에서 강조되었습니다.3,16,18,19 이 프로세스는 투명해야 하며, 교육 개선을 촉진하기 위해 잘 정의된 표준을 사용하여 안내해야 합니다.3,19 또한 졸업생 역량을 정기적으로 평가하고, 잘 정의된 교육 기준을 반영하여 치료의 질을 보장하고, 졸업생이 변화하는 공중 보건 요구를 충족하는 데 필요한 기술을 갖추고 실무에 투입되도록 해야 합니다.3,16,18,19 
Lastly, the importance of embracing a continuous quality assurance process in education, research, and service delivery was emphasized across all frameworks.3,16,18,19 This process should be transparent and guided using well-defined standards to promote educational improvements.3,19 Additionally, graduate competencies must be assessed regularly and reflect well-defined educational standards to ensure quality of care and that graduates enter practice equipped with the skills required to meet changing public health needs.3,16,18,19

영향.
Impacts.

사회적 책무성의 전제는 의학교육 프로그램의 목적과 실천이 사회적 필요를 파악하는 데서 시작하여 그러한 필요를 충족하는 것으로 마무리될 것을 요구합니다.18 영향 평가는 제품 평가의 일부입니다.

• 프레임워크 전반에서 강조되는 공통 주제는 지역사회 건강 결과의 전반적인 개선입니다.3,16,18,19
• 또 다른 공통 주제는 지역사회 건강 위험과 지역사회 질병의 이환율 및 사망률의 감소 및 예방입니다.16,19 

The premise of social accountability requires that the purpose and practices of medical education programs commence in the identification of societal needs and conclude in meeting those needs.18 Impact evaluation is part of product evaluation.

• A common theme highlighted across frameworks was overall improvement in community health outcomes.3,16,18,19 
• Another common theme was reduction and prevention of community health risks and morbidity and mortality of community diseases.16,19

사회적 영향을 효과적으로 평가하기 위해 의과대학은 교육 연속체를 포괄하고 졸업생이 실제로 미치는 영향에 초점을 맞춘 표준을 개발해야 합니다.19 졸업생이 질병 부담을 줄이고 그들이 봉사하는 지역 사회의 건강을 개선하는 정도를 평가하는 지표를 개발해야 합니다.16 의과대학은 활동 결과가 지역 사회 건강에 긍정적인 영향을 미친다는 것을 입증할 수 있어야 합니다.3,16,18,19 졸업생이 지역사회 건강 위험과 지역사회 질병의 이환율 및 사망률을 줄여 공중 보건에 긍정적인 사회적 투자 수익을 얻도록 해야 할 의무가 있습니다.16,19 
To evaluate societal impacts effectively, medical schools must develop standards that span the educational continuum and focus on impacts of graduates in practice.19 They must develop metrics to assess the extent to which their graduates reduce the burden of illness and improve the health of the communities they serve.16 Medical schools must be able to demonstrate that the outcomes of their activities have positive impacts on community health.3,16,18,19 They have an obligation to ensure their graduates have a positive social return on investment to public health by reducing community health risks and the morbidity and mortality of community diseases.16,19

토론
Discussion

이 검토에서는 CIPP 평가 모델을 사용하여 4개의 대규모 사회적 책무성 정책 프레임워크3,16,18,19 에서 주요 주제와 지표를 확인했습니다.35 의학교육 문헌에서 정책 문서 전반에 걸쳐 사회적 책무성 지표를 식별하는 데 CIPP 모델이 사용된 적은 없지만, 이 검토는 의학교육의 사회적 책무성 평가를 위한 초기 운영 구성 개발에서 그 유용성을 입증합니다. 포함된 프레임워크에서 탐구된 주제는 의학교육의 광범위한 사회적 책무성 문헌과 일치합니다. 그러나 CIPP 모델은 책무성 시스템을 강화하기 위한 의학교육 프로그램의 평가 프레임워크를 제공합니다.35-38 또한, 이 검토에서는 책임에 대한 근본적인 질문도 의도치 않게 다루고 있습니다: 누가, 무엇에 대해, 누구에게, 어떤 수단을 통해 책임을 져야 하는가.7,10,15 이러한 질문은 책무성을 이해하는 데 중요하며, 의과대학의 사회적 책무성을 어떻게, 어떤 방식으로 평가할 수 있도록 사회적 책무성 프레임워크를 운영하는 데 도움이 될 수 있습니다. 
This review identified major themes and indicators across 4 large-scale social accountability policy frameworks3,16,18,19 using the CIPP evaluation model.35 The CIPP model has not been used previously in the medical education literature to identify social accountability indicators across policy documents, but this review provides evidence of its utility in the development of initial operational constructs to evaluate social accountability in medical education. The themes explored in the included frameworks are consistent with the broader social accountability literature in medical education. However, the CIPP model provides an evaluation framework for medical education programs to strengthen their accountability systems.35–38 Additionally, this review also inadvertently addresses the fundamental questions of accountability: Who is held to account, for what, to whom, and through what means?7,10,15 These questions are critical to understanding accountability and can be used to help operationalize social accountability frameworks to better evaluate how and in which ways medical schools are socially accountable.

이 검토는 주로 의과대학의 사회적 책무성에 초점을 맞추었지만, 사회적 책무성은 역동적인 과정이라는 점을 인식하는 것이 중요합니다. 이는 시민, 정부, 수련기관, 의료 교육자/공급자 간의 협력 관계를 통해 사회적 건강 요구를 체계적으로 파악하고 우선순위를 정하여 해결하는 과정입니다.3,72 의과대학의 사회적 책무성을 측정하고 체계적으로 평가하려면 개념적, 운영적 복잡성을 포착할 수 있는 강력한 평가 모델을 사용해야 합니다. 인증은 이러한 많은 문제를 해결할 수 있지만, 의과대학이 직장에서 일할 수 있는 유능한 졸업생을 배출하도록 하는 다른 목적도 있습니다. 이 경우 학교는 인증기관에 책임을 집니다. 캐나다와 호주는 인구의 우선적인 건강 문제를 해결하기 위한 의과대학의 노력을 평가하기 위한 수단으로 공식적인 사회적 책무성 기준을 인증 절차에 통합했습니다.19,72,73 이는 긍정적인 발전이지만, 사회적 책무성 결과에 대해 더 폭넓게 생각하고 교육 투입물, 산출물, 영향 간의 의미 있는 관계를 확립해야 합니다.19,73 
While this review focused primarily on social accountability of medical schools, it is important to acknowledge that social accountability is a dynamic process. It represents a collaborative relationship between citizens, government, training institutions, and health care educators/providers to systematically identify, prioritize, and address societal health needs.3,72 The measurement and systematic evaluation of social accountability in medical schools requires the use of a robust evaluation model to capture its conceptual and operational complexities. While accreditation may address many of these issues, it often serves a different purpose—ensuring medical schools produce competent graduates for the workplace. In this instance, schools are accountable to the accreditors. Canada and Australia have incorporated formal social accountability standards into their accreditation processes as a means to evaluate a medical school’s commitment to addressing the priority health concerns of the population.19,72,73 While this is a positive advancement, we need to continue to think about social accountability outcomes more broadly and establish meaningful relationships between educational inputs, outputs, and impacts.19,73

그러나 의과대학이 사회적 필요를 충족시킨다는 가정에 대한 연구가 부족합니다. Boelen에 따르면,72 사회적 책무성을 다하는 의과대학은 1%에 불과한 반면, 사회적 대응을 하는 의과대학은 9%, 사회적 책무성을 다하는 의과대학은 90%에 달한다고 합니다. 투명성 및 책임성 이니셔티브가 공공 서비스 개선을 위한 핵심 전략으로 부상했지만, 이러한 이니셔티브와 공중 보건에 미치는 영향 사이의 관계는 거의 알려지지 않았습니다.74 이 문제는 의학교육에만 국한된 것이 아닙니다.75 졸업생들이 실제로 지역사회에 미치는 사회적 영향을 평가 및 입증하고, 이론과 실무 사이의 연결 고리를 구축해야 할 필요성이 있습니다. 이러한 입증은 사회적 책무성에 대한 선한 의도와 헌신을 공개적으로 보여주는 것이 아니라 개념 증명에 가까워지고 있습니다.75 개별 의과대학이 사회적 책무성을 다하기 위한 진전을 확인하고자 하는 문헌이 증가하고 있습니다(체계적인 검토는 Reeve 외76 참조). 의과대학의 노력의 예로는 입학 절차를 통한 접근성 확대,77-82 건강의 사회적 결정 요인을 반영한 커리큘럼 개혁,83-86 지역사회 기반 임상 교육 기회 및 학습 노출,87-90 학습자의 위치 등이 있습니다.91-97 
There is, however, an understudied assumption that medical schools meet societal needs. According to Boelen,72 only 1% of medical schools are socially accountable, whereas 9% of medical schools are socially responsive and 90% are socially responsible. While transparency and accountability initiatives have emerged as a key strategy for improving public services, the relationship between these initiatives and their impacts on public health remains largely unknown.74 This issue is not specific to medical education.75 There is a need to evaluate and demonstrate the social impacts graduates have in practice on communities and establish a link between theory and practice. This demonstration becomes less about providing public displays of good intentions and commitment to social accountability and more about proof of concept.75 A growing body of literature seeks to affirm the progress of individual medical schools toward becoming socially accountable (see Reeve et al76 for a systematic review). Some examples of medical schools’ efforts include widening access through admissions processes,77–82 curricular reforms reflecting social determinants of health,83–86 community-based clinical training opportunities and learning exposures,87–90 and location of learners.91–97

일부 의학교육 환경에서 사회적 책무성 평가의 진전이 계속 확대되고 있지만,98 사회적 책무성 이니셔티브가 사회 건강에 미치는 영향은 거의 알려지지 않았습니다.99,100 그러나 소수의 경험적 논문에서 환자 건강 결과를 의사 교육 및 성과와 연관시키고 있으며101,102 일부 논평103-105에서는 의학교육 프로그램이 공중 보건 요구에 미치는 영향을 더 잘 이해하기 위해 국가 임상 데이터 세트를 사용하여 졸업생 결과를 환자 영향과 연결해야 한다는 점을 강조하고 있습니다. 
While progress in evaluating social accountability continues to expand in select medical education settings,98 the extent to which social accountability initiatives impact societal health remains largely unknown.99,100 However, a small number of empirical papers associate patient health outcomes with physician training and performance101,102 and some commentaries103–105 emphasize the need to link graduate outcomes with patient impacts using national clinical datasets to better understand the effects medical education programs have on public health needs.

한계점
Limitations

이 검토는 이전 연구를 확장한 것입니다.3,16,18-20,23,44-70 가능한 모든 사회적 책무성 지표의 포괄적인 목록을 제공하지는 않습니다. 여기에 제시된 주제와 지표는 주요 출처의 사회적 책무성 정책 프레임워크에 국한되어 있으며, 품질 평가에 사용되는 지표를 반드시 포함하지는 않습니다. 이 검토에서는 글로벌 건강 격차에 대한 우려가 커지는 등 최근의 글로벌 건강 운동은 다루지 않았습니다. 또한 CIPP 모델은 교육에 대한 하향식 시스템 접근 방식을 가정하여 교육 투입물이 제품으로 전환된다고 가정합니다. 또한 이 검토는 주로 의학교육에 초점을 맞추고 있으며, 사회적 책무성의 다른 상호 연관되고 상호 의존적인 프로그램 활동(예: 연구 및 서비스)은 포함하지 않았습니다. 이러한 관계를 더 자세히 조사하고 의과대학이 지역 보건 요구를 해결하고 이에 대응하는지 여부를 결정하기 위해서는 추가 연구가 필요합니다.  
This review extends earlier work.3,16,18–20,23,44–70 It does not provide a comprehensive list of all possible social accountability indicators. The themes and indicators presented here are limited to primary source social accountability policy frameworks and are not necessarily inclusive of metrics used to assess quality. This review does not address more recent global health movements, for instance, the growing concerns regarding global health disparities. Additionally, the CIPP model assumes a top-down systems approach to education, whereby educational inputs are turned into products. This review is also primarily on medical education, not other interrelated and interdependent program activities of social accountability (i.e., research and service). Further research is needed to examine these relationships in more detail and determine whether medical schools address and respond to local health needs.

결론
Conclusion

이 검토는 확립된 프로그램 평가 모델과 4가지 대규모 사회적 책무성 정책 프레임워크의 증거를 연결하여 의학교육 연속체 전반에 걸쳐 지표를 생성할 수 있도록 합니다. 프로그램 평가 모델은 교육기관이 원하는 목표와 목적을 향해 나아가는 과정을 모니터링하기 위한 체계적이고 쉽게 이해할 수 있는 실용적인 가이드를 제공합니다. 그러나 의과대학이 사회적 의무를 다하려고 노력하더라도 이러한 행동이 공중 보건에 긍정적인 영향을 미칠 것이라는 보장은 없습니다.3 
This review links an established program evaluation model and evidence from 4 large-scale social accountability policy frameworks, which may lead to the creation of indicators across the medical education continuum. Program evaluation models provide a systematic and easily understood practical guide for monitoring the progress of an institution toward desired goals and objectives. However, even when medical schools attempt to fulfill their social obligations, there is no guarantee that these actions will positively impact public health.3

사회적 책무성을 평가하는 일은 복잡합니다.65 의학교육 프로그램의 질을 평가하는 대부분의 이전 문헌은 주로 투입물과 과정에 초점을 맞추었습니다.72 사회적 책무성이 더욱 강조됨에 따라, 우리 커뮤니티는 [교육 투입물과 과정]에서 [산출물과 영향]에 초점을 전환해야 합니다. 다음의 것들 사이에 의미 있는 관계를 설정할 필요가 있습니다.32,74

• 투입물(누가, 어디서, 어떤 교육을 받았는지),
• 산출물(졸업생이 실제 진료 현장에서, 어떤 의료 전문 분야에서, 어떤 일을 하는지),
• 영향(졸업생의 활동이 인구 건강을 어떻게 개선하는지) 

이러한 관계를 설정하기 시작하는 한 가지 방법으로 CIPP 프로그램 평가 모델을 사용할 것을 제안합니다. 
The task of evaluating social accountability is complex.65 Most of the previous literature assessing the quality of medical education programs has focused predominantly on inputs and processes.72 As more emphasis is placed on social accountability, it is imperative that we as a community shift our focus from educational inputs and processes to products and impacts. There is a need to establish meaningful relationships between program

• inputs (who is trained and from where),
• products (what graduates do in practice, in what medical specialty, and where), and
• impacts (how graduates’ activities improve population health).32,74 

We suggest a way to begin to establish these links is through the use of the CIPP program evaluation model.

Social Accountability Frameworks and Their Implications for Medical Education and Program Evaluation: A Narrative Review

PMID: 32910000

DOI: 10.1097/ACM.0000000000003731

Free article

도전적 시기의 적응적 리더십: 보건의료전문직 교육을 위한 효과적 전략: AMEE Guide No. 148 (Med Teach, 2022)
Adaptive leadership during challenging times: Effective strategies for health professions educators: AMEE Guide No. 148
Judy McKimma,b , Subha Ramanic,d,e , Kirsty Forrestf, Jo Bishopf, Ardi Findyartinig, Chloe Millsh , Mohammed Hassanieni,j, Abdulmonem Al-Hayanik, Paul Jonesl, Vishna Devi Nadarajahm and Greg Radun,o 

리더십이란 무엇인가요?
What is leadership?

리더십은 비전과 방향을 설정하고 전달하는 원동력, 에너지 또는 '힘'으로 설명되며, 사람들이 변화를 이루도록 영향력을 행사하고 동기를 부여하는 데 도움을 줍니다(Scouller 2011, Swanwick과 McKimm 2017). 효과적인 리더는 불확실하고 어려운 시기에 필수적인 긍정적인 문화와 분위기를 조성하기 때문에 리더십은 조직의 성공을 위한 핵심 요소입니다. 널리 퍼져 있는 리더십 신화 중 하나는 리더십은 조직 내 지위와 권력을 통해서만 발휘된다는 것입니다. 이는 사실이 아닙니다. 리더십은 프로젝트나 이니셔티브를 이끌거나, 회의에서 안건을 주도하거나, 학생들과의 교실 토론을 주도하는 등 다양한 수준에서 발생할 수 있으며, 실제로 다양한 HP 교육자가 매일 리더십을 발휘하고 있습니다. HP 교육자는 리더와 팔로워로서 개인 내, 대인 관계/팀, 조직 및 시스템 수준에서 어떻게 행동해야 하는지 알고 있어야 합니다.
Leadership is often described as the driving force, energy or ‘power’ that establishes and communicates vision and direction, helping to influence and motivate people towards making a change (Scouller 2011; Swanwick and McKimm 2017). It is a key factor for organisational success, as effective leaders promote a positive culture and climate—a necessity in uncertain and difficult times. One of the pervasive leadership myths is that leadership is solely vested in positional power in an organisation. This is untrue. Leadership can (and does) occur at many levels and is undertaken by a range of HP educators daily, e.g. leading a project or initiative, leading on an item at a meeting, or leading a classroom discussion with students. HP educators need to be aware of how they, as both leaders and followers, operate at the intrapersonal, interpersonal/team, organisational, and system levels.

'리더십 트라이어드'
The ‘leadership triad’

HPE에서는 팀, 서비스, 프로그램, 조직(또는 그 일부인 평가, 레지던트, 연차, 부서장, 연구 활동 등) 내에서 다양한 방식으로 리더십을 발휘할 수 있는 기회가 있습니다. HPE 리더십 활동은 대학이나 학교부터 병원 및 지역사회의 의료 서비스에 이르기까지 다양한 경계를 넘나듭니다. HPE의 '리더십'은 다른 조직 및 부문의 리더십과 많은 유사점을 가지고 있습니다. 리더십은 리더십, 관리, 팔로워십 활동의 역동적인 조합으로 구성되며, '리더십 트라이어드'(McKimm and O'Sullivan 2016)로 알려져 있으며, 학계와 의료 서비스 전반에 걸쳐 개인, 그룹, 조직 간에 그리고 조직 내에서 이루어집니다.
In HPE, people have opportunities to promote leadership in many ways, including within teams, services, programmes, and organisations (or parts of them, such as assessment, residency, year lead, head of the department, or research activities). HPE leadership activities span many boundaries, from universities or schools to health services in hospitals and communities. ‘Leadership’ in HPE has many similarities with leadership in other organisations and sectors. It comprises a dynamic combination of leadership, management, and followership activities, known as the ‘leadership triad’ (McKimm and O'Sullivan 2016), and takes place between and within individuals, groups, and organisations across academia and healthcare services.

전통적 문헌에 반영된 바와 같이 리더십은 조직 내에서 가장 중요한 일련의 활동을 포함하지만, 리더가 효과적이기 위해서는 관리와 팔로워십도 똑같이 중요하다는 점을 강조할 필요가 있습니다(Barrow 외. 2011). 

• 리더십이 비전을 설정하는 반면, '관리'는 비전을 실천하는 데 도움이 되는 일련의 활동에 필요하며, 문제를 식별하고 해결책을 찾는 프로세스에 대한 관심을 포함합니다(McKimm and Jones 2018). 
• 관리는 재정, 커리큘럼 또는 인력 등의 안정성을 제공하여 조직이나 프로그램을 불안정하게 만들지 않으면서도 변화가 이루어질 수 있도록 합니다. 
• 리더를 지지하면서도 리더에게 도전할 수 있는 적극적이고 효과적인 팔로워는 예상되는 변화가 원활하게 이루어질 수 있도록 하는 데 필수적인 요소입니다. 

리더십은 전체 트라이어드 내에서 관계를 구축하고 유지하는 것과 매우 밀접한 관련이 있습니다. HPE 리더는 '리더십 트라이어드'의 세 가지 상호 연결된 위치에 대한 인식과 관련 기술을 결합하여 추종자들을 어려운 여정으로 이끌면서 특정 상황을 인식하는 동시에 강력하고 목적 지향적인 리더십을 제공할 수 있는 가장 좋은 위치에 있을 것입니다. 박스 1에서는 리더십 삼위일체를 실천에 옮긴 예를 제시합니다.
As echoed in the traditional literature, leadership involves the most important set of activities within an organisation; however, it needs to be emphasised that management and followership are equally important for leaders to be effective (Barrow et al. 2011).

• While leadership sets the vision, ‘management’ is necessary for the set of activities that helps put the vision into practice, involving attention to processes that identify problems and help find solutions (McKimm and Jones 2018).
• Management provides stability, for example financial, curricular or workforce, so that changes can be made without destabilising the organisation or programme.
• Active and effective followers, those who support but also may challenge the leader, are an essential part of ensuring that envisaged change happens smoothly.

Leadership is very much about building and maintaining the relationships within the entire triad. An HPE leader will be best placed to provide strong and purposeful leadership if they combine an awareness of, and skills related to, the three interlinked positions in the ‘leadership triad’, taking their followers with them on what might be a difficult journey, while being aware of their specific context. In Box 1, we provide an example of putting the leadership triad into practice.

박스 1 사례 연구: '리더십 삼위일체'를 실천에 옮기다. Box 1 Case study: Putting the ‘leadership triad’ into practice. 한 교육 리더는 멘토링에 대한 열정에 영감을 받아 7개국에서 온 같은 생각을 가진 멘토들로 구성된 커뮤니티 형성을 주도했습니다. 이 그룹은 스피드 멘토링 워크숍을 제공하고 2019년 유럽 의학교육협회(AMEE) 컨퍼런스에서 일대일 멘토링 이니셔티브에 참여했습니다(Ramani 외. 2021). 코로나19 팬데믹으로 인해 이 그룹은 특정 교육 주제 또는 문제에 초점을 맞춘 가상 멘토링 세션을 제공하여 글로벌 대화를 촉진하고 도전 과제와 성공 사례를 공유하는 것을 목표로 삼았습니다(McKimm 외. 2020; Thampy 외. 2020). 이후 이 그룹은 전 세계 더 많은 지역의 교육 리더를 포함하도록 확장되었으며, 현재 핵심 그룹은 11개국의 회원으로 구성되어 있습니다. 리더가 그룹 결성을 주도했지만, 적극적인 팔로워들은 리더에게 조언하고 브레인스토밍에 참여하며 그룹을 위한 실행 계획을 수립합니다. An educational leader, inspired by a passion for mentoring, led the formation of a community comprising like-minded mentors from seven countries. The group offered a speed mentoring workshop and participated in a one-on-one mentoring initiative at the 2019 Association for Medical Education in Europe (AMEE) conference (Ramani et al. 2021). The COVID-19 pandemic spurred this group to offer virtual mentoring sessions, each focusing on a specific educational topic or problem, aiming to stimulate global conversations and share challenges and success stories (McKimm et al. 2020; Thampy et al. 2020). The group has since expanded to include educational leaders from more regions of the world; currently, the core group consists of members from 11 countries. Though a leader initiated the formation of the group, active followers advise the leader, participate in brainstorming, and formulate action plans for the group. 이 '국경을 초월한 멘토' 커뮤니티에서는 리더십, 관리, 팔로워십 역할이 프로젝트에 따라 순환되고, 자기 관리 및 관계 관리와 같은 감성 지능 역량이 그룹을 유지하는 데 중요하며, 긍정 심리학 원칙이 그룹이 작업을 계속하고 승리를 축하하도록 동기를 부여하고, 포용적이고 사람 중심의 리더십이 다양한 관점을 가져올 수 있는 여러 글로벌 지역의 회원을 확장하고 포용하도록 촉진하고, 가장 중요한 심리적 안전의 분위기가 회원들이 서로 멘토링하고 배우도록 장려하는 등 여러 가지 핵심 리더십 원칙을 채택하고 있습니다(Mannion et al. 2015; 맥킴과 매니언 2015; 아민 외. 2018; 맥킴 외. 2020). 마지막으로, 특정 이니셔티브의 리더는 구성원들이 관심사와 시간 제약에 따라 이니셔티브를 주도하거나 참여하거나 심지어 물러날 수 있도록 명시적인 메시지를 보냅니다. Many key leadership principles have been adopted by this ‘mentors across borders’ community: leadership, management, and followership roles are rotated for different projects; emotional intelligence competencies such as self-management and relationship management are critical to maintaining the group; positive psychology principles motivate the group to stay on task and celebrate wins; inclusive and person-centred leadership has stimulated expansion and inclusion of members from different global regions who can bring in different perspectives; and, most importantly, a climate of psychological safety promotes members to mentor and learn from each other (Mannion et al. 2015; McKimm and Mannion 2015; Amin et al. 2018; McKimm et al. 2020). Finally, the leaders of a specific initiative send explicit messages allowing members to lead, participate in, or even step aside based on their interests and time constraints.

 

 

리더를 위한 도전 과제
Challenges for leaders

우리가 리더십을 개념화하는 방식은 주로 어떤 환경에서든 교육이 제공되는 방식에서 의미 있고 지속 가능한 변화와 개선을 촉진하고 가능하게 하는 것입니다(Buchanan 외. 2004). 이는 HPE 리더의 가장 중요한 임무 중 하나입니다. 이는 단순히 변화를 위한 변화를 의미하는 것이 아니라, 교육에 대한 사고의 광범위한 변화를 인식하고, 아이디어를 자신의 상황에 적용하는 데 있어 번역 또는 '센스 메이킹' 역할을 수행하며, 학습자와 교수진의 어려움과 과제를 적극적으로 파악하고 이에 대한 해결책을 찾는 것을 의미합니다. '평상시'에도 HPE 리더와 교육자는 정기적이고 일상적으로 다양한 문제를 처리해야 합니다(표 1 참조).

The way we conceptualise leadership is primarily about facilitating and enabling meaningful and sustainable change and improvement in the way education is provided in whatever setting (Buchanan et al. 2004). This is one of the most important tasks of the HPE leader. This does not mean making changes simply for the sake of it but is about being aware of the broader shifts in thinking about education, taking a translational or ‘sense-making’ role in bringing ideas to your own context, being proactive in identifying struggles and challenges for learners and faculty and finding solutions to these. Even in ‘normal’ times, HPE leaders and educators must deal with a range of issues on a regular and routine basis (see Table 1).

어려운 시기의 리더십 접근 방식
Leadership approaches in challenging times

코로나19 팬데믹 기간 동안 변화는 내부에서 촉진된 것이 아니라 외부에서 강요된 것이었습니다. 전 세계의 HPE 리더, 학습자, 직원은 이러한 변화의 동인을 통제할 수 없었으며 대신 전례 없는 도전, 큰 불확실성, 위기를 관리하는 방법을 적응하고 배워야 했습니다(Nadarajah 외. 2020). 이를 위해서는 다양한 리더십 접근 방식이 필요했습니다(Kotter 2007; Kanter 2020). 표 2에는 리더십이 작동하는 네 가지 수준, 어려운 시기에 도움이 되는 접근 방식, 그리고 이러한 접근 방식을 돕기 위해 리더가 개발할 수 있는 기술이 나열되어 있습니다. 
During the COVID-19 pandemic, change was not stimulated from within but instead imposed from outside. HPE leaders, learners, and staff around the world had no control over these change drivers but instead had to adapt and learn how to manage unprecedented challenges, great uncertainty, and crises (Nadarajah et al. 2020). This required different leadership approaches (Kotter 2007; Kanter 2020). Table 2 lists the four levels in which leadership operates, approaches that are helpful during challenging times, and the skills that leaders can develop to help with these approaches.

이제 각 수준에 따른 구체적인 리더십 접근 방식을 뒷받침하는 몇 가지 이론적 원칙에 대해 논의하겠습니다. 다음 섹션에서는 이러한 원칙을 실무에 적용하는 방법과 필요한 기술을 개발하는 방법에 대한 예를 다룹니다.
We will now discuss some theoretical principles underpinning specific leadership approaches under each of the levels we operate in. The following section addresses the application of these principles to practice with examples of how to build the skills required.

개인 내적 수준(자아): 정서적 및 사회적 지능 개발하기
The intrapersonal level (self): developing emotional and social intelligence

연구에 따르면 직업이나 위치에 관계없이 가장 성공적인 리더는 높은 수준의 감성 지능을 가지고 있는 것으로 나타났습니다(Boyatzis 2008). 성공적인 리더십의 지표로서 감성 지능(EI)은 1990년대에 다니엘 골먼에 의해 처음 논의되었습니다. 그는 인성, 비전, 결단력, 지능과 같은 기술만으로는 성공적인 리더가 될 수 없으며 자기 인식, 자기 조절, 동기 부여, 공감, 사회적 기술도 그에 못지않게 중요하다는 결론을 내렸습니다(Goleman 1998). 보야치스와 골먼은 함께 가장 성공적인 리더들의 핵심 속성을 분석하기 시작했습니다. 정서적 및 사회적 지능의 12가지 역량은 네 가지 영역으로 설명되었습니다(Boyatzis 2009). 네 가지 영역은 자기 인식, 자기 관리, 사회적 인식, 관계 관리입니다. 리더가 이끄는 사람들의 그룹을 관리하기 위해서는 네 가지 영역의 EI 역량이 모두 필수적입니다(상자 2 참조). 
Research indicates that the most successful leaders, regardless of profession or location, have a high degree of emotional intelligence (Boyatzis 2008). Emotional intelligence (EI) as a marker of successful leadership was first discussed by Daniel Goleman in the 1990s. He concluded that skills such as toughness, vision, determination, and intelligence were not enough to be a successful leader and that the skills of self-awareness, self-regulation, motivation, empathy, and social skills were equally, if not more, important (Goleman 1998). Together, Boyatzis and Goleman went on to analyse the core attributes among the most successful leaders. Twelve competencies of emotional and social intelligence were described under four domains (Boyatzis 2009). The four domains are: self-awareness, self-management, social awareness, and relationship management. All four domains of EI competencies are essential for leaders to manage the groups of people they lead (see Box 2).

박스 2 네 가지 EI 영역의 영향력. Box 2 The impact of the four EI domains. 1. 자기 인식을 통해 리더는 자신의 가정과 편견, 그리고 이것이 세계관에 어떤 영향을 미치는지 인식할 수 있습니다. 2. 자기 관리는 행동에 앞서 생각하고, (부정적인 감정을 다스리는 데 필수적인) 자신의 감정과 반응을 관리할 수 있는 능력을 촉진합니다. 3. 사회적 인식은 리더가 팀을 구성하는 개인을 이해하고 관점과 성격의 차이를 인식할 수 있게 해줍니다. 4. 관계 관리는 다양한 관점을 수용하고 인재를 육성하며 개인, 팀, 조직의 잠재력과 생산성을 극대화하는 데 필수적입니다. 멘토링과 코칭 기술은 이 영역에 속합니다. Self-awareness allows leaders to recognise their assumptions and biases, and how these affect their worldview. Self-management promotes thought before action and the ability to manage own emotions and reactions, essential for reigning in negative emotion. Social awareness allows leaders to understand the individuals who make up their team and recognise differences in viewpoints and personalities. Relationship management is essential to welcome a variety of perspectives, nurture talent, and maximise the potential and productivity of individuals, teams, and the organisation. Mentoring and coaching skills fall under this domain

EI 역량은 리더가 변화를 주도하고 관리하는 데 유용한 가이드입니다. 그러나 리더가 속한 조직과 사회 문화에 따라 가장 효과적인 특정 행동은 달라질 수 있습니다. 리더, 직원, 학습자의 구성이 다양성을 특징으로 하는 교육기관은 팀원 개개인이 공통의 목표를 향해 일할 때에도 서로 다른 신체 언어와 감정적 반응을 보일 수 있다는 점을 인식해야 합니다.
EI competencies are a useful guide to leaders in leading and managing change. However, the specific behaviours that are most effective depending on the organisational and societal culture within which the leader is situated. Institutions that feature diversity in the composition of their leaders, staff, and learners should recognise that individuals on a team might have different body language and emotional reactions even when working towards a common goal.

대인관계 수준(다른 사람과 함께 일하기): 진정성 있고 포용적이며 원초적인 리더십
The interpersonal level (working with others): authentic, inclusive, and primal leadership

항상 그렇지만 특히 변화무쌍하고 불확실한 시기에는 사람들이 리더에게 원하는 것은 진정성 있는 목소리입니다. 팔로워들은 리더가 자신의 이야기를 경청하고, 자신의 우려를 진지하게 받아들이고 있으며, 변화를 주도하고 관리할 수 있는 전문성과 권한을 가지고 있다고 느끼기를 원합니다. 리더는 팔로워가 리더를 어떻게 보고, 관계를 맺고, 신뢰하는지에 따라 만들어지고 유지됩니다(Uhl-Bien 및 Carsten 2018). 팔로워는 리더가 자신을 안전하게 지켜줄 수 있고 함께 '그 안에' 있다고 느끼면 매우 위험한 상황(예: 전쟁)에도 리더를 따를 것입니다(Sinek 2014).
At all times, but especially in changing and uncertain times, what people want from their leaders is an authentic voice. Followers want to feel that their leaders are listening, taking their concerns seriously and that they have the expertise and authority to lead and manage change. Leaders are created and maintained by how their followers see, relate to, and trust them (Uhl-Bien and Carsten 2018). Followers will follow their leaders into highly unsafe situations (such as war) if they feel their leaders can keep them safe and that they are ‘in it’ together (Sinek 2014).

불확실한 시대에 필요한 리더십에 대한 적절한 접근법으로 원초적이고 진정성 있는 리더십이 주목받고 있습니다. '원초적 리더십'이라는 용어는 리더의 영향력(정서적 수준)과 그에 따른 행동이 조직 내 다른 모든 사람의 참여, 동기 부여 및 행동에 강력한 영향을 미친다는 것을 나타내기 위해 만들어졌습니다. '리더의 기분은 말 그대로 전염성이 있으며 비즈니스 전체에 빠르고 끝없이 퍼집니다'(Goleman 외. 2001, 44쪽). 
Primal and authentic leadership have come to the fore as relevant approaches to leadership required for uncertain times. The term ‘primal leadership’ was coined to indicate that the affect (emotional level) of a leader and resulting behaviours have a powerful effect on engagement, motivation, and behaviours of everyone else within their organisation: ‘the leader’s mood is literally contagious, spreading quickly and inexorably throughout the business; (Goleman et al. 2001, p. 44).

진정성 있는 리더십은 리더가 자신의 강점을 활용하고 자신의 약점과 편견을 인식하는 데 중점을 둡니다(Avolio and Gardner 2005, Sosik 외. 2009, Cardiff 외. 2018, Hollander 2012). 진정한 리더는 문제에 대한 다양한 관점을 적극적으로 모색하고 주변 사람들의 의견을 소중히 여기고 경청하는 모습을 보여줍니다. 또한 리더는 지적 겸손, 실수 인정, 비판과 다른 관점으로부터의 학습, 한계를 극복하기 위한 다른 사람의 기여를 인정하고 구하는 특성을 보여야 합니다. 이러한 리더십 스타일은 EI 역량과 밀접한 관련이 있지만, 리더의 관점이 팀원들의 기분, 행동, 업무 완수, 결과적으로 팀원들의 직업적 성취감과 웰빙에 어떤 영향을 미치는지에 초점을 맞추고 있습니다. 긍정적인 전망은 이 접근 방식의 핵심 요소이지만, 진정성 또한 필요합니다. 
Authentic leadership is very much focused on the leader drawing from their own strengths and being aware of their own weaknesses and biases (Avolio and Gardner 2005; Sosik et al. 2009; Cardiff et al. 2018; Hollander 2012). Authentic leaders proactively seek a range of perspectives on issues and demonstrate that they value and listen to those around them. Leaders also need to demonstrate traits of intellectual humility, admitting mistakes, learning from criticism and different points of view, and acknowledging and seeking contributions from others to overcome limitations. Though this leadership style is closely related to EI competencies, the focus is on how a leader’s outlook impacts their team members’ moods, behaviours, task completion, and consequently their sense of professional fulfilment and well-being. While a positive outlook is a key component of this approach, it is also necessary to be authentic.

복잡한 조직 또는 시스템 수준: 적응적 리더십
The complex organisational or system level: Adaptive leadership

복잡계 사고 접근법은 시스템 내 모든 주체들의 상호의존성과 상호관계를 명백히 인정하고, '단순한' 규칙이나 변화가 큰 효과를 가져올 수 있으며, 시스템의 한 부분의 변화가 시스템 전체에 예기치 않은 결과를 초래할 수 있다는 렌즈를 제공합니다(Till 외. 2016; Obolensky 2017).
A complex system thinking approach provides a lens that overtly acknowledges the interdependency and interrelationships of all agents within the system, that ‘simple’ rules or changes can lead to large effects, and that a change in one part of the system can have unanticipated consequences throughout the system (Till et al. 2016; Obolensky 2017).

우리는 VUCA(변동성, 불확실성, 복잡성, 모호성, Worley and Jules 2020) 및 RUPT(급변성, 불확실성, 역설성, 얽힘, Till et al. 2016)의 세계에 살고 있으므로 변화하고 복잡한 상황에 적응할 수 있을 만큼 유연하고 민첩한 리더십이 요구되는 것입니다. 적응적 리더십(Heifetz 외. 2009; Randall and Coakley 2007)은 특히 복잡한 시스템이나 상황에서의 리더십에 초점을 맞추며, 변화, 불확실성, 위기에 대응하는 방법을 생각할 때 유용합니다. 이 접근법은 복잡하고 급변하는 환경에 대한 적응의 중요성을 강조하고 합의된 목표를 달성할 수 있는 조직적 여건을 조성합니다(Hodges and Gill 2014). 적응적 문제는 일반적으로 모호하고 복잡하며 '사악한' 문제입니다. 적응적 리더십 접근법의 창시자인 Ronald Heifetz와 Marty Linsky는 효과적인 적응적 리더십의 네 가지 기본 원칙을 다음과 같이 정의했습니다: 
We live in a VUCA (Volatile, Uncertain, Complex, Ambiguous; Worley and Jules 2020) and RUPT (Rapid, Uncertain, Paradoxical, Tangled; Till et al. 2016) world; therefore, the HPE leadership needed is one that is flexible and agile enough to adapt to changing and complex circumstances. Adaptive leadership (Heifetz et al. 2009; Randall and Coakley 2007) is specifically focused on leadership in complex systems or situations and is helpful when thinking about how to respond to change, uncertainty, and crisis. This approach emphasises the importance of adaptation to a complex and rapidly changing environment and creates the organisational conditions to achieve agreed goals (Hodges and Gill 2014). Adaptive problems are usually vague, complex, and ‘wicked’. The creators of the adaptive leadership approach, Ronald Heifetz and Marty Linsky, defined four foundational principles of effective adaptive leadership, which are: 

1. 조직의 정의: 적응형 리더는 조직의 모든 구성원의 의견을 들을 수 있는 환경을 조성합니다. 조직의 의견은 적응형 리더십에 필수적입니다.
   Organisational justice: Adaptive leaders create an environment in which every member of the organisation can be heard. Organisational input is integral to adaptive leadership.
2. 감성 지능: 적응형 리더십은 관계를 중시합니다.
   Emotional intelligence: Adaptive leadership values relationships.
3. 개발: 적응형 리더는 조직 변화의 과정을 통해 동료와 직원이 배우고 성장할 수 있도록 지원합니다.
   Development: Adaptive leaders empower their colleagues and employees to learn and grow through the process of organisational change
4. 인성: 적응형 리더는 윤리적 책임감과 도덕성을 보여줍니다. 이들은 커뮤니케이션 스타일이 투명하며 팀원들에게 동일한 기준을 적용합니다.
   Character: Adaptive leaders demonstrate ethical responsibility and morality. They are transparent in their communication style and hold themselves to the same standards to which they hold their team.

진정한 리더십과 마찬가지로 이러한 차원은 EI 역량과 많은 유사점이 있습니다. 적응형 리더십에서 가장 유용한 개념 중 하나는 '소중한 것'과 '소모적인 것'을 구분하는 능력입니다(Heifetz 외. 2009). '소중한 것'은 조직에 매우 중요한 것으로, 교육에서는 학습자 자신, 교수진, 교육 제공의 질, 조직의 핵심 가치 등이 포함되며, 위기와 변화에 대응할 때 이들에 대한 초점을 잃지 않아야 합니다. 적응형 리더는 무엇이 소중한지 인식하고 이를 보호하고 육성할 수 있도록 합니다.
Like authentic leadership, these dimensions have many parallels with EI competencies. One of the most useful concepts in adaptive leadership is the ability to diagnose the ‘precious’ from the ‘expendable’ (Heifetz et al. 2009). The ‘precious’ is what is vitally important to the organisation; in education, this includes the learners themselves, the faculty, the quality of educational provision, and the core values of the organisation; you do not want to lose the focus on these as you respond to crisis and change. Adaptive leaders recognise what is precious and make sure that this is looked after and nurtured.

글로벌 생태계 수준: 메타, 에코, 재생 리더십
The global eco-system level: Meta, eco, and regenerative leadership

메타 리더십
Meta-leadership

메타 리더십은 뉴욕 9/11 테러와 뉴올리언스 허리케인 카트리나 대응과 같은 위기 상황에서 리더를 관찰하고 분석하여 최근의 가장 큰 도전 과제 중 일부에서 탄생했습니다. 최근의 팬데믹 역시 의료계와 의료 교육에 있어서는 위기 상황입니다. 메타 리더십은 변혁적 리더십, 공유 리더십, 팔로워십, 복합적 적응 리더십 등 다양한 리더십 이론을 활용하고 통합합니다(Marcus 외. 2015). 메타 리더십은 조직 내 및 조직 간 환경에서 [서로 다른 이해관계자 간의 연결성을 창출하는 경계를 아우르는 리더십]에 중점을 둡니다. 이러한 방식으로 이러한 '메타 리더'는 다른 사람에게 영향을 미치고 자신의 통제 범위를 넘어 변화를 활성화하는 데 관심을 갖습니다. Marcus 등(2008)은 메타리더가 자신에게 요구되는 것보다 더 넓은 목적에 의해 움직이며, 따라서 조직의 장벽을 '초월'할 수 있다고 설명합니다. 이들은 메타 리더십의 차원을 다음과 같이 설명합니다:
Born out of some of the biggest recent challenges, meta-leadership was described through observation and analysis of leaders in crisis circumstances such as the September 11 attacks in New York and the response to Hurricane Katrina in New Orleans. The recent pandemic is also such a crisis for healthcare and for healthcare education. Meta-leadership draws upon and integrates a wide range of leadership theories including transformational leadership, shared leadership, followership, and complex adaptive leadership (Marcus et al. 2015). Meta-leadership is focused on boundary-spanning leadership that generates connectivity among disparate stakeholders in both intra- and inter-organisational settings. In this way, these ‘meta-leaders’ are concerned with influencing others and activating change beyond the established lines of their own control. Marcus et al. (2008) describe that they are driven by a wider purpose than what has been asked of them and can thus ‘transcend’ organisational barriers. They describe the dimensions of meta-leadership as follows:

메타 리더십의 차원
The Dimensions of Meta-Leadership

1. 사람(자기 지식, 인식, 규제): 메타리더는 높은 자기 인식, 자기 인식, 자기 규제를 발달시킵니다.
   The person (self-knowledge, awareness, and regulation): Meta-leaders develop high self-awareness, self-knowledge, and self-regulation.
2. 상황(리더십의 맥락 파악): 메타리더는 종종 불완전한 정보를 가지고 상황을 매핑하여 무슨 일이 일어나고 있는지, 이해관계자는 누구인지, 다음에 일어날 가능성이 있는 일은 무엇인지, 중요한 선택 포인트와 행동 옵션은 무엇인지 파악합니다.
   The situation (discerning the context for leadership): With often incomplete information, the meta-leader maps the situation to determine what is happening, who are the stakeholders, what is likely to happen next, and what are the critical choice points and options for action.
3. 연결(긍정적이고 생산적인 관계 육성): 메타 리더는 앞으로 나아갈 방향을 제시하고, 결정을 내리고, 그 결정을 실행하며, 폭넓은 참여와 지원을 이끌어내기 위해 효과적으로 소통합니다.
   The connection (fostering positive, productive relationships): The meta-leader charts a course forward, making decisions, operationalising those decisions, and communicating effectively to recruit wide engagement and support.

의료 및 교육 분야에서 우리의 행동과 행동을 이끄는 기본 가치는 타인(종종 취약한 사람들과 커뮤니티)의 개발과 보살핌에 대한 책임이 있기 때문에 기본이 됩니다. 환경윤리 및 재생 리더십 접근법은 리더가 이러한 핵심 가치를 파악하고 이를 실제로 구현하는 방법을 파악하는 데 도움이 됩니다.
In healthcare and education, the underpinning values that drive our behaviours and actions are fundamental as we are responsible for the development and care of other, often vulnerable people and communities. Eco-ethical and regenerative leadership approaches help leaders to identify these core values and how to implement them in practice.

환경 윤리적 리더십
Eco-ethical leadership

맥킴과 맥린(2020)은 지속 가능한 보건 전문직 교육과 관행의 필요성에 대한 리더의 생각을 집중시키는 '환경 윤리적' 리더십 접근법의 사례를 제시합니다. 환경윤리적 리더십은 지속 가능성, 가치, 협력, 정의, 옹호, 그리고 필요한 경우 행동주의를 중심으로 하는 통합적 접근 방식입니다. 상자 3에는 '환경 윤리적' 리더십의 주요 특징이 나와 있습니다.
McKimm and McLean (2020) make the case for an ‘eco-ethical’ leadership approach that focuses leaders’ minds on the need for sustainable health professions education and practices. Eco-ethical leadership is an integrated approach centred around sustainability, values, collaboration, justice, advocacy and, when required, activism. Box 3 lists key features of ‘eco-ethical’ leadership.

상자 3 보건 전문직 교육을 위한 '환경 윤리적' 리더십 접근법의 주요 특징. Box 3 Key features of an ‘eco-ethical’ leadership approach for health professions education. 환경 윤리적 리더는 다음과 같은 가치와 신념을 보유하고, 일상적인 행동과 행동을 통해 보여주고, 표현합니다: Eco-ethical leaders hold, display (through day-to-day behaviours and actions), and articulate the following values and beliefs: 지구와 자원의 청지기적 책임에 대한 도덕적 의무를 가지고 행동합니다. 자신의 행동에 책임을 지고, 옹호나 행동주의가 필요한 시기를 인식합니다. 개인적으로나 업무적으로 환경적으로 지속 가능한 실천의 롤 모델링. 환경, 조직, 지역사회의 지속 가능성 및 재생에 대한 헌신을 보여줍니다. 인지적 복잡성을 연습하고 역동적인 시스템 관점에서 세상을 바라봅니다. 경청, 신뢰, 네트워킹, 정보 및 권한 공유, 소통, 분야와 직종 간, 직종 내 협업을 통해 의미 있는 변화를 이끌어낼 수 있는 가장 강력한 방법은 집단 지성이라고 믿습니다. 포용성과 사회 및 생태적 정의를 구현하는 사회 문화적, 생태적 가치를 보여줍니다. 변화에 대한 진정성 있고, 사람 중심적이며, 공감하고, 자비로운 접근 방식을 취하고, 변화를 만드는 것은 어렵고, 사람들은 서로를 지지하고 작은 변화처럼 보일 수 있는 것을 축하해야 한다는 것을 인식합니다. A moral duty to act in terms of taking responsibility for stewardship of the planet and its resources. Being accountable for their actions, recognising when advocacy or activism is needed. Role modelling environmentally sustainable practice, both personally and professionally. Demonstrating commitment to environmental, organisational, and community sustainability and regeneration. Practising cognitive complexity and seeing the world from a dynamic systems perspective. Believing that collective intelligence is the most powerful way to engender meaningful change though listening, trust, networking, sharing information and power, communicating, and working collaboratively across and within disciplines and professions. Demonstrating socio-cultural and ecological values that embody inclusivity and social and ecological justice. Taking an authentic, person-centred, empathic, and compassionate approach to change, recognising that making changes is difficult, and that people need to support one another and celebrate what might seem to be small changes.

재생적 리더십
Regenerative leadership

팬데믹에 대한 HPE의 대응과 관련된 또 다른 접근 방식은 '재생적' 리더십입니다(Hutchins and Storm 2019). 재생적 리더십은 우리가 살고 있는 취약한 생태계에 대한 인간의 노력이 미치는 영향을 인정하고 줄이는 방식으로 조직과 조직 내 사람들을 육성하는 데 도움을 줄 의무를 리더에게 부여합니다. 지속 가능한 미래는 우리가 항상 해왔던 방식으로 일을 계속하는 것이 아니라 적극적으로 재생을 추구하는 것에 의존하는 미래로 상상됩니다. 이는 웰빙, 협업, 공동 창의성을 강조하고 모든 사람의 기여를 소중히 여김으로써 달성할 수 있습니다.
Another approach relevant to HPE and its response to the pandemic is that of ‘regenerative’ leadership (Hutchins and Storm 2019). Regenerative leadership places a duty on the leader to help nurture organisations and the people within them, in such a way that acknowledges and reduces the impact of human endeavour on the fragile eco-systems in which we live. A sustainable future is envisaged as one that relies on actively pursuing regeneration, rather than continuing to do things the way we always have. This is achieved through an emphasis on wellbeing, collaboration, co-creativity, and valuing everyone’s contribution.

리더십 실천을 개선하려면 어떻게 해야 하나요?
How can I improve my leadership practice?

이론적 접근법을 실제로 적용하기 위한 전략도 희망하는 리더가 탐구해야 합니다. 때때로 압도적으로 느껴질 수 있는 일련의 문제와 변화에 대처하기 위한 개인 전략을 개발하는 것은 모든 리더에게 필수적이며, 이러한 전략이 없으면 사기와 인내심이 떨어지고 심지어 스트레스와 탈진으로 이어질 수 있습니다. 이 섹션에서는 근성, 신뢰, 논리, 공감, 취약성, 편견에 대한 인식, 적응력 향상, 글로벌 사고 등 리더가 집중할 수 있는 영역에 대해 소개합니다. 모든 수준의 상호작용은 리더의 행동이나 대응 방식에 영향을 받기 때문에 이 섹션에서는 네 가지 수준(표 2)의 맥락에서 함께 고려합니다. 
Strategies for applying theoretical approaches in practice must also be explored by the hopeful leader. Developing personal strategies to deal with what can sometimes feel an overwhelming series of issues and changes is essential for any leader; without these, morale and patience can dip, even leading to stress and burnout. In this section, we present the following area's leaders can focus on: grit, trust, logic, empathy, vulnerability, awareness of bias, becoming more adaptive, and thinking globally. These are considered in the context of the four levels (Table 2) together in this section, as interactions at any level will be influenced by the way you behave or respond.

그릿
Grit

리더는 종종 자신의 능력을 벗어났다고 느낄 수 있지만, 회복탄력성과 '그릿'(Duckworth와 Duckworth 2016)을 바탕으로 한 걸음 더 나아가 자신이 책임지고 있는 사람들에게 효과적인 리더십을 제공해야 합니다. 그릿은 열정과 끈기라는 두 가지 핵심 자질의 조합으로 정의됩니다.

• 열정은 개인이 목표의 우선순위를 정할 수 있게 해주고,
• 끈기는 도전에 직면했을 때 끈질기게 목표를 추구하도록 촉진합니다(Duckworth 외. 2007; Duckworth와 Gross 2014).

어려운 상황과 좌절 속에서 그릿을 발휘하는 리더는 영감을 주는 롤모델이 되고, 팀원들에게 동기를 부여하며, 결과적으로 팀원들의 그릿을 더욱 향상시킵니다. 내부 동기를 부여하고 그릿을 향상시키기 위한 리더십 전략에는 암묵적인 역할 모델링, 성공 사례와 고난에 대한 명시적인 공유, 열정과 비전을 투명하게 전달하는 것 등이 포함됩니다(Ribeiro 외. 2020).
While leaders may often feel out of their depth, they must draw upon their resilience and ‘grit’ (Duckworth and Duckworth 2016), step up and provide effective leadership to the people they are responsible for. Grit is defined as the combination of two key qualities: passion and persistence.

• Passion allows individuals to prioritise goals, and
• persistence promotes the tenacious pursuit of goals in the face of challenges (Duckworth et al. 2007; Duckworth and Gross 2014).

Leaders who demonstrate grit during challenging circumstances and setbacks serve as inspiring role models, motivate their team members, and in turn enhance their grit even further. Leadership strategies to drive internal motivation and enhance grit can include implicit role modelling, explicit sharing of stories of successes and their struggles, and transparency in communicating their passion and vision (Ribeiro et al. 2020).

상자 4의 예는 리더십 신뢰도가 오랜 세월에 걸쳐 구축되는 경우가 많으며 그릿이 필요하다는 것을 보여줍니다. 리더의 비전에서 시작하여 비전을 실행하고(그 과정에서 조직의 정책과 절차를 탐색하는 방법을 배우며) 실무의 변화를 이끌어내는 단계로 나아갑니다.
The example in Box 4 illustrates how leadership credibility is often built over many years and requires grit. It starts with the leader’s vision, moves on to implementing the vision, (in the meantime, learning how to navigate organisational policies and procedures), and results in practice change.

박스 4 사례 연구: 비전에서 실천의 변화로. Box 4 Case study: From vision to changing practice. '평가가 학습을 이끈다'는 조지 밀러(George E. Miller)의 고전적인 명제는 많은 의과대학과 의학교육자들이 소속 기관의 평가 품질을 개선하도록 영감을 주었습니다(Wood 2009). 또한 이 사례 연구의 저자가 10년 이상 성공적인 평가 여정을 시작하도록 영감을 주었습니다. 그 여정은 2009년에 인도 루디아나에 있는 크리스천 의과대학의 지역 FAIMER 연구소에 커리큘럼 프로젝트를 제출하는 것으로 시작되었습니다(CMCL-FAIMER). 이 프로젝트는 사우디아라비아 킹 압둘아지즈 대학교(KAU) 의과대학의 학생 평가 프로세스를 표준화하고 품질을 개선하는 것을 목표로 했습니다. 프로젝트가 성공적으로 수행된 후, 그 성과를 문서화하여 널리 전파하여 혜택을 극대화하고 공유했습니다. 이러한 학술적 작업은 평가의 전체 과정을 문서화하기 위한 시험 워크시트 개발, KAU에서 평가에 관한 수십 개의 교육 과정 실시, 평가에 관한 교육용 YouTube 동영상 제작, 국내외 회의 및 컨퍼런스에서 프로젝트 발표, 학생 평가 표준화를 위한 6단계 발표 등 다양한 형태로 이루어졌습니다(Hassanien 및 Abou-Kamer 2018). ‘Assessment drives learning’, the classic statement of George E. Miller, has inspired many medical schools and medical educators to improve the quality of assessment at their institution (Wood 2009). It also inspired the writer of this case study to embark on a successful journey in assessment for more than ten years. The journey started in the year 2009 by submitting a curricular project to the regional FAIMER institute in Christian Medical College in Ludhiana in India (CMCL-FAIMER). The project aimed at standardising and improving the quality of the process of student assessment in the Faculty of Medicine at King Abdulaziz University (KAU), in Saudi Arabia. After successful implementation of the project, the achievement was written up and disseminated widely to maximize and share the benefits. These scholarly works took different forms which included: developing an exam worksheet to document the whole process of assessment, conducting tens of training courses on assessment in KAU, creating educational YouTube videos on assessment (Hassanien and Abou-Kamer 2018) presenting the project in national and international meetings and conferences, and publishing six steps for standardising student assessment (Hassanien 2018). 변화를 지속하기 위한 가장 중요한 단계는 KAU 시험 및 학생 평가 정책을 개발하고 학부에 평가 부서를 설립하여 프로세스를 제도화하는 것이었습니다. 2019년 약학부는 전체 평가 프로세스를 감독하고 학생 평가에 대한 대내외 검증을 보장하기 위해 평가 부서를 설립하는 데 앞장섰습니다. 변화와 개선은 결과를 얻기까지 수년이 걸릴 수 있지만, 비전을 전달하고 끈기를 가지고 가능한 모든 기회를 활용하면 지속 가능하고 효과적인 노력을 할 수 있습니다. 변화의 지속 가능성을 위한 가장 중요하고 중요한 단계는 변화가 단순히 한시적인 '프로젝트'가 아니라 교육기관의 문화에 내재화되어 업무 수행 방식이 되도록 하는 것입니다. The most important step to sustain the change was done by institutionalising the process through developing the KAU examination and student assessment policy and establishing assessment units in faculties. In 2019, The Faculty of Pharmacy took the initiative to establish its assessment unit to oversee the entire assessment process and to ensure the internal and external verification of student assessment. Change and improvement may take years to give results, but communicating the vision, persistence, and utilising all possible opportunities will make efforts sustainable and effective. The most important and crucial step for change sustainability is to ensure it is embedded in the culture of the institution, so it becomes the accepted way of doing things and not merely a time-limited ‘project’.

 

신뢰
Trust

Frei와 Morriss(2020)는 신뢰에는 논리, 공감, 진정성이라는 세 가지 동인이 있으며, 이 세 가지가 함께 신뢰의 삼각형을 이룬다고 설명합니다. 모든 리더는 특히 위기 상황에서 흔들리는 동인(삼각형의 한 점)을 하나 이상 가지고 있으며, 이 중 하나가 너무 약하면 신뢰가 떨어집니다(그림 1).
Frei and Morriss (2020) describe trust as having three drivers: logic, empathy, and authenticity, which together make up a triangle of trust. All leaders will have at least one driver (one point of the triangle) they falter on, especially in a crisis, and when one of these is too weak, trust falls (Figure 1).

논리 Logic

리더는 자신의 전문성을 보여주되 이기적이지 않아야 하며, 해당 산업에 대해 잘 알아야 합니다. 이는 다른 팀원들에게 신뢰감을 주는 것이 핵심입니다. 좋은 질문을 던지고, 통찰력 있는 제안을 하고, 핵심 가치를 반영한 결정을 내리는 리더를 직장 내 예로 들 수 있습니다. 또한 커뮤니케이션에 대한 일관성과 명확성이 요구됩니다.
Leaders need to show their expertise, but not be egotistical, and know their industry. This is all about being credible to other members of the team. Workplace examples include leaders asking good questions, offering insightful suggestions and decisions reflecting their core values. Consistency and clarity around communication are also expected.

공감 Empathy

사람들은 배려하는 것으로 인식되고 연민과 연결을 보여주고 공유하는 리더를 신뢰하는 경향이 있습니다. 이는 다른 사람이 말할 때 휴대전화를 보지 않거나 회의에서 다른 사람의 말을 경청하는 것만큼이나 간단할 수 있습니다. '정서적 자본'이라는 개념은 부르디외의 사회적 실천 이론(부르디외 1986)에서 등장했습니다. 연구에 따르면 정서적 자본이 높은 기관의 업무 성과가 더 높은 것으로 나타났습니다. 이러한 자본은 거창한 감동적인 강연이 아니라 인정받기, 미소 짓기, 잡담 나누기, 감사하기 등 긍정적인 미시적 행동에 의해 구축됩니다. 연구에 따르면 정서적 자본을 구축하면 직장에서의 좌절로 인한 부정적인 영향을 완충할 수 있다고 합니다. Frei의 연구에 따르면 이 지점은 가장 큰 '흔들림'이 있는 지점, 즉 리더가 가장 많이 실수하는 지점이라고 설명합니다.
People tend to trust leaders who are perceived as caring and who show and share compassion and connection; this can be as simple as not looking at your phone or watching in meetings when others are speaking. The concept of ‘emotional capital’ emerged from Bourdieu’s theory of social practice (Bourdieu 1986). Studies have shown that institutions, where emotional capital is high, have an increase in work performance. This capital is not built on grandiose displays of inspiring talks but by positive micro-behaviors: being acknowledged, smiled at, engaging in small talk, or being thanked. Research shows that building emotional capital can also buffer the negative effects of setbacks at work. Frei’s work describes this point as the one with the biggest ‘wobbles’, i.e. the one that leaders get wrong the most.

진정성 Authenticity

사람들은 리더가 실제 나와 상호작용하고 있다고 믿을 때 리더를 신뢰하는 경향이 있습니다. 누군가가 진정성 있는 사람인지 아닌지는 직감으로 알 수 있는 경우가 많지만, 일관성, 자신의 가치관에 따라 행동, 책임감, 불필요한 동료의 압력에 굴복하지 않는 것과 같은 특징이 있습니다. 그러나 가장 강력한 특성은 자신의 지저분한 부분을 보여주는 것, 즉 취약성을 드러내고 포용하는 것입니다.
People tend to trust leaders when they believe they are interacting with the real you. Knowing whether someone is being authentic is often a gut feeling, but there are characteristics such as being consistent, acting according to one’s own values, taking responsibility, and not giving in to needless peer pressure. However, the most powerful characteristic is showing the messy parts of yourself, i.e. showing and embracing vulnerability.

취약성
Vulnerability

다니엘 코일은 성공적인 팀이나 조직이 강조해야 할 세 가지 기술, 즉 모두를 위한 안전한 환경, 취약성 공유, 공동의 목표 수립 요건을 설명합니다(Coyle 2018). 취약성의 기술, 즉 실패했을 때 다른 사람들과 공유하는 것, 즉 '학습의 첫 시도'는 시간이 지남에 따라 신뢰를 쌓을 수 있습니다. 이러한 개념은 용기 있는 대화와 취약성에 기대는 것을 강조하는 브레네 브라운의 리더십 연구와 밀접하게 일치하며, 이러한 취약성 공유는 리더로부터 시작되어야 합니다(Brown 2012). 취약성은 사람들이 심리적으로 안전하다고 느낄 때만 장려될 수 있으며(Edmondson 2018), 이는 모든 사람이 부정적인 결과나 당혹감에 대한 두려움 없이 아이디어, 질문, 우려 사항을 자유롭게 말하거나 실수를 인정할 수 있다고 믿는 환경을 조성하는 데 달려 있습니다. 이는 다양성과 포용성의 이점을 극대화할 수 있도록 팀이 다양할 때 점점 더 중요해지고 있습니다(Barrow 외. 2015).
Daniel Coyle describes three skills a successful team or organisation needs to emphasise: a safe environment for all, sharing vulnerability, and the requirement to establish common goals (Coyle 2018). The skill of vulnerability, i.e. to share with others when you FAIL, or your ‘First Attempt In Learning’, will build trust over time. These concepts align closely with Brené Brown’s research on leadership, where she highlights courageous conversations and leaning into vulnerability and that this sharing of vulnerability must start with the leader (Brown 2012). Vulnerability can only be encouraged when people feel psychologically safe (Edmondson 2018), which hinges on creating an environment where everyone believes they can freely speak up with ideas, questions, concerns, or acknowledge mistakes without fear of negative consequences or embarrassment. This is increasingly important when teams are diverse so that the benefits of diversity, as well as inclusivity, can be maximised (Barrow et al. 2015).

편견에 대한 인식
Awareness of biases

무의식적(암묵적) 편견은 모든 사람의 무의식 속에 존재하며 무의식적으로 의사 결정이나 판단에 영향을 미칩니다. 편견은 경험, 양육, 문화, 주변 환경 등 '삶'에 노출되는 동안 자연스럽게 형성되거나 발전합니다. 이러한 편견은 의도하지 않았고 반드시 나쁜 것은 아니지만 현대 사회에서 차별에 기여하는 경우에는 해결해야 합니다. 이러한 편견은 우리의 행동과 동료와의 상호 작용에 영향을 미칠 수 있습니다(Marcelin 외. 2019; Teal 외. 2012). 무의식적 편견을 해결하려면 편견을 인식하고 이해해야 합니다(Liao and Thomas 2020; Velarde 외. 2022). 암묵적 연상 테스트와 같이 도움이 될 수 있는 설문조사와 공인된 도구가 있습니다. 서로 다른 사회적 집단에 속한 사람들 사이에서 자신의 검사 결과에 대해 토론하는 것은 다른 관점을 공유할 수 있는 안전한 환경에서 특히 효과적입니다. 편견 리터러시를 증진하기 위해 촉진된 토론을 활용하면 직장에서의 편견을 최소화하는 데 효과적일 수 있습니다. 편견은 학습자뿐만 아니라 리더에게도 나타날 수 있으며, 그 예는 상자 5에 자세히 나와 있습니다.
Unconscious (implicit) biases are part of everyone's unconscious minds that unknowingly influence decisions or judgements. They are shaped or develop naturally during exposure to ‘life’: experiences, upbringing, culture, and surrounding environments. They are unintentional and not necessarily bad but need to be addressed when they contribute to discrimination in modern society. These biases can affect our behaviours and the interactions we have with colleagues (Marcelin et al. 2019; Teal et al. 2012). Addressing unconscious biases requires that one must recognise and understand them (Liao and Thomas 2020; Velarde et al. 2022). There are surveys and recognised instruments such as the Implicit Association Test that can be of help. Discussion of one’s test results amongst those in dissimilar social groups is particularly powerful in a safe environment that allows alternative viewpoints to be shared. Utilising facilitated discussions to promote bias literacy can be effective in minimising bias in the workplace. Biases are shown by learners as well as leaders, an example of which is detailed in Box 5.

상자 5 학습자 편견. Box 5 Learner biases. 최근 발표된 논문(Khasan 외. 2020)에 따르면, 천연자원 생태학에 관한 학부 온라인 강좌의 136명의 학생은 성에 따라 남성 또는 여성 조교(TA)를 '배정'받았습니다. 그러나 여성 박사 과정 학생인 카잔은 실제로 모든 학생의 조교였습니다. 조교의 '성별'은 학생들에게 제공된 가짜 이름, 사진, 짧은 약력을 바탕으로 결정되었습니다. 과정을 마친 후 학생들은 조교가 여성이라고 생각했을 때와 남성이라고 생각했을 때를 비교했을 때 5배나 더 부정적인 평가를 내렸습니다. 하노버 리서치(2013)의 2013년 보고서에서는 교수진을 평가할 때 학생 편견 문제를 줄이고 잠재적으로 제거할 수 있는 기회를 설명합니다. 이 연구에서는 내면화된 편견이 5점 척도에서 여성 교수에게는 최대 0.4점, 흑인 교수에게는 최대 0.6점의 불이익을 주며, 평가도 학대나 괴롭힘으로 변질될 수 있다고 강조했습니다. 이 검토에서는 교수진이 구체적인 질문을 하고, 수업 중에 종이에 평가를 관리하며, 평가 양식에 암묵적 편견에 대한 정보를 포함할 것을 권장합니다(Finelter-Rosenbluh 2020). In a recent publication (Khasan et al. 2020), 136 students in an undergraduate online course on natural resource ecology were ‘assigned’ either a male or female teaching assistant (TA), dependent on their surnames. However, a female Ph.D. student Khazan was really the TA for everyone. The TA’s ‘gender’ was based on fake names, photographs and a short biography made available to students. On completion of the course, students gave the TA five times as many negative evaluations when they believed that she was a woman compared to when they thought she was a man. A 2013 report by Hanover research (2013) outlines opportunities to reduce and potentially eliminate the problem of student bias when evaluating faculty. Their review highlighted that internalised bias penalise female faculty by up to 0.4 and Black faculty by up to 0.6 on a 5-point scale, with evaluations also becoming abusive and bullying. The review recommends that faculty ask concrete questions, administer evaluations on paper during class and include information about implicit bias within evaluations forms (Finelter-Rosenbluh 2020).

 

적응력 높이기
Becoming more adaptive

적응형 리더는 상황이나 조직의 외부 또는 그 이상의 관점을 취할 수 있는 사람입니다. 적응형 리더는 '댄스 플로어에서 내려 발코니로 나가는'(Heifetz와 Linsky 2002) 리더로, 사람과 시스템이 어떻게 작동하는지에 대한 이해를 통해 지속 가능한 변화를 촉진하고, 서로 상호작용하여 변화를 함께 만들어갈 수 있습니다(Obolensky 2017). 이러한 리더는 자신과 팀이 불확실성과 모호성을 가지고 일할 수 있는 안전한 공간을 조성하고, 새로운 변화를 창출하기 위해 '치열한 대화'를 할 수 있습니다. 상자 6에서는 코로나19 팬데믹 기간 동안 적응형 리더십이 어떻게 작동했는지를 보여주는 조직과 시스템 전반에 걸친 리더십의 사례를 간략히 소개합니다.
Adaptive leaders are those who can take a perspective from outside or above the situation or organization. Adaptive leaders ‘get off the dance floor and go to the balcony’ (Heifetz and Linsky 2002), can facilitate sustainable change through their understanding of how people and systems work, and interact with one another to co-create change (Obolensky 2017). Such leaders are able to create safe spaces for both themselves and their teams to work with uncertainty and ambiguity and have ‘fierce conversations’ in order to generate emergent change. In Box 6 we outline an example of leadership enacted across an organisation and system which highlights how adaptive leadership operated in action during the COVID-19 pandemic.

박스 6 위기 속 조직과 시스템의 도전: 행동하는 적응적 리더십 Box 6 Organisation and system challenge in crisis: Adaptive leadership in action. HPE 리더는 고등 교육 및 의료 산업의 상호 의존성을 반영하는 환경에서 고도의 규제를 받고 공공 또는 민간 기관으로 운영되는 조직과 시스템에서 근무합니다. HPE 리더는 점점 더 많은 기업 책임을 지고 있으며, 대학에 대한 공적 자금 지원 감소로 인해 재정 및 자원 관리에 대한 통찰력을 갖춰야 합니다. 공공의 이익을 위해 봉사하는 조직의 리더로서 HPE 리더는 높은 사회적 지위를 가지고 있습니다. 또한 다양성, 포용성, 형평성을 증진하는 좋은 거버넌스, 책임성, 운영 시스템에 대한 집중적인 조사를 받고 있습니다(McKimm and McLean, 2020). HPE 리더가 근무하는 조직과 시스템은 매우 복잡한 환경입니다. 현재의 팬데믹 및 기타 위기로 인해 조직은 적응하고 필요한 조치를 취하여 기능을 유지하고 미래를 위한 새로운 규범을 설정해야 합니다(Ashokka 외. 2020). HPE leaders work in organisations and systems that are highly regulated and operate as either public or private entities in settings that reflect the interdependence of both the higher education and healthcare industry. HPE leaders increasingly have corporate responsibilities and are expected to have financial and resource management acumen due to reduced public funding for universities. As leaders of organisations that serve public interests, HPE leaders have high social standing. They are also under intense scrutiny for good governance, accountability and operating systems that promote diversity, inclusivity, and equity (McKimm and McLean, 2020). The organisations and systems in which HPE leaders work is a highly complex environments. The current pandemic and other crises force the organisations to adapt and take necessary measures to keep functioning as well to set new norms for the future (Ashokka et al. 2020). 아시아에서는 코로나19 팬데믹 기간 동안 주요 중앙 결정을 내리기 위해 전담 대응팀이 구성되었습니다. 이 팀은 기술에 적응한 의학교육과 평가를 제공하는 데 있어 조율된 조치를 통합하는 동시에 임상 실습 학생, 레지던트, 모든 교직원을 위해 높은 안전 기준에 따라 가능한 한 임상 과제를 할당하려고 노력했습니다. 대응팀은 팬데믹 기간 동안 지역 정부의 전반적인 대응 시스템을 세심하게 활용했습니다. 이러한 적응적 접근 방식은 기관의 집단주의, 계층적 시스템의 적절한 사용, 혼란스러운 상황에서 불확실성을 줄이려는 시도를 반영하여 적시에 충분한 정보를 바탕으로 한 결정을 내릴 수 있게 했습니다(Ashokka 외. 2020; Lazarus 외. 2020). 일부 리소스 제한에도 불구하고 팬데믹 기간 동안 최전선에서 일하는 새로 졸업한 의사를 지원하기 위해 신속한 대응을 위한 대규모 온라인 공개 강좌를 개설하기 위해 적응적 접근 방식을 취하기도 했습니다(Findyartini 외. 2021). In an Asian setting, a dedicated response team was set up to provide key central decisions during the COVID-19 pandemic. This team was able to consolidate coordinated actions in delivering technology-adapted medical education and assessment while still attempting to allocate clinical assignments where possible with high safety standards for students in clinical years, residents, and all staff members. The response team employed the overall response system during the pandemic from the local government meticulously. Such an adaptive approach allowed for timely and well-informed decisions which reflected institutional collectivism, the appropriate use of the hierarchical system and attempts to reduce the uncertainty during a chaotic situation (Ashokka et al. 2020; Lazarus et al. 2020). Despite some resource limitations, the adaptive approach was also taken to create a fast response Massive Open Online Course to support newly graduated medical doctors working at the frontlines during the pandemic (Findyartini et al. 2021).

박스 7에서는 조직과 시스템 전반에 걸쳐 시행된 리더십의 또 다른 사례를 소개합니다. 이 사례는 한 조직이 외부 변화와 변화하는 이해관계자의 요구에 대응하여 교육자를 위한 전문 표준 프레임워크를 도입하기 위한 비전을 개발하고 제정하는 과정을 설명합니다. 팬데믹 시기가 아닌 안정적인 시기였으며, 품질 개선이라는 접근 방식을 활용했습니다.
In Box 7 we lay out another example of leadership enacted across an organisation and system. This one describes the way in which an organisation developed and enacted a vision to introduce a professional standards framework for educators in response to external shifts and changing stakeholder demands. This was during a stable time, not during a pandemic, and draws on an approach of quality improvement.

박스 7 고등교육의 질 향상: 조직 및 시스템 변화. Box 7 Improving the quality of higher education: Organisational and system change. 지난 10년 동안 학습, 교수 및 학생 경험의 질을 개선하려는 시장의 힘, 이해관계자의 요구 및 발전에 자극을 받아 주로 영국, 호주, 뉴질랜드, 아일랜드 등 서구를 중심으로 대학 교직원을 위한 여러 전문 표준 프레임워크가 시행되었습니다. 사우디아라비아의 킹 압둘아지즈 대학교(KAU)는 대학에서 일하는 교직원을 위한 전문 표준 프레임워크를 개발하면 대학 부문 전반에서 학습 및 교수의 질을 표준화하고 개선하는 데 도움이 될 것이라는 사실을 파악했습니다. Over the last decade, stimulated by market forces, stakeholder demands and developments to improve the quality of learning, teaching and the student experience, several professional standards frameworks have been implemented for university staff, primarily in the West (e.g. the UK, Australia, New Zealand, and Ireland). In Saudi Arabia, King Abdulaziz University (KAU) identified that developing a professional standards framework for academics working in universities would help standardise and improve the quality of learning and teaching across the university sector. KAU의 리더들은 지역 및 더 넓은 사우디 국가적 맥락에 적합한 전문 표준 프레임워크를 개발하는 데 앞장섰습니다. 이 프레임워크는 KAU 고유의 것이지만 모범 사례와 증거에 기반한 주요 국제적 모범 사례를 반영하고 있습니다(Al-Youbi 외. 2021). 프로젝트가 제기하는 기술적 과제를 해결하기 위한 일환으로, 일련의 정책과 절차는 리더와 교사가 채용, 교수진 개발 및 훈련, 평가 및 성과 평가, 승진에 전문 표준 프레임워크를 사용할 수 있도록 돕습니다. Leaders at KAU took the initiative to develop a professional standard framework suitable for the local and the wider Saudi national context. This framework is unique to KAU yet reflects key international exemplars grounded in best practice and evidence (Al-Youbi et al. 2021). As part of addressing the technical challenges posed by the project, a set of policies and procedures help leaders and teachers to use the professional standard framework for recruitment, faculty development and training, appraisal and performance evaluation and promotion.

 

글로벌 사고
Thinking globally

글로벌 생태계 전반에서 리더십을 발휘하고자 할 때 개인이 혼자서 이를 시도하는 것은 불가능하기 때문에 협업과 글로벌 실천 커뮤니티 형성이 필수적입니다. 아래에 자세히 설명된 HPE의 프로그램 개발에서 포용적이고 글로벌한 리더십을 발휘한 사례는 협업이 실천 커뮤니티를 강화하고 확장하는 데 어떻게 도움이 되는지 잘 보여줍니다.
When trying to enact leadership across global ecosystems, it is impossible for individuals to attempt to do this on their own, therefore collaboration and forming global communities of practice are essential. An example of inclusive and global leadership in the development of a programme for HPEs, detailed below, highlights how collaboration helps strengthen and expand a community of practice.

환경윤리 및 재생 리더십에 필요한 많은 기술에는 책임감, 옹호, 행동주의에 대한 이해가 필요합니다. 모든 사람이 활동가가 되지는 않겠지만(혹은 되어야만 하는 것은 아닙니다), 때로는 복잡한 시스템에서 권력과 정치에 적극적으로 개입해야 할 때가 있습니다. 책임감, 옹호, 행동주의의 모든 기술에는 핵심 가치를 행동으로 옮기고 이를 일상적인 행동에 통합하는 것이 포함됩니다. 표 3은 핵심 가치와 이를 행동으로 보여주는 방법, 필요한 훈련 및 교육을 사례와 함께 보여줍니다.
For many of the skills required for eco-ethical and regenerative leadership, an understanding of accountability, advocacy, and activism is required. Not everyone will (or should?) become an activist, but when we feel very strongly, sometimes we must step up and work actively with power and politics in complex systems. All the skills of accountability, advocacy and activism involve putting core values into action and incorporating these into everyday behaviours. Table 3 shows the core values and how these might be displayed in action, the training and education required, with examples.

모든 수준의 리더가 자신의 가치를 리더십에 통합한 매우 시사적이고 시급한 사례로는 학생과 의사의 기후 변화 운동이 있습니다(상자 9). 현재의 기후 위기는 곧 건강 위기입니다. 예를 들어, 영국의 일반의협의회(2018)의 의사의 의무에 따르면 의사는 환자의 안전, 존엄성 또는 편안함이 침해될 수 있다고 생각되면 즉각적인 조치를 취해야 하므로, 많은 의사들이 개인적, 직업적 생태 발자국을 최소화하기 위해 노력하면서 '행동주의'에 의지하는 것은 놀라운 일이 아닙니다.
A highly topical and urgent example of how leaders (at all levels) have incorporated their values into leadership is that of student and doctor climate change activism (Box 9). The current climate crisis is a health crisis (https://www.who.int/news-room/photo-story/photo-story-detail/urgent-health-challenges-for-the-next-decade). Since, for example, the UK’s General Medical Council (2018) Duties of a Doctor requires that doctors take prompt action if they think that patient safety, dignity, or comfort may be compromised, it is not surprising that many doctors are resorting to ‘activism’ while also striving to minimising their personal and professional ecological footprints.

박스 8 의학교육의 AMEE 전문가 자격증. Box 8 The AMEE Specialist Certificate in Medical Education. 수년 동안 AMEE는 연례 학술대회 기간 중 또는 그 이전에 열리는 교육 과정에 참여할 수 있는 기회를 제공해 왔습니다. 이를 통해 참가자들은 다양한 ESME 인증서 중 하나를 취득할 수 있으며, 이 중 다수는 학교 및 기관 수준에서 공신력 있는 성취 증명서로 인정받고 있습니다. 지난 몇 년 동안 전 세계 여러 국가에서 추가적인 온라인 및 주제별 과정이 제공되었습니다. 교수진이 학생 및/또는 수련의를 계속 가르칠 수 있도록 의학교육에 대한 기본 자격을 갖추어야 한다는 압력이 증가하고 있지만, 많은 교육자, 특히 추가 임상 및 학업 책임이 있는 교육자나 자원이 부족한 환경에 있는 교육자는 이러한 자격을 갖추지 못하고 있습니다. For many years AMEE has provided opportunities to participate in courses held during or prior to the annual conference. These allow participants to obtain one of the various ESME Certificates, many of which are recognised at the school and institutional level as a credible certificates of achievement. Over the last few years, additional online and subject-specific courses have been delivered in various countries around the world. There is increasing pressure upon faculty to have a basic qualification in medical education, which allows them to continue teaching their students and/or trainees, however, these are not available for many educators, particularly those with additional clinical and academic responsibilities and those in low resource settings. 2018년, 전 세계 교육자들의 요구를 해결하고 이들이 글로벌 실무 커뮤니티로 진출할 수 있도록 돕기 위해 일부 ESME 과정을 AMEE 의학 교육 전문가 자격증으로 통합하는 방안이 제안되어 합의되었습니다. AMEE 전문가 인증서는 의학교육에 대한 시간, 자금 또는 학위 수여 프로그램을 이용할 수 없는 개인에게 상황과 경력 목표에 맞게 개별적으로 조정할 수 있는 유연한 프로그램을 제공함으로써 국제적으로 인정받는 의학교육 인증서를 취득할 수 있는 기회를 제공하는 것을 목표로 합니다. 이 인증서는 AMEE에서 인정하는 4개의 과정으로 구성되어 있으며, 이를 통해 개인이 지정된 학습 결과를 달성했음을 증명할 수 있습니다. 이러한 과정은 전 세계의 다양한 컨퍼런스(AMEE 연례 컨퍼런스 포함) 및 기타 장소에서 온라인으로 운영됩니다. 현재까지 수백 명의 교육자가 자격증을 취득했거나 취득을 위해 노력하고 있으며, 자격증이 자신감, 역량 및 경력에 긍정적인 영향을 미치고 있다고 보고하고 있습니다. In 2018, it was proposed and agreed to combine some of the ESME courses into an AMEE Specialist Certificate in Medical Education aimed at addressing the needs of educators globally and helping them to move into the global community of practice. The AMEE Specialist Certificate aims to give individuals (who may not have the time, funding for or access to award bearing programmes in medical education) opportunities to gain an internationally recognised Certificate in Medical Education, through the provision of a flexible programme, which can be individually tailored to suit circumstances and career aspirations. The Certificate comprises four courses recognised by AMEE, which together demonstrate that an individual has achieved the specified learning outcomes. Such courses are run online, around the world at various conferences (including the AMEE annual conference) and in other locations. To date, hundreds of educators have obtained or are working towards their Certificate and reporting that this is having a positive impact on their confidence, competence, and careers.

 

박스 9 학생과 의사의 기후 변화 운동. Box 9 Student and doctor climate change activism. 학교 학생, 보건 전공 학생 및 보건 전문가들이 '활동가'가 되어 정부에 긴급한 조치를 취하도록 로비를 벌이고 있습니다. 예를 들면 다음과 같습니다: School students, health professional students and health professionals have become ‘activists’, lobbying governments to take urgent action. Examples include: #미래를 위한 금요일: 2018년 8월, 15세 소녀 그레타 툰베리가 기후를 위한 학교 파업을 시작하면서 시작된 글로벌 기후 파업 운동입니다. #FridaysforFuture: A global climate strike movement that began in August 2018 when 15-year-old Greta Thunberg began a school strike for climate. 국제 의과대학 학생회 연맹: 건강 문제에 관한 정책 문서를 발표하고 국가별 국제 회의에 참석하는 등 활발한 활동을 펼치고 있습니다. 최근 정책 문서로는 건강 형평성, 건강 비상사태(2020년 8월), 건강, 환경 및 기후 변화(2020년 3월)가 있습니다. The International Federation of Medical Students’ Association: Active in terms of publishing policy documents on health issues and attending national international meetings. Recent policy documents include Health Equity, Health Emergencies (Aug 2020) and Health, Environment and Climate Change (March 2020). 멸종 반란을 위한 의사들: 웹사이트에는 다음과 같이 적혀 있습니다: ".... 기후 변화가 임박한 공중 보건 재앙임을 인식하고, 멸종 반란과 함께 시민 불복종에 착수하기로 결정했습니다." Doctors for Extinction Rebellion: On their website, they write the following: “…. Appreciating that Climate Change is an impending public health catastrophe, have decided to undertake Civil Disobedience with Extinction Rebellion”

 

상자 10 캐나다의 수평적 및 수직적 리더십 개발. Box 10 Horizontal and vertical leadership development in Canada. "RCPSC와 캐나다 의과대학 학부협회(AFMC)는 리더십 교육을 UGME(MD 교육)와 PGME(레지던트 교육) 모두에서 중점적으로 고려할 것을 권장했습니다. "직업적 책임, 자기 인식, 피드백 제공 및 받기, 갈등 해결, 변화 관리, 리더, 조력자 또는 팀원으로서 팀의 일원으로 일하는 것"에 초점을 맞출 것을 권장했습니다.  대부분의 프로그램은 리더십 교육의 일부로 캐나다 의사협회(CMA)에서 제공하는 것과 같은 활동을 포함한 선택적 활동에 대한 접근을 용이하게 합니다:  레지던트와 의사를 위한 리더십 교육은 일반적으로 유료 과정(https://joulecma.ca/learn. . . )을 통해 제공됩니다. “RCPSC and the Association of Faculties of Medicine of Canada (AFMC) have recommended that leadership training be considered a focus in both UGME (MD training) and PGME (residency training). The recommendation was to focus on “professional responsibilities, self-awareness, providing and receiving feedback, conflict resolution, change management, and working as part of a team as a leader, facilitator, or team member.”  The majority of programs facilitate access to optional activities as part of their leadership offer which include activities such as these provided by the Canadian Medical Association (CMA):  https://www.cma.ca/physician-wellness-hub/resources/leadership-professional-development/leadership-development-courses-for-medical-students-and-residents. . . .  Training in leadership for residents and physicians is usually facilitated through fee-paying courses (https://joulecma.ca/learn. . . . ). 리더십 개발은 캐나다의 학부 의학교육(UGME)의 커리큘럼에도 포함되어 있습니다. 다음은 오타와 대학교의 예입니다:   Leadership development is also included in the curricula in undergraduate medical education (UGME) in Canada. This is an example from the University of Ottawa:  https://med.uottawa.ca/undergraduate/education/social-accountability/associated-programs/leadership. . . .

박스 11 리더십에 대한 문화적 관점. Box 11 Cultural perspectives on leadership. 리더십에 대한 동남아시아의 관점 South-East Asian perspectives on leadership 동남아시아 국가에서는 문화적 가치가 강력하게 자리 잡고 있으며 삶의 모든 측면에 영향을 미칩니다. 이 지역 국가들의 다양한 인종, 지리적 분포, 정부 정책, 교육 및 의료 시스템으로 인해 보건 전문직 교육에서 문화적 가치가 리더십에 미치는 영향을 논의하기 위해서는 포괄적인 이해와 역동적인 접근이 필요합니다. 호프스테드의 문화적 가치에 따르면 이 지역은 높은 권력 거리 또는 위계질서, 집단주의, 불확실성 회피, 장기적 지향, 남성성과 여성성의 균형이 특징이며, 이를 잘 인식하고 관리하는 리더가 있어야 필요한 변화가 일어날 수 있습니다. Cultural values are strongly held and influence all aspects of life in South-East Asian countries. With diverse ethnicities, geographical distribution, governmental policies, education and healthcare systems in the countries within this region, discussing the impact of cultural values on leadership in health professions’ education requires comprehensive understanding and a dynamic approach. Based on Hofstede’s cultural values, this region is characterised by high power-distance or hierarchy; collectivism; uncertainty avoidance; long-term orientation, and a balance of masculinity and femininity, which are best aware and managed with by the adaptive leaders hence necessary changes can take place. 리더십에 대한 중동의 관점 Middle Eastern perspectives on leadership 중동 아랍 국가들은 신뢰에 뿌리를 둔 독특한 문화 유산을 가지고 있습니다. 개인은 일반적으로 꾸란의 원칙에 따라 자신의 유산을 소중히 여기고 종교적 신념과 중요한 관계를 보존합니다. 이러한 문화는 중동의 일반적인 리더십 스타일과 리더와 추종자 간의 관계를 규정하는 요소에 큰 영향을 미칩니다. 이러한 관점에서 볼 때 중동 리더십 스타일의 고유한 특징은 다음과 같습니다: 높은 권력-거리, 탁월함을 바탕으로 한 신뢰 구축, 모든 사람에게 사명과 역할이 있음, 개방적인 문화, 개별 의사 결정과 협의의 균형. Middle Eastern Arab countries have a unique cultural heritage that is rooted in trust. Individuals are generally guided by the Quran's principles: they value their heritage and preserve their religious beliefs and relationships of importance. This culture has a profound effect on the common leadership styles in the Middle East and on the factors regulating the relationships between leaders and their followers. From this perspective, the following are unique characteristics for the middle eastern leadership style: high power-distance; trust is built based on excellence; every person has a mission and a role to play; an open-door culture, and balance consultation with individual decision-making.

인지과학의 인사이트를 임상 술기 교육에 사용하기: AMEE Guide No. 155 (Med Teach, 2023)
Using insights from cognitive science for the teaching of clinical skills: AMEE Guide No. 155
Dario Cecilio-Fernandes, Rakesh Patel & John Sandars

실무적 시사점
Practical implication

교육자에게 현지 자원의 가용성과 기존 기술 교육 시스템을 고려하는 등 주요 인지 과학 전략을 현지 상황에 맞게 조정할 수 있는 기회를 제공할 것을 권장합니다(Cecilio-Fernandes와 Sandars 2021). 임상 술기 교육에 인지 과학의 인사이트를 적용하여 얻을 수 있는 이점을 완전히 실현하려면 교수진 개발이 필요합니다. 
We recommend that educators are provided with opportunities to adapt the main cognitive science strategies to their own local context, including consideration of the availability of local resources and existing systems of skills training (Cecilio-Fernandes and Sandars 2021). This requires faculty development if the benefit of applying insights from cognitive science for clinical skills training is to be fully realized.

이 가이드는 임상 술기 습득과 술기 쇠퇴 감소를 위한 선언적 및 절차적 지식의 중요성을 강조했습니다. 임상 술기 교육 시 선언적 지식과 절차적 지식을 가장 적절하게 조합하여 제공하기 위해서는 임상 술기 교육을 시작할 때 학습자의 술기 수준을 파악하는 것이 필수적이라고 권장합니다. 우리의 경험에 따르면 이 필수 단계는 임상 술기 교육에 포함되지 않는 경우가 많습니다. 학습자가 술기를 수행하는 동안 습득해야 하는 지식의 유형을 파악하면 교육자는 개별 학습자에게 교육을 제공할 수 있습니다.

• 예를 들어, 선언적 지식이 충분하지 않은 학습자는 이러한 지식 격차를 미리 해결하지 않으면 가장 기본적인 술기조차도 개발하는 데 어려움을 겪을 수 있습니다. 직접 또는 사전 교육용 객관식 퀴즈를 통해 구체적인 질문을 하면 선언적 지식의 결핍을 파악할 수 있습니다.
• 절차적 지식의 결핍은 개인이 기술을 수행하는 것을 관찰함으로써 파악할 수 있습니다.
• 반대로 선언적 지식이 있는 학습자는 훈련을 계속 진행하면서 더 정교한 절차적 지식과 더 큰 도전 과제를 개발하도록 지원할 수 있습니다.
• 일부 학습자는 선언적 지식과 절차적 지식이 모두 적절한 수준이지만 다양한 상황의 다양한 과제에서 두 가지 요소를 통합하는 데 어려움을 겪을 수 있습니다. 예를 들어, 혈압 측정을 시도하는 일부 학습자는 사지 기형이나 동정맥 누공이 있는 환자 등 신체적 특성이 다른 환자에 대해 이 기술을 올바르게 수행하지 못할 수 있습니다. 

The Guide has highlighted the importance of declarative and procedural knowledge for clinical skill acquisition and reduction in skill decay. In order to provide the most appropriate mix of declarative and procedural knowledge during clinical skills teaching, we recommend that identifying the skill level of the learner is essential at the start of any clinical skills teaching. Our experience is that this essential step is often not included in clinical skills teaching. Identifying what type of knowledge the learner needs to acquire during the performance of the skill allows the educator to provide training to the individual learner.

• For example, learners without sufficient declarative knowledge may struggle with developing even the most basic skills without addressing those knowledge gaps beforehand. Asking specific questions, either direct or by a pre-training multiple-choice quiz, can identify deficits in declarative knowledge.
• Deficits in procedural knowledge can be identified by watching individuals perform the skill.
• In contrast, learners with declarative knowledge could be supported to move on with their training and develop more sophisticated procedural knowledge and greater challenge on tasks.
• Some learners may have appropriate levels of both declarative and procedural knowledge but struggle to integrate both components across a range of tasks in different situations. For example, some learners attempting to measure blood pressure may be unable to correctly undertake the skill across patients with different physical attributes such as individuals with limb deformities or arteriovenous fistulae in situ.

많은 의료 교육자들이 흔히 하는 질문은 어떻게 시작해야 하는가입니다. 각 상황에 따라 다르므로 간단한 답은 없지만, 의학교육자는 가장 많은 근거가 있는 전략부터 시작하는 것이 좋습니다.
A common question of many medical educators is how to start. Although there is no simple answer as it will depend on each context, we recommend that medical educators start with the strategy with the most evidence.

피드백, 간격 및 검색 연습은 의학교육을 포함하여 가장 높은 수준의 근거를 가진 전략입니다. 더 중요한 것은 선언적 및 절차적 지식을 포함한 임상 술기 교육의 효과를 입증하는 연구가 있다는 것입니다. 선언적 지식에 크게 의존하는 술기에서는 반복 학습과 인터리빙이 더 많은 증거를 가지고 있으며, 대부분 인지 심리학에서 나온 것입니다. 정교화와 생성은 임상 술기 교육에 대한 근거가 가장 적은 두 가지 개념입니다. 또한 이 두 개념은 검색 연습 및 피드백과 밀접한 관련이 있으므로 두 개념 모두 독립적인 개념이 아니라 검색 연습 및 피드백의 일부로 사용하는 것이 가장 적합할 수 있습니다.
Feedback, spaced and retrieval practice are strategies with the highest level of evidence, including in medical education. More importantly, there are studies demonstrating the effect of clinical skills training, including declarative and procedural knowledge. Overlearning and interleaving have more evidence in skills that are heavily dependent on declarative knowledge and most of them are from cognitive psychology. Elaboration and generation are two concepts with the least amount of evidence for clinical skills training. Those concepts are also closely related to retrieval practice and feedback, thus both concepts may be optimal as part of retrieval practice and feedback, instead of standalone concepts.

이 글에서는 임상 술기 교육에서 근거 기반 인지 과학 전략을 어떻게 구현할 수 있는지에 대한 예시를 제공합니다:
We provide an illustrative example of how evidence-based cognitive science strategies can be implemented in clinical skills training:

임상 술기 교육의 예시입니다: 고급 생명 유지 교육
Illustrative example of clinical skills training: Advanced life support training

고급 생명 유지(ALS)에는 청진, 심전도 해석, 다양한 약물 처방 등 여러 임상 기술이 필요합니다. 학습자가 직면한 과제는 방대한 양의 선언적 지식과 절차적 지식을 통합하는 것입니다. 표 1에서는 루게릭병 교육에 증거 기반 인지 과학 전략을 실제로 구현할 수 있는 방법에 대한 개요를 제공합니다(표 1). 표 1은 가장 많은 근거를 가진 전략과 그 전략이 중요한 이유, 수행 방법에 대한 설명이 순서대로 나열되어 있습니다.
Advanced Life Support (ALS) requires multiple clinical skills, including auscultation, interpretation of electrocardiograms, and prescribing a variety of medications. The challenge for learners is the integration of a large volume of declarative and procedural knowledge. In Table 1, we provide an overview of how evidence-based cognitive science strategies can be practically implemented into ALS training (Table 1). Table 1 is ordered by the strategy with the most evidence, and a description of what to do, why it is important, and how to do.

 

그림 1은 왼쪽에 근거 기반 인지 과학 전략을 사용한 루게릭병 입문 과정의 교육 설계를 보여줍니다. 오른쪽은 동일한 과정의 전통적인 설계입니다. 이 과정은 4개의 스킬 로테이션과 워크샵으로 나누어 진행되었습니다:

1. 관련 리저스 스킬
   
2. 평가에 대한 ABCDE 접근 방식 IIO
   
3. 리듬 인식
   
4. 고품질 CPR 및 제세동

Figure 1 shows on the left side a training design of an introduction to ALS course using evidence-based cognitive science strategies. On the right side is the traditional design of the same course. This course was divided into four skill rotations and workshops:

1. Associated Resus Skills
2. The ABCDE Approach to assessment inc IIO
3. Rhythm Recognition
4. High-quality CPR and Defibrillation

또한 이 코스에는 6개의 심장마비 시나리오(CAS)가 있어 학생들은 시뮬레이션된 임상 시나리오를 연습할 수 있습니다.
Also, in the course there are 6 Cardiac Arrest Scenarios (CAS) in which students have the opportunity to practice simulated clinical scenarios.

 

추가 개발 및 평가
Further development and evaluation

인지 과학은 인지 모델링의 복잡성을 발전시키고 신경 과학과 명시적으로 연결되는 흥미진진하고 진화하는 분야입니다. 인지 모델은 이제 활성화될 뇌 영역을 예측하여 선언적 지식과 절차적 지식이 상호 작용하는 방식에 대한 정보를 제공하고 복잡한 기술을 습득하는 방식에 대한 시사점과 통찰력을 제공할 수 있습니다(Borst and Anderson 2013, Taatgen 2013). 수학 교육에 사용되는 지능형 튜터의 성공적인 개발(Anderson 외. 1995)에 이어, 이제 인지 과학 원리를 임상 술기 교육에 어떻게 구현할 수 있는지 고려할 수 있는 기회가 생겼습니다. 인지 과학은 임상 추론과 같은 과제를 위한 이론 중심의 지능형 튜터를 설계하는 데 도움이 될 수 있으며, 전문가가 항상 참석하여 성과를 관찰하고 피드백을 제공할 필요를 없애줍니다. 요즘에는 다양한 피드백 시스템이 포함된 시뮬레이터를 사용하여 임상 술기에도 이러한 작업이 가능할 수 있습니다. 예를 들어, 복강경 시뮬레이터에는 인지 과학의 증거를 사용하여 개선할 수 있는 햅틱 피드백 시스템이 포함되어 있습니다. 또한 시뮬레이터는 수행 수준을 측정하고 다른 훈련 세션이 필요한 시기를 알려줄 수도 있습니다. 인지 과학은 또한 학습자가 과제를 수행하는 데 필요한 인지 처리량이 개인적으로 투자해야 하는 양을 초과할 때 더 높은 수준의 어려움을 경험할 때 주어진 과제에 대한 이해를 높이는 데 도움이 될 수 있습니다(Korbach 외. 2017). 예를 들어, 학습자가 초음파의 모든 구성 요소를 숙지하지 않은 상태에서 비만 환자에 대한 초음파 검사를 수행하도록 요구하면 초음파 검사를 성공적으로 수행하지 못하고 환자 치료가 손상될 수 있습니다. 
Cognitive science is an exciting and evolving field that has advanced in the complexity of cognitive modeling as well as making an explicit connection with neuroscience. Cognitive models can also now predict the areas of the brain that will be activated, providing information on how declarative and procedural knowledge interact, with implications and insights for how complex skills are acquired (Borst and Anderson 2013; Taatgen 2013). Following the successful development of intelligent tutors used for teaching mathematics (Anderson et al. 1995), there is now an opportunity to consider how cognitive science principles can be implement to clinical skills training in HPE. Cognitive science may help in the design of theory-driven intelligent tutors for tasks such as clinical reasoning, removing the need for an expert to always be present for observing and giving feedback on performance. This may also be feasible for clinical skills with the use of simulators, which nowadays include many feedback systems. For example, laparoscopic simulators have included a haptic feedback system, which can be improved by using evidence from cognitive science. The simulators could also measure the level of performance and indicate when another training session is necessary. Cognitive science may also help increase understanding around given learners experience greater levels of difficulty when the amount of cognitive processing necessary to execute a task exceeds what they have to personally invest into it (Korbach et al. 2017). For example, requiring learners to perform an ultrasound exam on an obese patient without mastering all the components of the ultrasound will lead to an unsuccessful performance of the ultrasound while compromising patient care.

보건의료전문직 교육에서 학생참여: AMEE Guide No. 152 (Med Teach, 2022)
Student engagement in health professions education: AMEE Guide No. 152
Salah Eldin Kassaba,b , David Taylorc and Hossam Hamdyc