인공지능 학술활동: 보건의료전문직 연구에서 LLM (Adv Health Sci Educ Theory Pract. 2023)
Artificial scholarship: LLMs in health professions education research
Rachel H. Ellaway1 · Martin Tolsgaard2
이 사설은 누가 썼나요? 저자로 우리 두 명이 이름을 올렸는데, 이 논문이 인공지능(AI)이 작성한 것이 아니라고 어떻게 확신할 수 있을까요? 아니면 AI가 공개되지 않은 제3의 저자였다면 어떻게 해야 할까요? 또는 이 논문이 작성된 시점부터 여러분 앞에 도착할 때까지 여러 AI에 의해 편집되었다면 어떻게 해야 할까요? 인간과 기계를 구분할 수 없거나 학술 논문이 인간과 AI가 생성한 자료의 혼합물인 경우 이 작업은 어떤 권한을 갖나요? 이러한 작업에 대한 책임은 누가 지나요? 학문에 어떤 영향을 미칠까요? 이것이 이 사설의 출발점입니다.
Who wrote this editorial? There are two of us named as authors, but how can you tell that this paper wasn’t written by a some kind of artificial intelligence (AI)? Or perhaps an AI was an undisclosed third author, what then? Or what if this paper has been edited by multiple AIs between the time we wrote it and it arrived in front of you? What authority does this work have if you cannot tell humans from machines, or you cannot tell when an academic paper is a hybrid of human and AI generated material? Who is accountable for such work? What are the implications for scholarship? These are the starting points for this editorial.
우려 사항
Concerns
인공지능에 대한 실질적인 연구와 개발은 차치하고서라도, 인공지능은 오랫동안 문화적 밈이 되어 왔으며, 거의 항상 위협적인 존재로 묘사되어 왔습니다(예: HAL, 매트릭스, 다양한 터미네이터, 울트론 등). 인공지능을 실제로 만나기 시작한 지금, 인공지능이 유용한 기술인지 아니면 실존하는 위협인지에 대해 의견이 분분한 것은 당연한 일입니다. 그렇다면 '인공지능'이란 무엇을 의미할까요? 현재 대부분의 대화는 대규모 언어 모델(LLM)로 알려진 도구 제품군 중 가장 잘 알려진 ChatGPT를 언급하고 있으며, 다른 도구로는 Google Bard와 Microsoft Bing 등이 있습니다. 이러한 LLM은 복잡한 텍스트 입력을 처리하고 사람이 생성한 것과 구별하기 어려운 텍스트 응답을 제공할 수 있습니다. 이러한 새로운 LLM의 힘과 능력 때문에 Springer Nature(출판사)는 출판하는 논문에 LLM을 저자로 등재하는 것을 금지하고 있습니다:
Setting aside the substantial research and development into AI, artificial intelligence has long been a cultural meme, almost always portrayed in terms of a threat (such as HAL, The Matrix, various Terminators, and Ultron, to name but a few). Not surprisingly then, now that we are beginning to encounter very real artificial intelligences, opinions are divided as to whether they are useful technologies or existential threats. But what do we mean by ‘AI’? Currently, much of the conversation refers to ChatGPT, which is currently the best known of a family of tools known as large language models (LLMs); others include Google Bard and Microsoft Bing. These LLMs can process complex textual inputs and provide textual responses that can be hard to distinguish from those generated by humans. Such is the power and capacity of these emerging LLMs that Springer Nature (our publisher) has banned LLMs from being listed as authors on articles it publishes:
"첫째, 어떤 LLM 도구도 연구 논문의 공저자로 인정되지 않습니다. 저자의 귀속에는 작업에 대한 책임이 수반되며, 기계로서의 AI는 그러한 책임을 가질 수 없기 때문입니다. 둘째, LLM 도구를 사용하는 연구자는 방법 또는 인정 섹션에 이러한 사용을 문서화해야 합니다." (Anon 2023)
“First, no LLM tool will be accepted as a credited author on a research paper. That is because any attribution of authorship carries with it the expectation of accountability for the work, and AIs as machines cannot have such responsibility. Second, researchers using LLM tools should document this use in the methods or acknowledgements sections.” (Anon 2023)
실제로 우리는 이미 학술 논문을 작성하기 위해 LLM을 사용하는 연구자들과 비인간 저자를 식별하고 잠재적으로 차단하기 위해 LLM 탐지 도구를 개발하는 출판사 간에 군비 경쟁을 벌이고 있는 것처럼 보입니다. AI를 활용하는 학자와 그렇지 않은 학자를 구분하는 것이 중요한 이유는 무엇일까요? 기존의 LLM이 진정으로 생성적이라고 가정한다면(물론 새로운 구성이긴 하지만 이미 쓰여진 것을 재현하는 경우가 많기 때문에 과장된 표현일 수 있습니다), 이러한 이유만으로 그들의 도움을 받아 생산된 과학이 반드시 열등한 것일까요? 이전 시대에도 비슷한 우려가 제기되었습니다(예: 라디오, 텔레비전 또는 인터넷을 도입할 때)(Rosen et al., 1987). 다시 말해, LLM이 사람보다 더 잘 쓰여지고, 편향성이 적고, 간결하고, 접근성이 높은 논문을 작성할 수 있다면 그 논문이 더 우수한 결과물이 아닐까요? 물론 이것은 글쓰기의 '방법'과 '내용'을 분리하는 것으로, LLM이 잘 쓰여진 논문을 작성할 수 있을지는 몰라도 무엇을 쓰고 있는지, 정보와 아이디어가 어디에서 나오는지에 대한 의문은 여전히 남아 있습니다. 이는 논문에 이름을 올린 모든 저자가 반드시 지켜야 할 학술적 저자에 대한 ICMJE의 권고 사항의 기본 원칙입니다:
Indeed, we already seem to be in an arms race between those using LLMs to generate academic papers and publishers developing LLM detection tools to identify and presumably stop non-human authorship. Why is it important to distinguish between AI-augmented scholars and those who are not using AI? Assuming that the existing LLMs are truly generative (which admittedly may be a stretch since they often reproduce what has already been written, albeit in new configurations), is the science produced with their help necessarily inferior for this reason alone? Similar concerns were voiced in previous eras (for example, when introducing the radio, television, or the Internet (Rosen et al., 1987). Put another way, if an LLM can produce a paper that is better written, less biased, more concise, and more accessible than a human can then is that not a superior product? Of course, this separates the ‘how?’ of writing from the ‘what?’, an LLM might be able to produce a well-written paper but there is still the question as to what is being written about and where the information and ideas come from. It is a fundamental tenet of the ICMJE’s recommendations on academic authorship that all named authors on a paper have made:
"저작물의 개념 또는 설계, 또는 저작물을 위한 데이터의 수집, 분석 또는 해석에 대한 실질적인 기여, 저작물의 초안 작성 또는 중요한 지적 내용에 대한 비판적 수정, 출판될 버전의 최종 승인, 저작물의 정확성 또는 무결성과 관련된 문제가 적절히 조사되고 해결될 수 있도록 저작물의 모든 측면에 대해 책임을 지는 데 동의합니다." (ICMJE nd)
“Substantial contributions to the conception or design of the work; or the acquisition, analysis, or interpretation of data for the work; AND drafting the work or revising it critically for important intellectual content; AND final approval of the version to be published; AND agreement to be accountable for all aspects of the work in ensuring that questions related to the accuracy or integrity of any part of the work are appropriately investigated and resolved.” (ICMJE nd)
이를 위해서는 LLM이 연구를 공동 설계하고, 연구 실행에 밀접하게 참여했으며, 논문 작성에 밀접하게 관여하고, 논문을 승인하고, 저자가 될 자격을 갖추기 위해 책임을 져야 합니다. 저술에 기여하는 것만으로는 충분하지 않습니다. AHSE는 ICMJE의 권고사항을 전적으로 지지하며, 이러한 권고사항은 저자의 역량에 중점을 두고 있습니다. 이번 호의 '누가 이 논문의 저자가 되어야 하는가'에 대한 질문과 답변 기사도 참조하시기 바랍니다(Kuper 외. 이번 호).
This would require an LLM to have co-designed a study, been intimately part of its execution, been intimately involved in writing the paper, approved it, and stood accountable for it to be eligible to be an author. Contributing to the writing alone is not sufficient. AHSE fully supports the ICMJE recommendations and these firmly centre on the capabilities of human authors. Please also see this issue’s Questions and Queries article on ‘Who Should Be an Author on This Paper?’ (Kuper et al. THIS ISSUE).
스프링거 네이처에 게재된 논문을 포함하여 출판되고 있는 많은 입장 논문과 관점에서는 이러한 문제만이 제기되고 있는 것은 아닙니다. 예를 들어, Seghier 는 단일 언어(영어)와 문화(미국)가 지배하는 기술에 대한 형평성과 문화적 우려에 대해 언급했습니다:
These are not the only issues being raised in the many position papers and perspectives being published including those in our own Springer Nature imprint (see https://www.nature.com/search?q=chatgpt&order=relevance) For instance, Seghier noted equity and cultural concerns of a technology dominated by a single language (English) and culture (US):
"프랑스어와 아랍어는 세계에서 가장 일반적으로 사용되는 언어 중 하나이며 인터넷에서 널리 사용되고 있습니다. 하지만 ChatGPT에서 두 언어의 풍부한 응답과 글의 명료성은 영어에 비해 현저히 떨어졌습니다." (세기어 2023)
“French and Arabic are among the world’s most commonly spoken languages and they have a widespread presence on the Internet. However, the richness of ChatGPT’s response and the intelligibility of its writing in both languages were notably inferior to those in English.” (Seghier 2023)
잠재적 이점
Potential benefits
'기계의 부상'을 두려워하고 저항해야 할까요? 글쎄요, 반드시 그럴 필요는 없습니다. LLM이 유용한 역할을 할 수 있는 것은 분명합니다. 예를 들어, 의학 교육 문헌이 영어권 국가와 영어를 제2외국어로 구사하는 사람들의 기여에 의해 주도되고 있다는 점을 고려할 때, 언어가 이미 영어가 모국어가 아닌 사람들을 불리하게 만드는 장벽을 형성하고 있습니다. 이러한 맥락에서 언어 장벽을 줄일 수 있는 방식으로 원고를 번역하고 교정하는 데 LLM을 활용할 수 있으며, 이를 통해 영어가 모국어가 아닌 국가의 학술적 작업이 보다 동등한 입장에서 고려될 수 있습니다. 물론 영어를 모국어로 사용하는 사람 중에도 이러한 교정의 혜택을 받을 수 있는 사람이 많습니다. 실제로 제출하기 전에 이미 LLM을 통해 자신의 글을 교정하는 동료들이 있습니다. 이것이 적절하지 않다고 생각한다면 Grammarly나 맞춤법 검사기를 사용하는 것과 어떤 차이가 있는지 스스로에게 물어보세요. 이러한 종류의 질문에 대한 답은 LLM을 통해 얼마나 많이 변경되거나 '개선'되고 있는지에 달려 있습니다. 예를 들어, AI 커뮤니티에서 몇몇 유명 학회에서는 제출된 저작물을 생성하는 데 LLM을 사용하는 것을 금지하고 있지만, 사람이 생성한 콘텐츠를 다듬는 데는 허용하고 있습니다. (Vincent, 2023)
Is this ‘rise of the machines’ to be feared and resisted? Well, not neccessarily, clearly LLMs can play useful roles. For instance, given that the medical education literature is dominated by contributions from English-speaking countries and those competent in English as a second language, language already creates a barrier that puts non-native English speakers at a disadvantage. In this context, LLMs could be used to translate and correct manuscripts in ways that could reduce language barriers, thereby allowing scholarly work from non-native English-speaking countries to be considered on a more equal footing. Of course, there are also many native English speakers whose writing could benefit from this kind of copy-editing. Indeed, we have colleagues who are already using LLMs to proof their written work prior to submission. If you think this is not appropriate, then ask yourself how different this is from using Grammarly or a spell checker. Answering these kinds of questions comes down to how much is being changed or ‘improved’ by the LLM. For example, in the AI community, several high-profile conferences have prohibited the use of LLMs in generating work submitted to them, but they allow its use in refining human-generated content. (Vincent, 2023)
작문 지원만이 보건 전문직 교육 연구에서 LLM의 유일한 잠재적 역할은 아닙니다. 예를 들어 문헌 검토를 위해 정보를 수집하거나 정보를 신속하게 종합하는 데 LLM을 활용할 수 있습니다. 체계적 문헌고찰을 지원하는 사서의 업무를 LLM에게 맡기는 것은 어떨까요? 이 작업은 사람을 고용하는 것보다 더 빠르고 저렴할 수 있지만, 연구 과정에서 점점 더 많은 사람을 배제할 경우 어떤 영향을 미칠지 예측하기 어려울 수 있습니다. 넘지 말아야 할 윤리적 선이 있지만, 그 선이 어디에 있는지, 상황에 따라 언제 어떻게 변하는지는 여전히 불분명합니다.
Writing support is not the only potential role for LLMs in health professions education research. LLMs could be used to gather information, for instance for a literature review, or conduct a rapid synthesis of a body of information. What about getting LLMs to do the work of librarians in support of systematic reviews? This might be faster and cheaper than engaging humans to do this work but the impacts of removing more and more humans from research processes may be unpredictable at best. There are ethical lines that will need to be drawn (and not crossed), but quite where these lines are and how and when they shift according to context remains unclear.
학술 업무에서의 윤리와 진실성
Ethics and Integrity in Academic Work
학술적 글쓰기에 AI를 사용하는 것에 반대하는 사람들이 모든 기술적 지원을 피하려는 것이 아니라는 점에 유의하는 것이 중요합니다. 많은 학자들이 Grammarly와 같은 도구를 사용하여 글쓰기에 도움을 받을 뿐만 아니라 참조 관리자, 데이터베이스, 기타 다양한 웹 서비스 및 리소스를 사용하고 있습니다. 실제로 이 사설은 저자들의 노트북에서 Microsoft Word를 사용하여 작성되었고, 캘거리와 코펜하겐에서 이메일을 통해 초안을 교환했으며, 스프링거의 도구와 기술을 사용하여 이 원고를 제출하고 처리했습니다.
- 이것이 허용되는 증강이라면 허용되는 AI 증강과 허용되지 않는 AI 증강 사이에 의미 있는 경계를 어떻게 그릴 수 있을까요?
- 직업적 무결성과 책임감을 잃지 않으면서 기술 사용이나 의존을 어느 정도까지 허용할 수 있을까요(또는 허용할 수 있을까요)?
It is important to note that those opposing the use of AI in academic writing are not seeking to eschew all technological supports. Many scholars use tools such as Grammarly to help them in their writing, as well as using reference managers, databases, and a cornucopia of other Web services and resources. Indeed, this editorial was written on the authors’ laptops using Microsoft Word, we exchanged drafts between Calgary and Copenhagen via email, and we submitted and processed this manuscript using Springer’s tools and technologies.
- If these are acceptable augmentations, then how do we draw a meaningful boundary between accepted and non-accepted AI-augmentation?
- How much technology use or dependence can there be (or will we accept) without losing professional integrity and accountability?
결국, 이러한 기술이 오용될 수 있는 만큼 아이디어 생성, 텍스트 초안에 대한 피드백 받기, 언어 수정, 구조 제공, 반복적인 작업 완료 등 매우 유용할 수도 있습니다. 또한, 아직은 권장할 만한 수준은 아니지만, 궁극적으로는 AI를 사용하여 학술지에 제출된 논문을 선별하고, 인간 심사자를 확보할 수 없는 경우 심사자를 대신할 수도 있습니다. 심지어 언젠가는 일부 저널이 거의 전적으로 AI에 의해 운영될 수도 있습니다. 그렇게 되면 처리 시간이 대폭 단축되겠지만, 과연 얼마나 신뢰할 수 있고 공정할까요? 결국 크뤼겔 외(2023)는 LLM이 도덕성은 없지만 (아마도) 이러한 능력을 가진 인간에게 큰 영향을 미칠 수 있다는 도덕적 우려를 제기했습니다.
After all, as much as these technologies could be misused, they can also be very useful, for instance in generating ideas, getting feedback on drafts of text, revising language, providing structure, or completing repetitive tasks. Moreover, although not yet advisable, AI might eventually be used to screen articles submitted to journals such as ours and even to substitute for reviewers when human reviewers cannot be secured. It might even be the case that some journals might someday be run almost entirely by AIs. Processing times would be cut drastically if this were the case, but how reliable and fair would this be? After all, Krügel et al. (2023) raised moral concerns that LLMs have no morality and yet can be very influential of humans who do (presumably) have this capability.
또 다른 예로, 캘리포니아 버클리 대학교 컴퓨터 연구소의 연구원들은 ChatGPT 출시 직후 유능한 과학자를 식별하는 스크립트를 만들 때 AI 모델이 비남성 및 비백인 과학자에 대한 편견을 보였다는 사실을 입증했습니다(Alba, 2022). 이러한 모든 기술에는 제작자의 편견이 반영될 것이며, 잠재적으로 학습하는 자료에 이러한 편견이 반영되어 공정성이 구조적 편견에 의해 공허해질 수 있다는 것은 공리입니다. 또한 대부분의 LLM이 명시적 콘텐츠 알고리즘이 아닌 적응형 심층 강화 학습을 사용하기 때문에 제작자가 이를 완전히 이해하지 못한다는 점도 우려됩니다(명시적 콘텐츠 알고리듬은 ADRL과 경쟁하기에는 너무 번거롭고 성능이 부족한 것으로 입증됨).
As another example, researchers at the computer lab at Berkeley, University of California, demonstrated shortly after the release of ChatGPT that the AI model exhibited bias against non-male and non-white scientists when tasked with creating a script to identify competent scientists (Alba, 2022). It is axiomatic that all such technologies will reflect their creators’ biases and potentially that in the materials they train on such that their impartiality is hollowed out by structural bias. It is also concerning that most LLMs are not fully understood by their makers as they use adaptive deep reinforcement learning rather than explicit content algorithms (the latter having proved too onerous and underpowered to compete with ADRL).
이러한 문제에도 불구하고 이러한 새로운 기술을 도입하려는 움직임은 분명합니다. 이 사설을 준비하는 동안에도 학자들에게 글쓰기와 연구에 LLM을 사용하도록 가르치는 강좌 광고가 쏟아져 나왔습니다. 예를 들어, 스틸과 파리보르지의 온라인 강좌(2023년)는 학자들에게 문헌 검토(검색 수행, 논문의 관련성 및 품질 평가, 검색 결과 분석 및 종합)를 자동화하고, 논문 작성(문헌 종합, 논문 초안 작성, 제출 준비, 검토자 및 편집자에게 응답)의 일부가 되며, "복잡한 연구 목표를 잠재적인 국가 및 기타 자금 지원 기관을 위해 설득력 있고 소화 가능한 콘텐츠로 종합"하기 위해 LLM을 사용하여 보조금 작성법을 가르친다고 제안했습니다. 준비가 되었든 안 되었든, 지니는 이미 병에서 나왔습니다.
These problems notwithstanding, the rush to employ these emerging technologies is clear. Even as we were preparing this editorial, we have been bombarded by advertisements for courses teaching scholars to use LLMs in writing and research. As an example, an online course from Steel and Fariborzi (2023) offered to teach scholars to use LLMs to automate literature reviews (conducting searches, assessing the relevance and quality of papers, and analyzing and synthesizing the results of searches), to be a part of authoring papers (by synthesizing the literature, drafting papers, preparing them for submission, and responding to reviewers and editors), and grant writing by using LLMs to “synthesize complex research goals into compelling and digestible content for potential national and other funding bodies”. Ready or not, the genie is out of the bottle.
LLM이 데이터를 수집 및 종합하고 연구 결과에 대한 논문을 작성하는 임무를 맡게 되면 어떻게 될까요? 인간 연구자나 저자가 할 수 있는 것보다 훨씬 더 빠른 속도로, 적어도 스타일적으로는 훨씬 더 높은 품질로 이 작업을 수행할 수 있다면 어떻게 될까요? 저널 측의 LLM이 이러한 LLM이 생산한 논문을 검토하고 수락 및 거부한다면 어떻게 될까요? LLM이 다른 LLM이 출판할 논문을 편집하고 수정하여 다른 LLM이 이를 소비하도록 한다면 어떻게 될까요? 학술 출판의 모든 작업이 사람의 손길 없이 이루어질 수 있다면 어떻게 될까요? 이는 다소 불가능해 보일 수 있지만 결코 불가능한 것은 아닙니다.
What happens if LLMs are tasked with gathering and synthesizing data and writing papers on their findings? What happens if they can do this at a much greater rate and, stylistically at least, of a much higher quality than human researchers or authors can manage? What happens if LLMs on the journals’ side are reviewing and accepting and rejecting these LLM-produced papers? What happens if LLMs are editing and revising papers, for other LLMs to publish, so that yet other LLMs consume them? If all of the tasks of academic publishing can be accomplished without human input, then what? While this may seem rather improbable, it is by no means impossible.
그러나 학문적 버전의 스카이넷에 대한 디스토피아적 불안감에 빠지기보다는, 기계가 모방할 수 없거나 모방하려고 해서는 안 되는 인간만이 할 수 있고 할 수 있는 일이 무엇인지 생각해 볼 필요가 있습니다. 예를 들어,
- 인간의 지혜, 창의성, 판단력은 모방할simulated 수는 있지만 모방할emulated 수는 없으며,
- [인간의 정서적 강점과 취약성]을 모두 갖춘 윤리적 사고가 우리가 하는 일에 필요하며,
- 서로에 대한 책임감은 학문 활동에서 타협할 수 없는 부분이라고 제안할 수 있습니다.
인간과 AI는 서로 다른 영역에서 뛰어난 능력을 발휘하기 때문에 문제는 AI가 인간을 대체할 것인가가 아니라, AI와 어떻게 협력하여 AI나 인간 혼자서는 불가능했던 결과를 달성할 수 있는가일 수 있습니다.
However, rather than descending into dystopian anxiety over the academic version of Skynet, perhaps we should ask what it is humans can and do add that machines cannot or should not seek to emulate. We would suggest for instance
- that human wisdom, creativity, and judgment might be simulated but not emulated,
- that ethically minds that have both human emotional strengths and fragilities are required to do the work we do, and
- that accountability to each other is a nonnegotiable part of academic activity.
Since humans and AI excel in different areas, the question may not be whether AI will replace us, but rather, how can we collaborate with AI to achieve results that were not possible for either AI or humans alone.
HPE 연구 및 출판에 대한 시사점
Implications for HPE research and publishing
LLM 및 기타 AI가 연구, 실용적, 윤리적, 도덕적으로 미치는 잠재적 영향은 매우 크며, 이로 인해 많은 학문적 프로세스와 표준에 대한 재평가가 이루어지고 있습니다. 예를 들어 Van Dis 등(2023)은 연구자와 출판인에게 어떤 연구 과제를 아웃소싱해야 하는지, 아웃소싱하지 말아야 하는지, AI 지원 연구 프로세스에서 사람의 검증이 필요한 단계는 무엇인지, 연구자의 교육 및 훈련에 LLM을 어떻게 통합해야 하는지 등 일련의 필수적인 질문을 던졌습니다.
The potential impact of LLMs and other AIs on research, practically, ethically, and morally is large, and this has created a reappraisal of much of academic processes and standards. For instance, Van Dis et al. (2023) asked a set of essential questions for researchers and publishers including: which research tasks should or should not be outsourced, what steps in an AI-assisted research process require human verification, and how should LLMs be incorporated into the education and training of researchers?
지금까지 학술지의 반응은 신중하고 비판적이었습니다. 예를 들어, 최근 Academic Medicine의 편집자들은(DeVilbiss & Roberts, 2023) 네 가지 원칙의 관점에서 입장을 표명했습니다.
- 저자가 자신의 연구에 대해 책임을 져야 한다는 점(LLM은 이 기준을 충족하지 못한다는 지적),
- 저널에 제출된 논문을 개발하거나 작성할 때 LLM을 사용한 경우 이를 공개해야 한다는 점,
- 연구 과정에서 LLM을 사용한 경우 해당 연구에 대한 논문에서 명확하게 기술해야 한다는 점,
- 이러한 기술이 매우 빠르게 변화하고 있으므로 이러한 변화를 추적하기 위해 시간이 지남에 따라 정책이 적응해야 한다는 점
이는 다소 일반적인 문제이기는 하지만, 저희는 Advances에서 이를 지지합니다.
So far, the response from journals has been cautious and critical. As an example, the editors of Academic Medicine recently (DeVilbiss & Roberts, 2023) stated their position in terms of four broad principles:
- that authors must be accountable for their work (noting that LLMs do not meet this standard);
- that any use of LLMs in developing or writing papers submitted to the journal must be disclosed;
- that any use of LLMs in the research process must be clearly described in any paper reporting on that research; and,
- as these technologies are changing so quickly, that policies will need to adapt over time to track these changes.
These are somewhat generic concerns, albeit ones that we support at Advances.
고려해야 할 더 큰 문제도 있습니다. 예를 들어, LLM은 이론 사용, 평가 관행의 개념화, 학습 및 성과 연구 등에 어떤 영향을 미칠까요? 주요 학술지에서 가장 많이 인용되고 다운로드되는 출판물의 대부분이 비경험적 연구, 논평, 편지, 반성적 글들로 구성된 분야(HPE를 한 분야로 가정)에서 LLM을 사용하면 출판되는 몇 안 되는 독창적인 연구 기여도가 더 낮아질까요? 누구나 몇 분 안에 LLM으로 작성된 리뷰를 작성할 수 있게 되면 우리 연구의 과학적 가치와 무결성이 떨어질까요?
There are bigger issues to consider. For instance, what implications do LLMs have for our use of theory, the conceptualization of assessment practices, learning and performance research etc.? In a field (assuming that HPE is a field) where many of the most cited and downloaded publications in the major journals consist of non-empirical work, commentaries, letters, and reflective pieces, will the use of LLMs further water down the few original research contributions that remain published? Will the scientific currency and integrity of our work be diminished if anyone can produce an LLM-generated review within minutes?
HPE 장학금과 HPE 간의 인터페이스뿐만 아니라 의료 전반과의 인터페이스도 고려해야 할 사항입니다. AI는 이미 의학(Li 외, 2019)과 의학교육(Tolsgaard 외, 2020; Katznelson & Gerke, 2021)에 도입되고 있습니다. 실제로 인공지능의 중요성, 기회, 위험 및 기타 결과에 대한 많은 추측성 의견들이 AHSE 및 기타 저널에 제출되고 있습니다. 저널로서 이것은 흥미로운 이슈이지만, 우리는 추측이 아닌 실질적인 이론적, 철학적 또는 경험적 연구를 찾습니다. 여러 면에서 코로나19 팬데믹 기간에 보았던 것과 유사한 이론적, 비실험적 연구의 새로운 물결이 일어날 것으로 예상하지만, 지금은 LLM과 AI 기술의 희망, 기대, 위험에 초점을 맞추고 있습니다.
There are also the interfaces between HPE scholarship and HPE to be considered, as well as our interfaces with healthcare as a whole. AIs are already finding their way into medicine (Li et al., 2019) and into medical education (Tolsgaard et al., 2020; Katznelson & Gerke, 2021). Indeed, we are seeing a great many speculative opinion pieces being submitted to AHSE and other journals about the importance, opportunities, risks, and other consequences of AIs. As a journal this is an interesting issue, but we look for substantial theoretical and philosophical or empirical work, not speculation. In many ways, we predict a new wave of atheoretical and non-empirical work similar to that we saw during the COVID pandemic but now focused on the hopes, expectations, and dangers of LLMs and AI technology.
우리가 지적한 문제들은 사소한 것이 아니며, 실제로는 혁신적이고 파괴적인 것으로 판명될 수도 있습니다. 따라서 저희는 과학계가 LLM에 의해 개념, 이론, 관행이 어떻게 형성되고 있는지, 그리고 그 함의에 대해 깊이 생각해 볼 것을 권장합니다. 또한 Advances에 제출되는 모든 논문은 LLM 사용에 대한 새로운 공개 기준을 충족해야 하며, LLM 사용을 주제로 하는 모든 논문은 이론과 실제 모두에서 관련된 많은 문제와 보건 과학 교육 발전에 미치는 영향에 대해 사려 깊고 비판적으로 검토해 주시기 바랍니다.
The problems we have noted are not trivial, indeed they may prove transformative and even disruptive. We encourage our scientific community therefore to think deeply about how concepts, theories, and practices are being shaped by LLMs and the implications thereof. We also ask that all work submitted to Advances meets the emerging disclosure standards for the use of LLMs, and that any work submitted that takes the use of LLMs as its subject is thoughtful and critical of the many issues involved and their implications for advances in health sciences education, both in theory and in practice.
Artificial scholarship: LLMs in health professions education research
PMID: 37335338
Abstract
This editorial examines the implications of artificial intelligence (AI), specifically large language models (LLMs) such as ChatGPT, on the authorship and authority of academic papers, and the potential ethical concerns and challenges in health professions education (HPE).
© 2023. The Author(s), under exclusive licence to Springer Nature B.V.