적시 보수교육: 인지되거나 인지되지 않은, 당기거나 미는(J Contin Educ Health Prof. 2022)

적시 보수교육: 인지되거나 인지되지 않은, 당기거나 미는(J Contin Educ Health Prof. 2022)
Just-in-Time Continuing Education: Perceived and Unperceived, Pull and Push Taxonomy 
Yusuf Yilmaz, PhD; Dimitrios Papanagnou, MD, MPH; Alice Fornari, EdD, RDN; Teresa M. Chan, MD, FRCPC, MHPE, DRCPSC 

문제 진술
PROBLEM STATEMENT

의료 전문직의 임상의는 적시적소(JiT) 학습을 지원하기 위해 일상적으로 사용 시점 정보에 의존합니다. 이러한 관계는 임상 학습 환경에서 종종 관찰되는데, 개인이 직장에서의 학습과 실습을 보완하기 위해 JiT 리소스를 참조하는 것이 매우 일반적입니다.1,2 이러한 추세는 어느 정도는 교수진을 포함한 모든 학습자의 지속적인 전문성 개발(CPD)에도 적용되어야 합니다. 그러나 CPD 교육의 중심은 여전히 워크숍과 라이브 이벤트입니다.3-5 라이브 워크숍에 참석할 수 있는 교수진 학습자는 지식, 기술, 태도를 크게 향상시킬 수 있지만6,7 이러한 행사에 참석할 수 없는 학습자는 동료에 비해 뒤처질 위험이 있습니다. 학습자(특히 학술 보건 과학 센터에서 교수진으로 활동하는 사람들)는 종종 임상 업무량, 연구, 학술 여행 등 다양한 역할과 관심사를 병행하는 경우가 많기 때문에 실시간 동기식 평생 교육 및 개발 프로그램이 의도한 대상에게 도달하지 못하는 것은 놀라운 일이 아닙니다. 반면에 온라인 CPD 프로그램은 강력한 설계 및 평가를 위한 지침이 부족하여 지식, 행동, 자신감, 기술 및 태도에 대한 평가가 협소하게 이루어집니다.8,9,10 
Clinicians in the health professions routinely rely on point-of-use information to support just-in-time (JiT) learning. This relationship is often observed in the clinical learning environment, where it is quite common for individuals to consult with JiT resources to supplement learning and practice in the workplace.1,2 To a certain extent, this trend should transfer to all learners, inclusive of faculty regarding their continuing professional development (CPD). The mainstay of CPD education, however, still takes the form of workshops and live events.3–5 Faculty learners who are available to attend live workshops can enhance their knowledge, skills, and attitudes significantly6,7; but those who cannot attend these events risk falling behind their peers. Learners (especially those who function as faculty with academic health sciences centers) often juggle various competing roles and interests (eg, clinical workload, research, and academic travel); therefore, it is no surprise that live, synchronous continuing education and development programs often fail to reach intended audiences. Online CPD programs, on the other hand, lack guidance for robust design and evaluation,8 and this results in narrow assessment and evaluation for knowledge, behavior, confidence, skills, and attitudes.9,10

CPD의 세계에서 교육자와 리더는 종종 인지된 요구와 인지되지 않은 요구를 모두 고려해야 합니다.11-14 종종 평생교육에서 실무자는 자신이 무엇을 배워야 하는지 알지 못합니다.15 또한 실무자는 자신이 무엇을 모르는지 모를 수도 있습니다. 요구사항 평가의 패러다임은 인지된 요구와 인지되지 않은 요구의 두 가지로 나뉩니다. 

• 전자는 자신의 학습 격차를 파악할 수 있는 주관적 요구사항에 초점을 맞추는 반면,
• 후자는 CPD 사무소가 이러한 격차에 대응하는 교육 프로그램을 개발하기 위한 객관적 요구사항을 다룹니다.11,15

In the world of CPD, educators and leaders are often asked to consider both their perceived and unperceived needs.11–14 Often in continuing education, practitioners do not necessarily know what they need to learn.15 Furthermore, practitioners may simply not know what they do not know. The paradigm of needs assessment is twofold: perceived needs and unperceived needs. Although

• the former focuses on subjective needs where one can identify his/her/their learning gaps,
• the latter deals with objective needs where CPD offices act on these gaps to develop responsive educational programs.11,15

오늘날과 같이 디지털이 발달한 세상에서는 인지되지 않거나 인지된 필요를 더 쉽게 파악하고 해결할 수 있는 다양한 기술이 존재합니다. 가장 최근의 Google 광고나 Netflix 추천을 한 번이라도 클릭해 보지 않은 사람이 있을까요? 그렇다면 새로운 학습 기회에 대한 참여를 더 잘 유도하는 기술을 활용한다면 교수자 개발을 포함한 CPD의 세계는 어떤 모습일까요? 무엇보다도 CPD 개발의 가장 중요한 단계 중 하나는 개인 또는 코호트 수준에서 실무자의 요구를 효과적이고 정확하며 시의적절하게 파악하는 것입니다. 그러나 안타깝게도 문헌에 정의된 방법에는 효과성, 정확성, 적시성이 부족하여 적시에 프로그램을 만들고 우선순위를 정하려는 CPD 사무소의 노력을 약화시키고 있습니다. 이 글에서 저자들은 인지된/인지되지 않은 푸시/풀(PUPP) 니즈를 설명하는 분류법을 소개하며, 이를 통해 JiT 평생교육(JiTCE) 제공의 실행을 지원할 수 있습니다.
In today's digitally enhanced world, many technologies now exist to create ways in which unperceived and perceived needs can more easily be identified and addressed. Who has not clicked, at least once, on the most recent suggestion from a Google Ad or a Netflix recommendation? What, then, could the world of CPD (inclusive of faculty development) look like if technologies to better encourage engagement in new learning opportunities were harnessed? First and foremost, one of the most important steps of CPD development is to identify practitioner needs effectively, accurately, and timely—at the individual or cohort level. Unfortunately, however, the methods defined in the literature lack effectiveness, accuracy, and timeliness, dampening CPD offices' efforts to create and prioritize programs in a timely fashion. In this article, the authors introduce a taxonomy to describe the perceived/unperceived push/pull (PUPP) needs that can support the implementation of JiT continuing education (JiTCE) delivery.

솔루션: PUPP 분류법
SOLUTION: PUPP TAXONOMY

디지털 JiTCE 프로그램의 해부학
Anatomy of a Digital JiTCE Program

교수진 학습자는 전문성 개발 기회를 소비하는 방식이 다릅니다. 저자들은 개발자가 JiTCE 프로그램에 통합할 수 있는 오퍼링의 유형을 고려하는 데 도움이 되는 간단한 2×2 표인 PUPP 분류법을 제안합니다. 그림 1은 학습자의 준비도를 다양한 방식으로 다루고 개발 요구사항에 대한 새로운 방향을 제시합니다. 이 분류법은 CPD에 종사하는 사람들이 어떻게 JiT CPD 영역에 진입할 수 있는지 개념화하는 데 도움을 주는 것을 목표로 합니다. 
Faculty learners differ in how they consume professional development opportunities. The authors suggest the PUPP taxonomy: a simple 2 × 2 table that helps developers consider the types of offerings they might incorporate in a JiTCE program. Figure 1 addresses learner readiness in various ways and suggests new directions for development needs. The taxonomy aims to help those who are in the CPD conceptualize how they might enter the JiT CPD domain.

예를 들어, 학습자는 자신의 발달 요구 사항을 알고 있지만 특정 주제 영역에서 특정 수준의 역량에 도달했을 때 이를 파악하고 개선된 점을 느끼지 못할 수 있습니다(예: 학습자에게 피드백 제공). 학습자는 자신의 학습 과정에 적극적으로 참여해야 합니다. 많은 CPD 학습자는 스스로를 독립적인 학습자라고 인식하고 자신이 알아야 할 내용을 이미 알고 있다고 생각하며, 모르는 내용에 직면했을 때만 특정 정보에 접근하도록 유도해야 한다고 생각합니다. 학습 요구를 파악하는 것은 어려운 일이지만, 최근의 온라인 기술 발전은 CPD 학습자의 성과를 추적하고 향후 학습을 위한 인사이트를 제공하는 데 도움이 될 수 있습니다. 분류 체계 내에서 JiTCE 프로그램에 대한 배분은 두 가지 간단한 분류를 기반으로 합니다.

• (1) 인지된 요구와 인지되지 않은 요구,
• (2) 풀 콘텐츠와 푸시 콘텐츠

그림 1은 JiTCE 콘텐츠 전달을 위한 네 가지 메커니즘을 보여줍니다. PUPP 분류 체계의 각 분야는 아래에 자세히 설명되어 있습니다. 
For example, learners may be aware of their own developmental needs, but they may not identify and feel an improvement when they reach a certain level of competence in a specific subject domain (eg, providing learners with feedback). Learners should be actively engaged in their learning process. Many CPD learners will perceive themselves as independent learners and feel that they already know what they need to know and should be prompted to access specific information only when they face an unknown. Although determining learning needs is challenging, recent advancements in online technologies can help track CPD learners' performance and provide insights for future learning. The allocation for a JiTCE program within our taxonomy is based on two simple categorizations:

• (1) perceived versus unperceived needs and
• (2) pull versus push content.

 Figure 1 displays the four mechanisms for delivering JiTCE content. Each field of the PUPP taxonomy is explained in detail below.

온디맨드 학습: "풀" 메커니즘으로 충족되는 인지된 요구 사항
On-Demand Learning: Perceived Needs Met by a “Pull” Mechanism

JiTCE 모델에서 온디맨드 학습은 학습자가 인지된 필요를 파악한 후 특정 시점과 특정 상황에 맞는 관련 콘텐츠를 '끌어오거나' 접근할 수 있는 메커니즘을 설명합니다. 이는 필요 수준과 사용 가능한 시간에 따라 마이크로 콘텐츠에서 더 광범위한 리소스에 이르기까지 다양할 수 있습니다. 보다 확장된 학습을 위해 주요 문헌이나 리소스를 가리키는 마이크로 콘텐츠를 만드는 것이 중요합니다. 마이크로 콘텐츠는 학습자가 특정 학습 상황에 맞게 해당 리소스를 찾아보거나 검색 범위를 좁혀 자신의 학습 요구에 더 부합하는 리소스를 찾을 수 있도록 미리 보기 역할을 할 수 있습니다. 
On-demand learning within the JiTCE model describes a mechanism where learners have identified a perceived need, after which they can “pull”—or access—relevant content that suits their particular needs at a specified point in time and for a particular context. This may range from microcontent to more extensive resources, depending on the level of need and the time available. Creating microcontent that points toward key literature or resources for more extended learning is critical. Microcontent can then serve as a preview for the learner, allowing her to pursue that resource for a specific learning situation or refine her search to identify a resource that is more congruent with her learning need.

온디맨드 학습을 가능하게 하려면 CPD 학습자는 기꺼이 배우려는 마음가짐을 가져야 합니다. 또한 학습자는 자신이 무엇을 배우고 싶은지 알고 있어야 합니다. 이러한 유형의 학습을 지원하는 시스템은 쉽게 검색 가능한 마이크로 콘텐츠 저장소로, 특정 주제 영역의 마이크로 자격증을 향해 구축할 수 있는 연속적이고 연결된 마이크로 콘텐츠를 제공할 수 있습니다.
To make on-demand learning possible, CPD learners must embrace a mindset of being willing to learn. Learners must also know what they wish to learn. The system to support this type of learning would be an easily searchable microcontent repository, which would allow for successive, and linked, microcontent that can be built toward a microcredential in a specific topic area.

온디맨드형 JiTCE의 핵심 원칙은 학습 요구가 확인되면 콘텐츠를 쉽고 빠르게 이용할 수 있어야 한다는 것입니다.16 온디맨드형 학습이 성공적으로 이루어지려면 학습자가 특정 과제를 완료해야 하거나 새로운 정보가 필요할 때 콘텐츠에 쉽게 접근할 수 있어야 합니다.
The key principle to on-demand JiTCE is that the content must be easily and quickly available once a learning need has been identified.16 For on-demand learning to occur successfully, learners must be able to access the content when they need to complete a specific task or when they need new information at their fingertips.

예를 들어, 교수자가 객관식 문제(MCQ)를 작성해야 하는 상황에 처했을 때 최적의 MCQ를 작성하기 위해 모범 사례 및/또는 지침을 참조할 수 있습니다. 이 교직원은 자신이 선택한 검색 엔진에서 "어떻게 하면 좋은 MCQ 문제를 작성할 수 있나요?"를 검색할 가능성이 높습니다.
For instance, when a faculty member is immersed in a situation where he is required to write multiple-choice questions (MCQs), he may choose to consult best practices and/or guidelines to write optimal MCQs. This faculty member is likely to search for “How do I write good MCQ questions?” in their search engine of choice.

CPD 사무소는 새로운 CPD 학습자의 요구를 충족할 수 있도록 준비해야 합니다. 이를 지원하는 기술은 맞춤형 검색 엔진을 가능하게 할 것입니다.17 많은 학습자가 처음 필요를 발견했을 때 이러한 리소스를 사용하여 정보에 접근하기 때문에 교수진 개발자는 Google 및 YouTube에 최적화된 콘텐츠를 만들어야 합니다. CPD 학습자를 위한 맞춤형 웹 포털을 만드는 것도 학습자가 온디맨드 콘텐츠(예: 스크롤할 수 있는 콘텐츠 메뉴)를 찾는 데 도움이 되는 또 다른 메커니즘이 될 수 있습니다. 위키18 또는 기타 풍부한 리포지토리(예: 미국 의과대학 협회의 MedEdPORTAL)도 큰 도움이 될 수 있습니다.
CPD offices should be prepared to meet emerging CPD learners' needs. Technologies that would assist in this pursuit would allow for customized search engines.17 Faculty developers would need to create content that is well-optimized for Google and/or YouTube because many learners readily use these resources to access information when they first identify a need. Creating web portals for CPD learners that are tailored to their needs may also be another mechanism to help them discover on-demand content (eg, menu of content they can scroll through). Wikis18 or other rich repositories (eg, the Association of American Medical Colleges' MedEdPORTAL) may also be of great benefit.

구독 기반 학습: 학습자에게 '푸시'되는 인지된 요구 사항
Subscription-Based Learning: Perceived Needs That Are “Pushed” to Learners

학습자가 JiTCE를 더 자주 사용하게 되면 학습 분석을 활용하여 학습자에게 더 많은 콘텐츠를 제안할 수 있습니다(예: 푸시 알림). 학습자의 학습 분석은 학습 관리 시스템(LMS)에서 수행할 수 있으며, 학습 관리 시스템은 학습 경험의 다양한 매개변수(예: 위치, 학습 이력, 검색 이력)를 기반으로 학습자의 학습 행동을 분석하고 식별할 수 있습니다. 그런 다음 LMS 시스템은 학습자가 즉시 사용할 수 있도록 모바일 알림이나 이메일을 통해 마이크로 콘텐츠를 푸시할 수 있습니다. 예를 들어, 개인이 이메일 뉴스레터를 구독하고 받은 편지함으로 주간/월간 콘텐츠를 받아볼 수 있습니다.
As learners become more frequent users of JiTCE, learning analytics could be leveraged to suggest more content to the learners (eg, akin to push notifications). Learning analytics of learners could be performed by a learning management system (LMS), which could analyze and identify learning behaviors of the learners based on various parameters of their learning experiences (eg, location, learning history, and search history). The LMS system can then start to push microcontent to learners through mobile notifications or email for immediate use. An example of this might also be an email newsletter to which individuals could subscribe and receive weekly/monthly content to their inbox.

마찬가지로 학습자는 피드백 스킬, 시험 항목 생성, 침대 옆 교육 등 푸시 알림을 받고 싶은 항목을 선택할 수 있습니다. 그러면 앞서 설명한 인지된 요구/풀 메커니즘을 기반으로 구축됩니다. 
Similarly, learners could select items they would like push notifications for, such as feedback skills, test-item creation, and bedside teaching. This would then build on the perceived needs/pull mechanism previously described.

성과 피드백 중심 학습: 새로운 정보를 끌어오도록 유도하는 인지되지 않은 요구 사항
Performance Feedback–Driven Learning: Unperceived Needs That Prompt Pulling New Information

이 시나리오에서 학습자는 자신이 무엇을 배워야 하는지 구체적으로 알지 못하지만 배울 의향은 있습니다. 학습자에게는 기관, 전문 분야 또는 실무의 다른 담당자가 파악한 대중적인 수요가 있는 개발 주제가 제공됩니다.
In this scenario, a learner does not specifically know what they need to learn, but they are willing to learn. Learners are provided with development topics that are in popular demand that are identified by other counterparts in the institution, specialty, or practice.

예를 들어, 이 메커니즘에 참여하고자 하는 캐나다의 학습자는 모바일 또는 웹 애플리케이션(앱)에 스스로 등록할 수 있습니다. 그러면 이 학습자는 사용자 입력에 따라 비슷한 직책에 있는 다른 사람들도 CBD(역량별 설계)와 관련된 콘텐츠를 검토하고 있다는 알림을 받을 수 있습니다. 그러면 시스템은 캐나다 전역의 교수진 개발을 위한 CBD에 대한 집단 검색 데이터를 기반으로 이러한 수요를 인식하고 등록한 모든 학습자에게 기본 콘텐츠부터 고급 콘텐츠까지 CBD 마이크로 콘텐츠를 제안할 수 있습니다. 마찬가지로, 미래 지향적인 학술 병원은 임상의 대시보드를 LMS에 연결하여 병원 내 의료진이 실제 환자 중심 및 환자 중심 결과를 기반으로 학습 추천을 즉시 받을 수 있도록 할 수 있습니다(예: Press Ganey 점수가 낮으면 커뮤니케이션 과정 추천 트리거). 학습자별 학습 진도를 분석하고 그에 따라 맞춤화하여 시스템 내의 사람들이 추가 리소스를 찾을 수 있도록 지원합니다. 
For instance, learners in Canada who wish to opt into this mechanism could self-enroll in a mobile or web application (app). Based on user input, this learner might then receive notifications that other individuals with comparable positions are also reviewing content related to Competency by Design (CBD). Based on data from collective searches about CBD for faculty development across Canada, the system would then recognize this demand, and suggest CBD microcontent, from basic to advanced content, to all learners enrolled. Similarly, a forward-facing academic hospital may wish to link clinician dashboards to an LMS that would allow practitioners within their hospital to immediately be given learning recommendations based on their actual patient-oriented and patient-centered outcomes (eg, low Press Ganey score triggers recommendations for communications courses). Learning progress by learners are analyzed and customized accordingly to assist those within the system discover additional resources.

데이터 기반 학습: 학습자를 위한 푸시 콘텐츠를 식별하는 인지되지 않은 요구 사항
Data-Driven Learning: Unperceived Needs That Identify Push Content for Learners

이 구성 요소는 모델에서 가장 까다로운 CPD 구성 요소를 나타냅니다. 이는 추가 개발의 즉각적인 필요성을 인식하지 못하지만, 자신에게 필요하다고 인식하지 못했던 콘텐츠가 푸시될 수 있는 학습자를 의미합니다. 이 구성 요소의 핵심은 필요성을 강조하기 위한 타사 소스의 정보 흐름입니다(예: 교수진 평가 및 연간 성과 검토). 후자의 데이터는 학습자에게 푸시될 콘텐츠에 대한 정보를 제공합니다. 또한 이 시스템은 이메일이나 푸시 알림을 통해 인기 있는 주제를 생성하는 사용자 중심 접근 방식을 통해 인기 있는 주제에 대한 마이크로 콘텐츠를 전송할 수도 있습니다. 이 시스템은 마이크로 콘텐츠를 사용하여 학습자의 관심을 유도하고 CPD 영역의 최신 정보를 학습자에게 알리는 것을 목표로 합니다. 
This component represents the most challenging CPD component of the model. This refers to those learners who do not perceive the immediate need for further development, but could be pushed content that they did not realize they needed. Essential to this component is the flow of information from a third-party source to highlight a need (eg, faculty evaluations and annual performance reviews). The latter data would inform the content that would be pushed to learners. In addition, the system could potentially send microcontent for trending topics; this represents a user-driven approach for popular topic generation through email or push notifications. The system would aim to get attention from the learners using microcontent and inform the learners on what is current within the realm of CPD.

• 예를 들어 특정 임상 교수진이 특정 임상 공간에서 교육생에게 피드백을 제공하지 않는 경우, 학습자에게 '푸시' 콘텐츠를 통합하면 학습자가 인지하지 못한 필요를 충족시킬 수 있는 지침을 제공하고 학습자가 관찰하거나 보고할 수 있는 행동 변화를 촉진하는 데 도움이 될 수 있습니다.
• 마찬가지로, 위기 상황에서의 커뮤니케이션 스타일(감독자 보고, 360 평가, 환자 불만 등)에 대해 좋지 않은 평가를 받은 임상 리더에게는 위기 커뮤니케이션 과정을 추천하는 내용이 LMS 또는 사용자 지정 뉴스레터에 표시될 수 있습니다.

피드백 제공을 강화하기 위해 임상 환경에 통합된 리소스(예: 병원 컴퓨터의 스크롤식 화면 보호기에 증거 기반 피드백 제공 방법에 대한 인포그래픽을 표시하는 것)도 매우 유용할 것입니다. 이 예에서는 학습자가 더 나은 피드백 관행을 위한 넛지가 필요하다는 것을 알기보다는 그룹 수준의 데이터(예: 집계된 레지던트/학생 피드백 및 집계된 임상 성과 데이터)를 통해 이러한 필요성을 알 수 있습니다. 또한 개인이 수련의를 관찰하고 특정 상황에서 환자와의 상호 작용에 대해 피드백을 제공하거나 팀 내 다른 전공의로부터 JiT 피드백을 받아야 하는 순간에 피드백을 개선하기 위해 개인에게 배포할 수도 있습니다(표 1). 

• If, for example, a specific clinical faculty does not provide feedback to their trainees in a certain clinical space, the integration of “push” content to the learner for this unperceived need may help provide instruction and even prompt behavior change that can be observed or reported by the learner.
• Similarly, a clinical leader who receives poor performance reviews about their communication style in a crisis (supervisor reports, 360 evaluations, and patient complaints) may have a recommendation for a crisis communication course floated their way within either an LMS or in a custom newsletter.

Resources integrated into the clinical environment to augment feedback delivery (eg, a scrolling screensaver on a hospital computer with an infographic about how to give evidence-based feedback) would also be highly useful. In this example, it is not incumbent for learners to know that they require a nudge toward better feedback practices, but rather, this need is informed by group-level data (eg, aggregated resident/student feedback and aggregated clinical performance data). JiTCE can also be deployed to individuals to improve their feedback, in the moment, at the time when they have observed a trainee and need to provide feedback or engage in JiT feedback from other practitioners on a team about their interactions with patients in certain contexts (Table 1).

다른 보건 전문직 교육과 마찬가지로,19-21 향후에는 아마존이 상품을 추천하거나 넷플릭스가 고객에게 영화를 추천하는 방식과 유사하게 인공지능 분석 기술(예: 머신러닝 및 자연어 처리)을 사용하여 CPD 경험에 대한 추천을 강화함으로써 "빅데이터"의 힘을 활용할 수 있는 큰 잠재력이 있습니다. 그러나 이러한 유형의 분석은 상당히 '데이터 집약적'이며 결과를 나타내기 위해 광범위한 데이터베이스가 필요합니다. 조화로운 데이터베이스와 플랫폼(예: OpenCourseWare[OCW]와 유사한 단일 저장소 내에서 CPD 온라인 오퍼링을 집계하는 것)은 이러한 가능성을 실현하는 데 도움이 될 것입니다. 
Similar to the rest of health professions education,19–21 there is great potential in the future to harness the power of “big data” by using artificial intelligence analytic techniques (eg, machine learning and natural language processing) to augment recommendations for CPD experiences akin to the way Amazon recommends products or Netflix recommends movies to their clientele. However, these types of analysis are quite “data hungry” and require extensive databases to manifest results. Harmonized databases and platforms (eg, aggregating CPD online offerings within a single repository similar to OpenCourseWare [OCW]) would be helpful in helping to achieve this possible future.

구현 시 고려 사항
Considerations for Implementation

이 아이디어를 처음 구상했을 때는 팬데믹 이전 시기로, 2019년 코로나바이러스감염증-19 팬데믹으로 인해 초래될 극적인 변화를 아직 알지 못했습니다. 코로나바이러스감염증-19 이후, 우리는 새로운 디지털 세상으로 밀려났고, 미래를 위해 기존의 평생 교육을 변화시키고 적응시키기 위해 다양한 전략이 사용되었습니다. 대부분의 의료 전문가가 테크놀로지 사용에 익숙해졌지만, PUPP 분류체계에 설명된 많은 기술은 여전히 상당히 발전된 기술이며 CPD 영역의 많은 사용자, 교육자 또는 개발자에게는 여전히 익숙하지 않은 기술일 수 있습니다. 또한 이러한 유형의 학습을 지원하기 위해 마이크로 콘텐츠와 LMS를 제작하고 유지하는 데 필요한 디지털 인프라, 기술 역량, 지속적인 리소스에 상당한 투자가 필요합니다. 
When we first conceived of this idea, it was in the prepandemic period where we did not yet know the dramatic shift that would be induced by the Coronavirus Disease 2019 pandemic. In the post–Coronavirus Disease 2019 era, we have been thrust into a newly digital world, with a wide variety of strategies that have been used to change and adapt existing continuing education for the future. Although most health professionals are certainly more familiar with technology use now, many of the techniques described in the PUPP taxonomy are still fairly advanced and may still be outside of the comfort zone for many users, educators, or developers in the CPD domain. Moreover, there will need to be significant investment into digital infrastructure, technical capabilities, and continued resourcing that will be required to create and maintain the microcontent and LMS to support this type of learning endeavor.

새로운 기술을 배우기 위한 성장 마인드를 채택하는 것은 CPD 교육자의 당연한 의무이지만, 모듈과 개발 환경을 설계할 때는 대상 고객의 기술적 친숙도를 고려하고 이러한 리소스와 모듈의 사용자 인터페이스에 많은 투자를 하는 것이 중요합니다. 분석 기반 개발 영역으로의 진입을 고려할 때는 특히 마음가짐이 중요한데, 대부분의 CPD 사무실에서는 아직 대시보드, 빅데이터에 정통한 인공지능 기술(예: 자연어 처리 및 머신러닝)을 현재 프로그래밍에 일반적으로 배포하고 있지 않기 때문입니다. 잠재적인 학습 기회를 제대로 활용하려면 CPD 사무소는 병원 및 클리닉 기반 파트너와 더 많이 협력하여 대규모 환자 중심 데이터 세트(예: 결과 데이터베이스 및 환자 만족도)와 운영 데이터 세트(예: 병동 체류 기간, 수술실 처리 시간, 응급실 대기 시간)를 연결해야 합니다.  
Although it is certainly within the wheelhouse of CPD educators to adopt a growth mindset for learning new techniques, when designing modules and development experiences, it will be important to consider the technical familiarity of the target audience and to invest heavily on the user interface of these resources and modules. Mindset will be especially important when considering entering into the analytic-driven development domain because most CPD offices are not yet commonly deploying dashboarding, big data-savvy artificial intelligence techniques (eg, natural language processing and machine learning) within their current programming. To truly capitalize on the potential learning opportunities, CPD offices will need to join forces more with their hospital and clinic-based partners to interface large patient-oriented data sets (eg, outcomes databases and patient satisfaction) and operational data sets (eg, ward length of stay, operating room turnaround times, and emergency department wait times).

인지되지 않은 니즈를 파악하기 위해 데이터를 수집하거나 데이터에 연결하는 데는 높은 수준의 조정이 필요하기 때문에 CPD 리더는 분류 체계 내에서 보다 쉽게 달성할 수 있는 접근 방식부터 시작하는 것이 현명할 수 있습니다. 예를 들어, 익숙한 푸시 전략(예: 이메일 구독)으로 시작하여 나중에 새로운 촉진 방법을 구축하는 것이 현명할 수 있습니다.
Because of the high level of coordination required for acquiring or linking to data for generating unperceived needs, it may be prudent for CPD leaders to begin with more easily attainable approaches within our taxonomy. For instance, beginning with push strategies that are familiar (eg, email subscription) may be prudent, building toward new ways of facilitation later on.

결론
CONCLUSION

PUPP 분류체계는 교육 개발자가 최첨단 기술을 최대한 활용하면서 최고의 증거를 CPD 제공에 활용할 수 있는 새로운 기회를 안내할 수 있습니다. 현재 우리 일상에서 온라인 기술과 도구의 활용은 다음에 무엇을 클릭하고, 보고, 팔로우할지 예측하고 제안하는 맞춤형 방법을 달성했으며, PUPP 분류법은 전문가들의 요구를 타겟팅하면서 CPD 영역 내에서 유사한 접근 방식을 달성할 수 있는 잠재력을 가지고 있습니다.
The PUPP taxonomy can guide new opportunities for educational developers to leverage best evidence into CPD offerings, while making the best use of cutting-edge technologies. Current practices of online technology and tools in our daily lives accomplished custom-tailored methods of predictions and suggestions for what to click, watch, and follow next; PUPP taxonomy has the potential to achieve similar approaches within the CPD area while targeting needs of professionals.

 

---

 

J Contin Educ Health Prof. 2022 Apr 1;42(2):125-129. doi: 10.1097/CEH.0000000000000415. Epub 2021 Dec 31.

Just-in-Time Continuing Education: Perceived and Unperceived, Pull and Push Taxonomy

Yusuf Yilmaz 1, Dimitrios Papanagnou, Alice Fornari, Teresa M Chan

Affiliation

1Dr. Yilmaz: Postdoctoral Fellow, McMaster University Education Research, Innovation and Theory (MERIT) Program, Hamilton, Ontario, Canada, Postdoctoral Fellow, McMaster University Office of Continuing Professional Development, Hamilton, Ontario, Canada, and Researcher and Instructor, Department of Medical Education, Faculty of Medicine, Ege University, Izmir, Turkey. Dr. Papanagnou: Professor and Vice Chair of Education, Department of Emergency Medicine, Sidney Kimmel Medical College at Thomas Jefferson University, Associate Provost for Faculty Development, Thomas Jefferson University, Philadelphia, PA. Dr. Fornari: Professor Science Education, Family Medicine, Occupational Medicine, Donald and Barbara Zucker School of Medicine at Hofstra/Northwell, Hempstead, NY. Dr. Chan: Associate Professor, Division of Emergency Medicine, Department of Medicine, McMaster University, Hamilton, Ontario, Canada, Associate Dean, Office of Continuing Professional Development, Faculty of Health Sciences, McMaster University, and Clinician Scientist, McMaster Education Research, Innovation, and Theory (MERIT) Program, Hamilton, Ontario, Canada.

PMID: 34966109

DOI: 10.1097/CEH.0000000000000415

Abstract

We live in a world where "just-in-time" (JiT) methodologies are increasingly used. Continuing professional development (CPD), including faculty development, has the opportunity to leverage online technologies in a JiT format to further support learner engagement and program sustainability. In this article, the authors propose a model that can serve as a taxonomy for defining and implementing JiT continuing education (JiTCE). The anatomy of JiTCE describes four mechanisms to address CPD needs and delivery procedures: perceived and unperceived, as well as pull and push (PUPP) taxonomy. JiTCE PUPP taxonomy defines four components for designing and developing a program with JiT: on-demand learning, subscription-based learning, performance feedback-driven learning, and data-driven learning. These methods, as backbones, use various online technologies, which offer fundamental support for JiTCE. Delivery systems and technologies are provided as specific examples for JiTCE throughout the article. JiTCE introduces a novel taxonomy to meet continuing education needs and provides an organized approach to design and deploy programming in a sustainable way. Online technologies are evolving everyday and are an indispensable part of both clinical practice and medical education. Pull-push and perceived-unperceived axes can help guide new opportunities for instructional designers and curriculum developers to leverage best practices to align with CPD offerings, which include cutting-edge technologies.

Copyright © 2021 The Alliance for Continuing Education in the Health Professions, the Association for Hospital Medical Education, and the Society for Academic Continuing Medical Education.