역량바탕평가가 지속적인 개혁이 되기 위해 고려할 점(Adv in Health Sci Educ, 2019)

역량바탕평가가 지속적인 개혁이 되기 위해 고려할 점(Adv in Health Sci Educ, 2019)
Considerations that will determine if competency‑based assessment is a sustainable innovation
W. Dale Dauphinee1,2,3 · John R. Boulet1 · John J. Norcini1

 

 

거의 20년 동안 보건 분야의 교육 평가는 역량 기반 프레임워크를 도입하기 위한 주요 노력을 보아왔다. 역량 기반 교육(CBE)과 평가(CBA)로의 이동 강도는 40년 이상의 공유된 전문 경험에서 다른 평가 활동과 일치하지 않는다. 이와는 대조적으로, 1980년대 후반 평가에서 시뮬레이션의 도입은 규제 파트너십을 통해 수행된 많은 평가 연구가 지속 가능한 혁신을 확립하기 위한 기반 역할을 하는 빠른 일련의 현장 테스트로 나타났다. 본 논문에서 우리는, 특히 졸업후 의학 교육(PGME)의 맥락에서, CBA를 둘러싼 교육 분야의 근본적인 개발 작업과 규제 상호작용이 뒤떨어지고 있다고 주장한다.
For almost two decades, educational assessment in the health professions has seen a major effort to introduce competency based frameworks. The intensity of the movement to competency-based education (CBE) and assessment (CBA) has not been matched by any other assessment activity in our shared professional experience of over 40 years. In contrast, the introduction of simulation in assessment in the late 1980s appeared as a rapid series of field tests wherein many evaluation studies, conducted with regulatory partnerships, served as the bases for establishing a sustainable innovation. In this paper, we argue that the underlying developmental work and regulatory interaction with the educational sector around CBA is lagging, especially in the context of postgraduate medical education (PGME).

PGME에서 CBA에 대한 우려를 제기한 것은 처음이 아니다. 캐나다 의료 교육의 미래 프로젝트(Regehr et al. 2011)에서 2011년에 세 가지 주요 개발 문제가 지적되었다. 훨씬 더 우려되는 것은 CBA 평가 도구에 사용된 용어와 정의의 의미에 대한 의문이 제기되어 타당성에 대한 잠재적 우려도 제기되었다. 그러나 거의 10년이 지난 후에도 CBA의 실제 적용과 실행으로의 전환과 관련된 문제에 계속 부딪치고 있다. 
We are not the first to raise concerns about CBA in PGME. Three categories of key developmental issues were noted in 2011 by The Future of Medical Education in Canada Postgraduate Project (Regehr et al. 2011). Of even greater concern, the meaning of terms and definitions used in CBA assessment tools have been questioned, raising some potential validity concerns (Lurie et al. 2011; Govaerts and van der Veuten 2013). Yet almost a decade later, we continue to encounter problems with the actual application and translation of CBA into action. 

로드맵 1: CBA를 측정 개발 문제로 재구성 및 해결
Roadmap one: reframe and address CBA as a measurement development issue

첫 번째 로드맵에서는 CBA 과제를 [측정 개발 문제]로 다시 설명하고 있으며, 이를 위한 좋은 모델이 있다. 이 영역에서 성공적인 이노베이션으로 이어지는 여정은 혁신가들에게 구현implementation 경로를 안내할 수 있는 일련의 단계를 기반으로 합니다. 전문 교육과 평가의 실제 세계에서 지속 가능한 혁신에 도달하기 위해서는 이러한 단계를 준수해야 한다. 1970년대 미국응급의학위원회(ABME)의 새로운 인증 프로세스 초기에, Maatsch 등(1976)의 선구적 연구는 오늘날 평가 혁신가들의 본보기가 되고 있다. 이 프로젝트는 기준 참조로 전환하는 것 외에도 대규모 평가 혁신을 위한 모범 사례를 수립했습니다. 

The first roadmap restates the CBA challenge as a measurement development issue, and there are good models for doing this. The journey leading to successful innovation in this realm is based on a series of steps that can guide innovators along the pathway to implementation. Observance of these steps is required to reach a sustainable innovation in the real world of professional education and assessment. Pioneering work by Maatsch et al. (1976) in the early days of the new certification processes of the American Board of Emergency Medicine (ABME) in the 1970s serves as a template for assessment innovators today. In addition to shifting to criterion referencing, the project established best practices for large scale assessment innovations:

• (1) 전문직, 규제당국 및 교육자를 포함한 주요 이해관계자 간의 계획된 협력 
  
• (2) 국가 자격인정 및 인증 절차에 대한 제정된 표준 
  
• (3) (독립적 사이코메트리 전문가가 지휘하는) 평가 도구의 전면적 현장 시험을 수행
  
• (4) ABEM에 대한 구체적인 평가목표의 계획, 실행, 관리 및 완료에 사업관리를 활용
  
• (5) 후속 연구를 기반으로 비효율적인 평가 형식을 제거(Munger et al. 1982; American Board of Emergency Medicine 2018). 

 

• (1) planned collaboration amongst key stakeholders including the profession, the regulators and the educators;
• (2) established standards for national credentialing and certification processes;
• (3) undertook full-scale field trials of the assessment tools (directed by independent psychometric experts);
• (4) used project management to plan, execute, control and finish the specific assessment goals for the ABEM; and
• (5) based on subsequent follow-up studies, eliminated inefficient assessment formats (Munger et al. 1982; American Board of Emergency Medicine 2018).

1970년대에는 모든 ABME 시스템이 새로운 것이었기 때문에, 당시만 해도 혁신을 기존 평가 체계에 통합하는 과제는 문제가 되지 않았다.
However, since the entire ABME system was new, the challenge of integrating the innovation into an existing assessment scheme was not an issue.

이와는 대조적으로, 1980년대 중반 이후에는 총괄평가 및 형성평가에 시뮬레이션 환자를 도입하려면 [기존 시스템과의 통합]이 필요했다. 그것은 모든 기관 이해당사자들을 참여시키고 평가 점수의 측정 품질을 지원하기 위한 준비 작업과 시범 연구를 필요로 했다. 실현 가능성과 측정 품질에 대한 증거를 찾은 후에야 더 넓은 스케일러의 혁신을 진행 및 채택하기 위한 정책 결정이 내려졌다. 이는 캐나다 의료위원회(Reznick et al. 1993; Dauphinee and Reznick 2011), 외국인 의료 졸업생 교육위원회(Boulet et al. 1998, 2009) 및 국가의료시험위원회(Swanson et al. 1999)의 평가 시스템에 환자 시뮬레이션을 도입하기 위한 전략이었다.
In contrast, the introduction of simulated patients into summative and formative assessment in the mid-1980s needed to be integrated into existing systems. That required preparatory work and pilot studies aimed at engaging all of the institutional stakeholders and supporting the measurement qualities of the assessment scores. Only after finding evidence of feasibility and measurement quality were the policy decisions made to proceed and adopt the innovation on a wider scaler. This was the strategy for the introduction of patient simulation into the assessment systems of the Medical Council of Canada (Reznick et al. 1993; Dauphinee and Reznick 2011), the Educational Commission for Foreign Medical Graduates (Boulet et al. 1998, 2009), and the National Board of Medical Examiners (Swanson et al. 1999).

CBA가 직면한 과제를 고려할 때, 첫 번째 단계는 [실제 평가 모델 개발]에 더 많은 관심을 기울이는 것일 수 있다. 그러한 조치가 CBA를 홍보하는 많은 저자들에 의해 취해진 것인지는 우리에게 명확하지 않다. 다행히도 최근 개정된 Holmboe 등의 임상능력 평가 실무지침(2017)은 CBA instrumentation이 현재 평가 모범 사례 표준을 충족한다는 것을 확립하는 데 필수적인 개발 및 사전 시험 요건을 명시했다.

Given the challenges facing CBA, the first step might be placing more attention on the development of an actual assessment model. It is not clear to us that such a step has been taken by the many authors promoting CBA. Fortunately, the recently revised Practical Guide to the Evaluation of Clinical Competence by Holmboe et al. (2017) has laid out the development and pre-testing requirements that are essential to establish that CBA instrumentation meets current standards of best practices in assessment.

두 번째 단계는 모델과 관련된 측정 문제를 해결하는 것입니다. 그 중 가장 중요한 것은 타당성이 있습니다. 앞에서 언급한 바와 같이, 루리 외 연구진(2011)은 의도된 평가 목표를 설정하는 데 도움이 되는 이러한 정의가 종종 '실행 중에on the run' 협상되고 있다고 보고했다. CBA 평가 도구의 품질 문제는 '진급 여부 판단'의 핵심 고려 사항이다. 점수 또는 등급의 측정 품질에 대한 문서화는 다음 단계로 이동하기 위해 필수적이다.
The second step is to address the measurement issues associated with the model, chief among them being validity. As noted before, Lurie et al. (2011) reported that these definitions, which help establish the intended assessment goals, were often being negotiated ‘on the run’. The issue of the quality of the CBA assessment tools is a pivotal ‘go or not go’ consideration. The documentation of the measurement qualities of the scores or ratings is essential to move to the next step.

세 번째 단계는 지역 수준에서 구현 모델을 개발하는 것이다. 환경 전반에 걸쳐 개선이 일반화될 수 있도록 결과 및 피드백을 위해 계획, 전달 및 따라야 합니다. 이것은 캐나다의 다른 센터(Tamblyn 1998; Reznick 등 1993)에서 표준화된 환자 기반 평가의 관리에 중요했다. 또한 현장(노르시니 및 버치 2007)의 작업 기반 평가에서도 문제가 되고 있다. 구현 계획에는 또한 광범위한 교육 및 교수진을 위한 준비가 포함되어야 합니다. 
The third step to develop a model of implementation at the local level. It has to be planned, communicated, and followed for results and feedback so that improvement is generalizable across settings. This was important for the administration of standardized-patient-based assessment at different centers in Canada (Tamblyn 1998; Reznick et al. 1993). It is also an issue in work-based assessment across sites (Norcini and Burch 2007). The implementation plan must also include extensive training and preparation for faculty members.

마지막 단계는 이 모든 것이 실제 세계에서 함께 적합한지 여부를 판단하는 것이다. 의료 시스템의 편익을 정의하는 초기에 사용된 모델로부터 차용하여, 많은 이해당사자들에게 영향을 미칠 [새로운 시스템의 개발 중에 반복적으로 물어야 하는 다섯 가지 핵심 질문]이 있다. 

• (1) 혜택은 무엇입니까?
• (2) 누가 이득을 보나요?
• (3) 누가 결정하는가?
• (4) 누가 돈을 내는가?
• (5) 누가 관리하는가?

Finally, the final step is judging whether it all fits together in the real world. Borrowing from a model used in the early days of defining the benefits of a health care system (Solon et al. 1960; Lee 1974), there are five key questions that must be asked repeatedly during the development of new systems that will impact on many stakeholders:

• (1) What are the benefits?
• (2) Who benefits?
• (3) Who decides?
• (4) Who pays?
• (5) Who manages it?

 

로드맵 2: CBA를 기존 기업 내에서 지속 가능한 혁신으로 구현
Roadmap two: implement CBA as sustainable innovation within existing enterprises

두 번째 로드맵은 [의료 및 교육 시스템을 모두 포함하는 품질 개선]이라는 enterprise 내에서 CBA의 과제가 무엇인지를 다시 설명한다. 이러한 광범위한 맥락에는 [모든 교육 및 임상 치료 기관에서 평가를 가능하게 하는] (교사 및 교수진 지원 서비스에 대한 규제 당국과 인증 기관을 포함하여) 관련된 모든 이해 당사자의 인정regocnition이 포함된다. 구현하려면 기본 구성 요소를 식별하고 공통 비전 실행에 대한 책임을 명확히 하기 위한 [공유 로드맵]이 필요합니다. 이 로드맵은 Christensen의 사례 기반 혁신 관리 연구(2013)에서 채택되었습니다. 
The second roadmap restates the challenge of CBA within a quality improvement enterprise that encompasses both the health care and educational systems. This wider context includes recognition of all of the stakeholders involved, including the regulatory authorities and certification bodies down through the leadership at the educational institutions to the teachers and the faculty support services that enable assessment at all educational and clinical care institutions. Implementation requires a shared roadmap to ensure that the basic components are identified and the responsibilities for them are clear in the execution of a common vision. This roadmap was adapted from Christensen’s case based management studies of innovation (2013).

CBA 관리는 여러 인터페이스를 통해 여러 수준에서 이루어져야 하기 때문에 우리는 [관리management 문헌]으로 눈을 돌렸다. CBA는 선의의 국가 또는 주 기반 자율 규제 이니셔티브로 시작할 수 있지만, 곧 각 개별 교수진의 학술 리더십 및 자원 활용 팀에게는 일련의 과제가 될 수 있다. 궁극적으로, CBA의 구현은 학습자-교사-교육자 인터페이스에서 주요 개발 문제로 드러날 것이다. 예를 들어, 각 교수진을 대상으로 하는 동료-주도 전문성 개발 프로그램과 각 연수생의 리-오리엔테이션을 위해 [접근 가능한 중앙 지원]이 필요할 것이다. 마찬가지로, 해당 분야의 교수진들은 종합 데이터를 제출하고 형성적 피드백을 위한 관찰 결과를 기록할 수 있는 서비스 가능한 대시보드를 포함한 새로운 기술 지원이 필요하다.

We turned to the management literature because the administration of CBA must occur at multiple levels, through multiple interfaces. While CBA may start as a well-intended national or state-based self-regulation initiative, it soon can become a set of challenges for the academic leadership and resources appropriation team at each individual Faculty. Ultimately, the implementation of CBA will surface as key developmental issues at the learner–teacher–mentor interface. To illustrate, accessible central support will be needed for a peer-directed program of professional development aimed at each faculty member and for the re-orientation of each trainee. Similarly, the faculty in the field will need new technical support, including serviceable dashboards to submit summative data and to record observations for formative feedback.

[리더십 수준]에서, The Innovators Solution이라는 책을 통해 Christensen 외 연구진(2013)은 [혁신적 아이디어를 기존 시스템의 성과와 서비스 개선를 위해 re-focus하는 새로운 프로세스와 도구로 전환하는 방법]에 대해 논의합니다. 이는 외부적으로 촉진되는 프레임워크를 채택하기 전에, 리더십이 혁신이 현재와 기능하는 품질 보증 프로그램에 '중단'될 가능성이 있는지 여부를 고려해야 한다는 것을 의미한다. 리더들에게, 크리스텐슨(2000a)은 성공의 결정적 요소 세 가지를 제시한다.

• 사용자 또는 학습자가 혁신을 완전히 사용하거나 흡수할 수 있는 비율은 얼마입니까?
• 예상되는 개선률이 사용자나 학습자가 완전히 사용하거나 흡수할 수 있는 수준을 초과합니까? 
• 지속적 혁신과 파괴적 혁신의 구별이 명확합니까? 

At the leadership level, in The Innovators Solution, Christensen et al. (2013) discuss turning innovative ideas into new processes and tools that refocus an existing system to improve its outcomes and services. This implies that, before adopting any externally promoted framework, leadership must consider if an innovation is likely to be ‘disruptive’ to current and functioning quality assurance programs. For leaders, Christensen (2000a) offers three determining ‘elements’ of success:

• What is the rate that the users or learners can fully use or absorb the innovation?
• Does the expected rate of improvement go beyond what the users or learners can fully use or absorb?
• Is there clarity on the distinction between sustaining and disruptive innovations?

혁신은 이전에 적절하게 강조되지 않았던 결과나 서비스의 '더 나은 수행'을 목적으로 하는 사용자나 학습자를 대상으로 하기 때문에 사전에 이러한 질문을 던지는 것은 중요하다. 대조적으로, 비즈니스에서, 파괴적인 혁신은 대상 고객이나 사용자를 위한 더 나은 제품이나 서비스를 목표로 하지 않는다. 일반적으로, 비지니스에서 파괴적 혁신은 사용하기 더 단순하거나 더 편리하거나 더 저렴한 서비스입니다. 하지만 CBE와 CBA는 지속적인 품질 개선과 지속 가능성에 관한 것입니다. 명백히, CBA는 혁신 솔루션에 대한 준비가 되어 있어야지, 파괴(disruption)를 초래해서는 안 된다.

These questions are important pretests because innovation is aimed at users or learners with a view to ‘better performance’ of outcomes or services that were not adequately emphasized previously. In contrast, in business, disruptive innovations are not aimed at better products or services for the target audiences or users. Typically, they are services that are simpler or more convenient or cheaper to use. However, CBE and CBA are about continuous quality improvement and sustainability. Clearly CBA should be about readiness for innovational solutions, not creating disruptions.

리더를 위한 프레임워크 또는 관리 비계를 제안한 후, 운영팀에서 CBA의 재정 지원과 기술적 요구를 사전에 예상하지 못할 경우, 교수진과 학습자에게 발생할 [잠재적인 다운스트림 위험]은 무엇인가? 다시 한번, 크리스텐슨의 요약은 현명한 조언을 제공한다. 혁신 관리는 리소스 할당 프로세스를 반영합니다. 교수진 지도부 차원에서 우선적으로 고려되지 않는다면, 혁신은 자원 부족으로 굶주릴 것이다. 혁신, 특히 CBE와 CBA와 같은 광범위한 자원 관련성을 가진 혁신에 대한 심의적 우선순위 설정의 필요성은 과소평가될 수 없다. 
Having proposed a framework or management scaffolding for leaders, what are the potential downstream risks for the Faculty and learners if the fiscal support and technical demands of CBA are not anticipated in advance by the management team? Again, Christensen’s (2000b) summary offers sage advice. Managing innovation mirrors the resource allocation process. If not prioritized at the Faculty leadership level, the innovation will starve for lack of needed resources. The necessity of deliberative priority setting for innovations, especially ones with far reaching resource implications like CBE and CBA, cannot be understated. 

더욱이, 기술혁신의 우선 순위를 판단하는 데 필요한 정보가 존재하지 않거나, 다른 사회적 또는 경제적 상황에서 기술혁신이 수행되는 경우라면, 크리스텐슨의 '학습이 있는 교훈lessons with learning'에 대한 제안은 CBA 제품이나 도구를 사용하여 교사-학습자 쌍으로 현장에서 빠르고 저렴한 시험(사전 시험)을 통해 만들어질 수 있다. 
Furthermore, if the information needed to inform prioritization of the innovation is non-existent or if an innovation is undertaken in differing social or economic circumstances, Christensen’s suggestion of ‘lessons with learning’ can be created through fast, inexpensive forays (pre-tests) into the field with the teacher–learner dyads using the CBA product or tool. 

보건 절차의 1단계 시험과 유사하게, 이러한 조종사는 반복 학습과 '안면' 타당성을 확립하기 위해 긍정적인 답변을 제공하거나 작은 고장을 제공할 수 있다. [혁신의 지속]이라는 측면에서, 남보다 '먼저first' 혁신에 도달하거나 리더로 보여지는 것은 중요하지 않다. 중요한 것은 일관되고 점진적인 개선을 달성하는 것에 관한 것이다. CBA를 도입할 때 인적 자원과 재정적 자원에 미치는 영향을 신중하게 고려해야 한다.
Analogous to phase one testing of health procedures, these pilots can give positive answers or provide small failures for iterative learning—and establishing ‘face’ validity. For sustaining innovations, getting there ‘first’ or being seen as a leader is not important. It is about achieving consistent and incremental improvement. The human and fiscal resources implications of CBA adoption must be carefully considered.

질문을 이어가자면, 잠재적인 사용자가 프로그램의 관련 교육 기관이나 지역사회 시설에 대한 CPE와 CBA의 영향을 확인하기 위해 더 자세히 조사할 수 있는 방법은 무엇인가? 위임가능한 전문 활동(EPAs) 또는 더 광범위한 프로그램 평가(PA)를 사용하여 잠재적인 영향을 예상하기 위해 arm-chair trial을 수행할 수 있다. 이러한 trial의 목적은 특정 위험과 기회를 식별하고 잠재적으로 CBE를 채택하는 기관에서 [혁신이 주어진 환경에서 지속 가능한지를 판단할 수 있도록 돕는 것]이다. 이는 PGME에서 특히 우려되는 사항이다. 왜냐하면, 의료진 및 교육 현장에서는 30-50개의 전공과목을 통합하여, 중앙 지원과 필요한 교수진 개발 프로세스를 제공하는 적절한 자금 지원 프로세스에 통합해야 한다(Holmboe et al. 2011).
Continuing with that same line of questioning, how else can potential users drill down further to see the implications CPE and CBA for the program’s associated teaching institutions or community placements? By using entrustable professional activities (EPAs) (Ten Cate 2013; Ten Cate and Scheele 2007) and/or the broader programmatic assessment (PA) (van der Vleuten et al. 2015), one can conduct arm-chair trials to anticipate potential implications. The purpose is to identify specific risks and opportunities and to help potential CBE adopters to decide if the innovation is sustainable in their setting given their purposes. This is a particular concern in PGME where a medical faculty and its associated teaching sites will be faced with integrating 30–50 specialties into an adequately funded process that will provide the required central support and needed faculty development processes (Holmboe et al. 2011).

마찬가지로 평가를 위한 '더 큰 데이터' 모델의 다음 다운스트림 시사점, 각 교수진 및 관련 PGME 프로그램으로 이동하면 EPA 또는 PA 도입의 안락의자 조종사를 사용하여 CBA의 데이터 수집 시사점을 고려할 수 있다. 이를 통해 교사와 멘토가 다음을 수행할 수 있도록 하는 데 필요한 지원을 확인할 수 있습니다.

• (1) 실시간 관찰을 온라인에 기록한다.
  
• (2) 매일 개선을 위해 학생에게 실시간으로 비판단적 피드백을 제공하도록 훈련되고 조직되어야 한다.
  
• (3) 각 학습자에 대한 [데이터 수집 및 요약]과 [정보 패키지 개발]을 위한 중앙 지원을 받는다.

Similarly, moving to the next down-steam implications of ‘bigger data’ models for assessment, each faculty and each implicated PGME program, could consider the data collection implications of CBA by using arm-chair pilots of introducing EPAs or PA. It will help identify the support needed to ensure that teachers and mentors can:

• (1) record real time observations of performance on-line;
• (2) be trained and organized to offer real time non-judgmental feedback to students/trainees for daily improvement; and
• (3) have central support to collect and summarize data and develop information packages on each learner.

그런 다음, 일단 수집된 정보는 교수진의 30개에서 50개에 달하는 PGME 프로그램 추진 위원회 각각에 속한 각각의 연수생에 대해 고려되고 해석될 수 있도록, 교수진의 PGME 사무실로 보내져야 합니다. 책임과 신뢰의 차원으로의 진전에 대한 타당한 결정을 내리기 위해 데이터와 관찰 내용을 함께 검토하고 해석하는 것은 그들이다. 기술적, 분석적 조언과 지원과 함께 교수 준비와 훈련이 필요하다 (Eva et al. 2016).

In turn, once collected, information must be sent to the Faculty’s PGME office to be considered and interpreted for each trainee in each of the faculty’s 30–50 PGME program’s promotions committee. It is they who collectively review and interpret the data and observations in order to make valid decisions about advancement to the next level of responsibility and trust. Technological and analytical advice and support aside, Eva and co-authors have suggested why significant faculty preparation and training is needed (Eva et al. 2016).

개별 교수진 수준에서 지속적인 모니터링 프레임워크를 채택하면 다음과 같은 일이 뒤따른다.

• 총괄적 결정과는 대조적으로, 형성평가를 지원하는 관찰과 정성적 보고서 또한 현장 배치 중에 데이터 수집 시스템이 필요할 것이다. 업무 기반 평가 방법에 대한 교수진 지원 시스템은 CBA를 고려하는 사람들에게 좋은 사전 테스트이다. [피드백을 위한 일상적인 평가 순간]은 [진급 판단에서와 같은 의사결정을 위한 데이터]에서 분리해야 한다(Van der Vleuten et al. 2012).
• 또한, [실시간 피드백과 형성적 학습]은 반드시 [평가 정보를 학습 목표 및 사전 정의된 기대치와 비교]하여 평가해야 한다. 여기에는 학생 기록에 데이터를 쉽게 제출할 수 있는 [온라인 프로그램]이나 [대시보드]에 정기적으로 액세스할 수 있는 기능이 포함되어야 한다.

There are several other consequences of employing continuous monitoring frameworks at the level of an individual faculty member.

• In contrast to summative decisions, the observations and qualitative reports supporting formative assessment will also need data collection systems during field placements. Faculty member support systems for work-based assessment methods are a good pre-test for those considering CBA. These day-to-day assessment moments for feedback must be de-coupled from data for decision-making as in judgment for promotion (Van der Vleuten et al. 2012).
• Moreover, real-time feedback and formative learning must be evaluated by comparing assessment information against learning goals and predefined expectations. That should include regular access to on-line programs or dashboards that permit easy submission of field data into the student’s record.

최근 보고서는 이러한 데이터 기대치의 도입이 쉽게 달성되지 않음을 확인했다. UGME와 PGME에서 CQI 프로세스로 성급하게 달려가는 것이 대부분의 교수진에게 엄청난 변화이며, 여기에 필요한 추가 자원이 과소평가될 수 있다. 따라서 일반적인 피드백뿐만 아니라, 다음 단계의 책임으로 진급하기 위하여 함축된 데이터를 판단하는데 필요한 [멘토와 평가자의 전문성]이 필수적이다. 또한, 형성 평가를 trainee는 총괄평가로 여길 수 있으며, 따라서 형성 평가 프로세스의 타당성에 위협을 가할 수 있다는 것이 문서화되었다(Govaerts 2015). 진정하고 정기적인 형태 형성 피드백에 대한 교수진과 연수생 준비는 필수적입니다(Dath and Iobst 2010; Holmboe et al. 2011). 

Recent reports have confirmed that the introduction of these data expectations is not easily accomplished (Dudek et al. 2012; Cook et al. 2016; Van Loon et al. 2016; Hauer et al. 2016). The rush to continuous quality improvement processes in both UGME and PGME is a big step forward for most faculties and its additional resource demands can be underappreciated. Therefore, the expertise of mentors and assessors is essential as judgments must be made on data where the inferences have implications, both for normal feedback as well as for promotion to the next level of responsibility. Furthermore, it has been documented that formative assessment activities can be viewed as summative by trainees, thereby offering a threat to the validity of the formative assessment processes (Govaerts 2015). Faculty and trainee preparation on authentic and regular formative feedback is essential (Dath and Iobst 2010; Holmboe et al. 2011). 

마지막으로, 평가에 관한 모든 변경은 자격부여 및 인증뿐만 아니라 의대 진급이라는 [광범위한 법적 맥락] 내에서 관리 및 평가되어야 합니다. 그러한 맥락은 입법 요건과 법률적 법리주의에 뿌리를 둔 기본적 법률 및 자연적 정의 체계에 의해 제한되고 지시된다. 평가는 일반적으로 국제적으로 존경 받는 standards for educational and psychological testing에 기초한다. 이렇게 오랫동안 확립된 프레임워크는 교육 기관과 면허 및 인증 기관 모두 준수해야 하는 [법적 절차와 표준]을 정의합니다. 그들은 또한 교육 환경에 걸쳐 동등성을 확립하는 데 필요한 구조와 평가 과정에 대한 지침을 정하고 평가 과정이 번창하는 데 필요한 학습 문화를 정의하는 데 도움을 준다. CBA의 도입은 기존의 교육 시스템으로 지속적인 개선을 통해 더 나은 결과를 얻는 새로운 문화를 창조하기 위한 것이다. 이를 위해서는 CBA가 [기존의 법적 및 행정적 QA 형식] 내에서 실현 가능하고 지속 가능한지를 사전에 평가해야 한다.
Finally, as Norman et al. (2014) have noted, any assessment change must be administered and evaluated within the broader legal contexts of medical school promotion as well as licensure and certification. Those contexts are bounded and directed by basic legal and natural justice frameworks that are rooted in legislated requirements and legal jurisprudence. The assessments are typically based on internationally respected standards for educational and psychological testing (Dauphinee 2002; American Educational Research Association, the American Psychological Association, and the National Council on Measurement in Education 2014). These long established frameworks define the legal processes and standards under which both educational institutions and licensure and certification bodies must operate. They also set the guidelines for the structures and assessment processes needed to establish equivalency across educational settings and help to define the learning culture needed for assessment processes to thrive. The introduction of CBA is intended to create a new culture of achieving better results through continuous improvement with an existing educational system. That necessitates evaluating, in advance, if CBA is feasible and sustainable within the existing legal and administrative quality assurance formats.

누가 CBA 혁신 과제를 소유하고 관리할 것인가?
Who will own and manage the CBA innovation challenge?

우리는 [평가에 대한 강조]는 [더 넓은 임상적 맥락에서 치료의 품질과 결과]에 따라야 한다는 견해를 지지한다. 전문직에 대한 사회적 책무성은 언제나 [교육 기관을 포함한 양질의 의료를 향한 노력]과 [모집단의 건강에 미치는 영향]에 기반하여 규정되어야 한다. 이것이 현재 널리 받아들여지고 있는 관점으로 볼 때, 우리는 면허나 인증을 위한 의사의 관리와 평가를 책임지는 광범위한 기관에 의해 추진되고 있는 주요 혁신에 직면해 있다. [CBA의 효과적인 구현]을 위한 [최적의 솔루션이 식별되도록 보장]할 의향이 있고, 이에 대한 책임을 질 수 있는 이해관계자 조직의 컨소시엄이 있는지 묻는 것이 타당해 보인다. 모든 국가에서 가능한 것은 아니지만, 캐나다, 미국, 그리고 일부 유럽 국가들과 같은 몇몇 나라들에는 강력한 CBA 활동들이 존재한다.

We support the view that the emphasis in assessment must be on the quality and outcomes of care in the broader clinical context (Bismil et al. 2014; Warm 2016; Wong and Holmboe 2016; Chen et al. 2014). Social accountability for the professions must always be framed within the health care quality effort, including the teaching institutions, and their impact on the population’s health. Given that this is now a widely accepted perspective, we are faced with a major innovation being promoted by a broad range of institutions responsible for the governance and assessment of physicians for licensure or certification. It seems reasonable to ask whether there are consortia of stakeholder organizations that are willing and able to take responsibility for assuring that the optimal solutions are identified for the effective implementation of CBA? While not possible globally, pockets of intense CBA activity exist in several countries: Canada, United States, and some European countries.

평가의 초기 혁신을 위해, 스폰서 기관의 비공식적 연합은 기술혁신을 진전시키는데 시간, 직원 및 비용을 투자하였다. 때로는 혁신 비용을 분담하고 조직간 개발 훈련을 촉진하기 위한 인센티브를 창출하는 교육 부문과 파트너십이 형성되기도 했다(Dauphinee 및 Reznick 2011; Tamblyn 등). CBA의 경우 유사한 조직간 협력과 장기 계획의 기회가 명백하다. 이제는 주머니가 두둑하고 사회적 책임감이 강한 기관들이 오너십을 갖고, 잘 확립된 운영 및 평가 실천을 통해, 지속 가능한 변화를 이루기 위해 충족되도록 보장할 때가 아닌가?

For earlier innovations in assessment, informal coalitions of sponsoring bodies invested time, staff and money in moving the innovation forward. Sometimes, partnerships were formed with the educational sectors which created incentives for sharing the cost of innovations and promoting inter-organizational developmental training (Dauphinee and Reznick 2011; Tamblyn et al. 2002). In the case of CBA, opportunities for similar inter-organizational collaboration and longer term planning are apparent. Is it not time for those bodies with deeper pockets and a strong sense of social responsibility to own and ensure that established management and assessment practices are met in order to have sustainable change?

의견 마무리
Concluding comments

결국, 평가를 위한 주요 역할은

• 개선을 위한 학습자 피드백을 제공하고,
• 한 단계에서 다른 단계로 [진급에 대한 정의된 기대치에 반하여 판단되는 증거]를 제공하고,
• 프로그램과 프로그램 책임자와 멘토의 CQI을 보장하기 위한 데이터를 도출하는 것이어야 한다.

그렇지 않다면, CBA는 교육생, 교수진 또는 대중에게 지속 가능하지 않을 것이다.

In the end, the main roles for assessment should be to

• offer learner feedback for improvement,
• provide evidence judged against defined expectations for promotion from one phase to another, and
• derive data to assure continuous quality improvement of the program and its director and mentors.

If not, CBA will be unsustainable for the trainees, the faculty, or the public.

 

 

---

Adv Health Sci Educ Theory Pract. 2019 May;24(2):413-421.

 doi: 10.1007/s10459-018-9833-2. Epub 2018 May 18.

Considerations that will determine if competency-based assessment is a sustainable innovation

W Dale Dauphinee 1 2 3, John R Boulet 4, John J Norcini 4

Affiliations expand

PMID: 29777463

DOI: 10.1007/s10459-018-9833-2

 

Abstract

Educational assessment for the health professions has seen a major attempt to introduce competency based frameworks. As high level policy developments, the changes were intended to improve outcomes by supporting learning and skills development. However, we argue that previous experiences with major innovations in assessment offer an important road map for developing and refining assessment innovations, including careful piloting and analyses of their measurement qualities and impacts. Based on the literature, numerous assessment workshops, personal interactions with potential users, and our 40 years of experience in implementing assessment change, we lament the lack of a coordinated approach to clarify and improve measurement qualities and functionality of competency based assessment (CBA). To address this worrisome situation, we offer two roadmaps to guide CBA's further development. Initially, reframe and address CBA as a measurement development opportunity. Secondly, using a roadmap adapted from the management literature on sustainable innovation, the medical assessment community needs to initiate an integrated plan to implement CBA as a sustainable innovation within existing educational programs and self-regulatory enterprises. Further examples of down-stream opportunities to refocus CBA at the implementation level within faculties and within the regulatory framework of the profession are offered. In closing, we challenge the broader assessment community in medicine to step forward and own the challenge and opportunities to reframe CBA as an innovation to improve the quality of the clinical educational experience. The goal is to optimize assessment in health education and ultimately improve the public's health.

Keywords: Clinical assessment; Competency-based assessment; Disruptive innovation; Entrustable professional activities; Post-graduate medical assessment; Programmatic assessment; Sustainability; Undergraduate assessment.