보건전문직교육에 초점을 둔 멘토십 평가 도구 개발 및 타당화(Perspect Med Educ, 2019)

Development and validation of a health profession education-focused scholarly mentorship assessment tool

Christina St-Onge1 · Meredith Young2 · Lara Varpio3




문제

Problem


건강 전문가 교육 연구활동(HPES)은 [교육 활동에 종사하는 임상의사 교육자[2]]와 [연구 방법 및 이론에 대한 지식을 가진 박사 HPES 연구 과학자[2]]를 포함하여, 전문가와 공식 훈련을 받은 여러 분야의 학자들이 참여하는 공동의 노력[1]이다.

Health professions education scholarship (HPES) is a collaborative endeavour [1] involving scholars across areas of expertise and formal training—including clinician educators [2] who engage in educational activities and PhD trained HPES research scientists [2] with knowledge of research methods and theories.


학술적 멘토링은 종종 HPES 연구 과학자들의 직무 기술서에 교육 업무량 중 하나로 중요하게 명시되어 있다. (즉, 학술적 멘토링은 종종 교수개발 워크샵, 교실 교육 제공, 직장 기반 교육 제공과 같은 교육 활동과 함께 교직원의 직무기술서에 나와있는 것 중 하나이다.) 이러한 교육활동이 비공식적으로는 교육이지만, 불행하게도, 종종 승진과 종신 재직 위원회에서 학술적 멘토링은 공식적으로 인정되지 않는다.

scholarly mentorship is often explicitly listed in HPES research scientists’ job descriptions as a significant contribution to their teaching workload (i. e., scholarly mentorship is often incorporated within the teaching expectations in faculty job descriptions, subsumed along with educational activities such as offering faculty development workshops, classroom instruction, and/or workplace-based teaching) [4]. Unfortunately, while informally recognized as teaching, scholarly mentorship is not often formally recognized as such by promotion and tenure committees [5].


HPES 연구 과학자들에게 요구되는 것과 승진과 종신 재직에 대해 인정되는 것 사이의 차이가 있다면 문제가 있다. 이러한 학술적 멘토링 협력에서 제공되는 교육적 지원을 공식적으로 인정하지 않고 HPES 연구 과학자들은 구조적으로 이 작업에 관여하지 못하게 된다[5].

The gap between what is required of HPES research scientists and what is recognized for promotion and tenure is problematic. Without formal recognition of the educational support offered in these scholarly mentorship collaborations, HPES research scientists are structurally disincentivized from engaging in this work [5].



접근법

Approach


우리는 DeVellis의 [6] 8단계 프레임워크를 사용하여 도구를 개발했으며, Messick의 통합 타당성 이론[7, 8]은 우리의 유효성 접근법을 알려주었다.

We used DeVellis’s [6] 8-step framework to develop the tool, and Messick’s unified theory of validity [7, 8]informed our validation approach.


DeVellis 프레임워크의 1단계는 관심있는 구인을 정의하는 것이다. 우리의 구조는 HPES 연구 과학자들이 연구 협력을 위해 제공하는 학술적 멘토링이다. 세 기관 모두에서 양립가능성을 보장하고 승진 및 종신 재직 위원회가 학문적 멘토링을 가르치는 방법과 일치시키기 위해, 우리는 옥스포드 영어 사전에서 정의한 teaching이라는 용어를 우리의 구조에 라벨을 붙이기 위해 사용하기로 결정했다. "정보를 주고, 훈련시키고, 지침을 전달하고, 지식을 전달하고, 길을 보여주고, 지시하는 것". 이 정의는 우리가 목적으로 한 학술적 멘토 활동[5]을 포괄하며, 우리 세 기관에 걸친 HPES 연구 과학자들의 직무 설명과 승진 기준을 포괄한다.

Step 1 of DeVellis’s framework is to define the construct of interest. Our construct is the scholarly mentorship provided by HPES research scientists in research collaborations. To ensure compatibility across all three institutions and alignment with how promotion and tenure committees label scholarly mentorship as teaching, we chose to use the term teaching as defined by the Oxford English Dictionary to label our construct: “to inform, to train, to give instruction to, to impart knowledge, to show by way, to instruct.” This definition encompasses the scholarly mentorship activity of interest to us [5], and maps across job descriptions and promotion criteria for HPES research scientists across our three institutions.


부록 1은 도메인 목록을 생성하는 데 사용되는 모든 참조를 보여준다.

Appendix 1, shows all the references used to generate the list of domains.


귀납적 분석 접근법[10]을 사용하여, 학계 멘토링에 종사할 때 HPES 연구에서 필요한 기술을 구성하는 여섯 가지 영역을 식별했다.

Using an inductive analysis approach [10], we identified six domains that constitute the skills required of HPES research scholars when engaging in scholarly mentorship:


A. 해당 학술 분야의 전문성

B. 연구 방법론, 방법 및 프로세스에 대한 전문성

C. 실행 가능하고, 잘 조율된 연구 계획의 개발에 대한 숙련도

D. 자원, 동기 부여 및/또는 전문 개발 측면에서 지원을 제공하는 능력

E. 네트워킹 및 가시성visibility 향상 측면에서 지원을 제공하는 기능

F. 연구 결과의 보급과 커뮤니케이션을 지원하는 능력.

A. Expertise in scientific or scholarly field;

B. Expertise in research methodologies, methods, and processes;

C. Proficiency in the development of a feasible, coordinated research plan;

D. Ability to offer support in terms of resources, motivation, and/or professional development;

E. Ability to offer support in terms of networking and increasing visibility;

F. Ability to support the dissemination and communication of research findings.


2단계에서, 1단계에서 식별된 도메인이 평가 도구 개발을 위한 청사진 역할을 한다. 다음 프로세스를 순차적으로 완료하여 문항 풀을 생성했다.

In Step 2, the domains identified in Step 1 serve as the blueprint for the development of the assessment tool. We generated an item pool by completing the following processes in sequential order:


6개 영역의 26개 항목, 8개 배경항목, 9개 만족항목을 총 41개 항목으로 파악했다.

We identified 26 items for the six domains, 8 background items, and 9 satisfaction items, for a total of 41 items.


3단계에서는 평가 도구에 대한 구조를 결정한다. 항목(완전히 이견, 동의, 완전 동의)에 대해 4점 Likert 척도를 작성했으며, 1단계와 2단계(부록 1)에 수록된 조사 사례를 미러링하기 위해 "적용할 수 없음" 보기를 포함했다.

Step 3 calls for the selection of a structure for the assessment tool. We created a 4-point Likert Scale for items (Totally disagree, Disagree, Agree, Totally Agree), and included a not applicable option to mirror survey examples found in Steps 1 and 2 (Appendix 1).


4단계에서는, Messick의 내용 증거 개념화에 맞춰 전문가와 상담하여 평가 도구(v1)에 포함된 항목 풀을 검토하도록 요청했다. 

Aligned with Messick’s conceptualization of evidence of content, we consulted experts and asked them to review the item pool included in the assessment tool (v1) during Step 4. Stakeholders included:


e-메일을 통해 평가 툴(v1)을 공유하고, 각 참가자에게 

  • (1) 각 항목의 명확성, 

  • (2) 항목의 적절성, 

  • (3) 모든 공백 또는 누락 요소, 

  • (4) 잠재적 개선사항 

  • (5) 자신이 상황에 비춰본 도구의 타당성과 수용성

...에 대해 의견을 제시하도록 요청했다. 각 이해관계자는 독립적으로 협의하였으며, 참가자들 간에 어떠한 결과도 공유되지 않았다.

Via email, we shared the assessment tool (v1) and asked each participant to comment on 

  • (1) the clarity of each item, 

  • (2) the appropriateness of items, 

  • (3) any gaps or missing elements, 

  • (4) potential improvements, and 

  • (5) the feasibility and acceptability of the tool in their setting. 

Each stakeholder was consulted independently, and no results were shared across participants.


응답을 받은 후, 연구원들은 평가 도구에 대한 변경 사항을 논의하고 실행하기 위해 만났다. 5단계가 마무리되었을 때, 평가 툴(v2)은 6개 도메인에 매핑된 25개 항목(도메인 A, B, C의 경우 각각 5개 항목, 도메인 D와 E의 경우 3개 항목, 도메인 F의 경우 4개 항목), 배경 질문 6개, 총 33개 항목에 대한 만족도 질문 2개로 구성되었다.

After replies were received, the researchers met to discuss and implement changes to the assessment tool. By the end of Step 5, the assessment tool (v2) consisted of 25 items mapped to the six domains (5 items each for domains A, B and C; 3 items each for domains D and E, 4 items for domain F), six background questions, and two satisfaction questions for a total of 33 items.


영어 버전은 온라인 전자 보충 자료의 부록 2를 참조하십시오.

See Appendix 2, in the online Electronic Supplementary Material, for the English version.



성과

Outcomes


Messick의 구조 증거 개념화에 맞추어, 6단계에서 53명의 MD 협력자 또는 대학원생을 초대하여 설문을 받아보았다. 목표는 우리 도구의 심리측정적 특성을 확립하는 것이었다DeVellis는 이 단계를 "development sample을 대상으로 한 설문시행"이라고 불렀으며, 우리는 참가자들에게 도구의 수용가능성acceptability과 관련된 설문를 완료하도록 요청했다. 익명성을 보호하기 위해, 소속대학이 다른 연구 보조원이 참가자들에게 연락했다.

Aligned with Messick’s conceptualization of evidence of structure, in Step 6 we invited 53 MD collaborators or graduate students to complete the tool. The goal was to be able to establish the psychometric qualities of our tool. During this step, which DeVellis labels as administering the tool to a development sample, we also asked participants to complete a survey regarding the tool’s acceptability. To protect anonymity,a research assistant from a different participating university contacted participants


DeVellis의 7단계(항목 평가)와 8단계(스케일 최적화)를 결합하여 6단계의 피드백을 분석했다. 사회생태학적 항목들은 기술적으로 분석되었다. 고전적 시험 이론[12]의 원리에 따라, 척도의 정신계 특성(항목 난이도 및 차별)과 내부 일관성(크론바흐의 알파)을 평가하기 위한 항목 분석을 실시했다. 고전적 시험 이론은 점수들의 의도된 서술적 사용intended descriptive use을 반영하기 때문에 선택되었다[12].

We combined DeVellis’s Steps 7 (evaluation of the items) and 8 (scale optimization) in analyzing the feedback offered by participants in Step 6. Sociodemographic items were analyzed descriptively. Relying on principles of Classical Test Theory [12], we conducted an item analysis to assess the psychometric properties (item difficulty and discrimination) and internal consistency (Cronbach’s alpha) of the scale. Classical Test Theory was chosen to inform our analysis because it reflects our intended descriptive use of the scores [12].


다음 단계

Next Steps


우리가 개발한 도구(SHPE(Scholly Teaching in Health Professions Education) 평가 도구)는 HPES 연구 과학자들이 제공하는 학문적 멘토에 대한 피드백을 열거, 평가 및 제공하는 증거에 근거한 수단이다.

The tool we developed—the Scholarly Teaching in Health Professions Education (STHPE) assessment tool—is an evidence-informed means for enumerating, assessing, and offering feedback on the scholarly mentorship offered by HPES research scientists.


10. Thomas DR. A general inductive approach for analyzing qualitative evaluation data. AmJ Eval. 2006;27:237–46.









 2019 Feb;8(1):43-46. doi: 10.1007/s40037-018-0491-0.

Development and validation of a health profession education-focused scholarly mentorshipassessment tool.

Author information

1
Department of Medicine, Faculty of Medicine and Health Sciences, Université de Sherbrooke, Sherbrooke, Quebec, Canada. christina.st-onge@usherbrooke.ca.
2
Department of Medicine, Centre for Medical Education, McGill University, Montreal, Quebec, Canada.
3
Department of Medicine, Uniformed Services University of the Health Sciences, Bethesda, MD, USA.

Abstract

PROBLEM:

PhD-trained researchers working in health professions education (HPE) regularly engage in one-on-one, or one-on-few, scholarlymentorship activities. While this work is often a formal expectation of these scientists' roles, rarely is there formal institutional acknowledgement of this mentorship. In fact, there are few official means through which a research scientist can document the frequency or quality of the scholarly mentorship they provide.

APPROACH:

OUTCOMES: The STHPE assessment tool has appropriate psychometric properties and evidence supporting acceptability. It can be used to document areas of strength and areas for improvement for research scientists engaged in HPE-related scholarly mentorship.

NEXT STEPS:

At present, the STHPE assessment tool is the only formally developed tool for which there is evidence of validity for use by PhD-trained researchers working in HPE to collect feedback on their scholarly mentorship skills. The STPHE has been used in promotion and tenure packages to document effectiveness and quality of scholarly mentorship.

KEYWORDS:

Assessment; Innovation; Scholarly Mentorship

PMID:
 
30632060
 
PMCID:
 
PMC6382618
 
DOI:
 
10.1007/s40037-018-0491-0


+ Recent posts