프로포절 준비 프로그램: NIH 연구비 지원 촉진을 위한 그룹 멘토링, 교수개발 모델(Acad Med, 2022)
The Proposal Preparation Program: A Group Mentoring, Faculty Development Model to Facilitate the Submission and Funding of NIH Grant Applications
Anne Marie Weber-Main, PhD, Kimberly A. Thomas-Pollei, PhD, John Grabowski, PhD, Clifford J. Steer, MD, Paul D. Thuras, PhD, and Matt G. Kushner, PhD
학술 의학academic medicine 분야의 연구 중심적 교직원은 보조금 제안서 개발, 특히 NIH(National Institutes of Health) 애플리케이션의 형태와 기능 면에서 높은 수준의 역량을 개발해야 합니다. 전통적으로, 초기 경력 조사관들은 "사회적 견습생social apprenticeship"을 통해 연구비신청서 쓰기 기술을 개발했습니다. 이 과정은 경험이 풍부한 연구자들의 멘토링에 크게 의존하지만, 동료들과의 상호작용, 자금 조달 기관 관계자와의 토론, 성공적인 애플리케이션의 모델링, 검토 패널 참여 및 검토자의 비평 분석을 포함할 수도 있다. 그러나, 멘토링 능력이 강한 환경에서도, 다른 요소들은 사회적 견습제도에 부담을 줄 수 있다. 예를 들어, 선임 조사관senior investigators 은 자신의 제안을 개발하고 (다시) 제출해야 하며, 진행 중인 프로젝트를 실행해야 합니다.이 때문에, 이러한 어려운 과제에 대해 다른 사람에게 조언할 수 있는 시간이 잠식될 수 있습니다.
Research-intensive faculty members in academic medicine must develop a high level of competency in grant proposal development, particularly the form and function of National Institutes of Health (NIH) applications. Traditionally, early-career investigators develop grant-writing skills through “social apprenticeship.” 1 This process relies heavily on mentoring from experienced researchers but can also involve interactions with peers, discussions with funding agency officials, modeling of successful applications, participation on review panels, and analysis of reviewers’ critiques. 2,3 Even in environments with a robust mentoring capacity, however, other factors can strain the social apprenticeship system. For example, senior investigators must develop and (re)submit their own proposals, as well as execute ongoing projects, which can erode the time they have available to mentor others in this challenging task.
박사 전 및 박사 후 프로그램과 과학 학회는 이러한 훈련 요구에 대응하기 위해 점점 더 많은 연구비지원서 쓰기 과정, 세미나 및 워크샵을 제공하고 있습니다. 비슷한 노력이 여러 AHC에 걸쳐 일어났다. 임상 및 번역과학상 허브는 KL2 학자를 대상으로 한 집중적인 보조금 쓰기 훈련, 연구 자금을 요구하는 커뮤니티 및 학술 팀에 대한 지원, 프로젝트 리더 역할로 이행하는 이들을 위한 워크숍 기반 커리큘럼과 멘토링 등 초기 경력 교직원에게 다양한 프로그램을 제공하고 있습니다. 이와 같은 포괄적인 프로그램은 연구비 취득을 촉진하지만, 지원 가능한 investigator의 수에 제한이 있습니다.또, 참가자와 함께 일하는 멘토가, 실제로 학자가 복잡한 제안서 작성 프로세스를 성공적으로 진행하는데 필요한 수준의 피드백을 제공하고 있다는 보장은 없습니다.
Pre- and postdoctoral programs and scientific societies increasingly offer grant-writing courses, seminars, and workshops to address this training need. 4–8 Similar efforts have occurred across academic health centers. Clinical and Translational Science Award hubs offer a variety of programs to early-career faculty including intensive grant-writing training for KL2 scholars, assistance to community–academic teams seeking research funding, and a workshop-based curriculum plus mentorship for those transitioning to research project leadership roles. 9–14 Comprehensive programs such as these promote grant acquisition but are limited in how many investigators they can support. 9 Moreover, there is no guarantee that the mentors with whom participants choose to work are actually providing the level of feedback that scholars need to successfully navigate the complex proposal writing process.
미네소타 대학 의과대학 의과대학에서의 이 트레이닝의 요구에 대응하기 위해서, 2007년에 시니어 교수가 연구비지원서 작성 그룹을 실시했습니다. 이것은 경험이 풍부한 교수진이 NIH에 대한 첫 번째 제안서를 작성하기 위해 적극적으로 후배 교수진을 지도한 4개월간의 소그룹 세션이었습니다. 이 이니셔티브는 호평을 받아 그 이후에도 지속적으로 제안되었으며, 제안 준비 프로그램(P3)의 설립을 예고했습니다. 시간이 지남에 따라 다른 부서의 교수들이 P3에 정기적으로 참여하기 시작했고, P3의 관리와 자금 지원은 교무처(Office of Faculty Affairs)가 담당하게 되었습니다. 현재, 3개의 P3 사이클이 연간 제공되고 있으며, 각 사이클은 3개의 표준 NIH 연간 제출 마감일 중 약 1개월 전에 종료되도록 구성되어 있습니다. 2020년 겨울 현재, P3는 13년간 계속 운영되고 있으며, 25개 이상의 학과에서 271명이 입학하고 있다.
To address this training need in the University of Minnesota Medical School’s Department of Medicine, senior faculty implemented a grant-writing group in 2007. This was a 4-month-long series of small group sessions in which experienced faculty actively guided junior faculty in developing their first proposal to the NIH. This initiative was well received and continuously offered thereafter, heralding the establishment of what became the Proposal Preparation Program (P3). Over time, faculty from other departments began routinely participating in P3, leading to its management and funding being assumed by the medical school’s Office of Faculty Affairs (OFA). Presently, 3 P3 cycles are offered annually, each structured to end approximately 1 month before 1 of the 3 standard NIH annual submission deadlines. As of winter 2020, P3 has operated continuously for 13 years, matriculating 271 individuals from over 25 departments.
이 기사에서는 유사한 이니셔티브를 구현하고자 하는 독자들의 이익을 위해 P3에 대해 설명합니다. 먼저 프로그램의 교육학적 원칙과 운영 절차를 개략적으로 설명하겠습니다. 다음으로 참가자에 대한 데이터(인구학적 특성, 제안서 제출 및 자금 지원 결과, 자체 보고 기술 획득)와 프로그램에 대한 양적 및 질적 피드백을 제시한다. P3에 대한 제도적 투자수익률, 한계 및 향후 방향에 대한 논의로 마무리한다.
This article describes P3 for the benefit of readers who might wish to implement a similar initiative. We begin by outlining the program’s pedagogical principles and operating procedures. Next, we present data for participants (demographic characteristics, grant proposal submission and funding outcomes, self-reported skills gains) and their quantitative and qualitative feedback on the program. We conclude with a discussion of institutional return on investment in P3, limitations, and future directions.
교육학적 원칙
Pedagogical Principles
P3는 소규모 P3 멘토 팀이 NIH 보조금 제안을 적극적으로 작성하는 후배 교수 집단과 협업하는 [그룹 멘토링 모델]을 채택하고 있다. 멘토와 참가자는 4개월에 걸쳐 10번 만나 간단한 교육적 프레젠테이션을 한 후 세션 사이에 검토된 각 참가자의 초안 작성에 대해 논의합니다(그림 1). 이 프로그램은 모의 NIH 리뷰 세션으로 끝납니다. P3의 운영 세부 사항은 시간이 지남에 따라 발전해 왔지만, 그 근본적인 교육학적 원칙은 변하지 않았습니다.
P3 employs a group mentoring model in which a small team of P3 mentors work collaboratively with a cohort of junior faculty actively writing NIH grant proposals. Mentors and participants meet 10 times over 4 months for brief didactic presentations followed by discussion of each participant’s developing drafts as reviewed between sessions (Figure 1). The program concludes with a mock NIH review session. Although P3’s operational details have evolved over time, its underlying pedagogical principles have remained constant.
원칙 1
Principle 1
생물의학 연구비 신청은 매우 미묘한nuanced 장르로, 숙달하기 어렵고, 일반적으로 가르쳐지지 않습니다. 대부분의 교직원이 P3에 참여하고 있는 것은 만족스러운 과학적 글쓰기 기술뿐 아니라, 수준 높은 연구 제안서에서 기대되는 구체적인 내용, 수사 패턴, 그래픽 요소 및 조직 구조에 대한 지식이 거의 없기 때문입니다. P3 멘토는 이러한 [암묵적 글쓰기 규범]을 적용하는 데 풍부한 경험을 가지고 있으며, 경험이 적은 조사관에게 자신의 글이 리뷰어의 장르 중심 기대에 얼마나 부합하는지 평가하고 이러한 기대를 더 잘 충족시키기 위한 전략적 수정을 시행하는 데 있어 효과적으로 지도할 수 있습니다.
The biomedical research grant application is a highly nuanced and distinct genre of writing that is challenging to master and not typically taught. 3,15,16 Most faculty join P3 with satisfactory scientific writing skills but little knowledge of the specific content, rhetorical patterns, graphic elements, and organizational structure expected in high-quality research proposals. P3 mentors, who have extensive experience in applying these implicit writing norms, can effectively guide less experienced investigators in evaluating how well their writing is meeting reviewers’ genre-driven expectations and in implementing strategic revisions to better satisfy these expectations.
원칙 2
Principle 2
연구비지원서 작성 기술은 고품질 피드백과 성찰 연습의 반복 사이클을 통해 효과적으로 개발될 수 있습니다. P3는 대부분의 단기 보조금 작성 워크숍에서 제공하는 간단한 지침을 훨씬 능가합니다. 참가자들은 몇 달 동안 반복적인 쓰기/검토 과제를 완료함으로써 어려운 스킬을 체계적이고 신중하게 연습합니다. Revision은 다양한 전문지식을 가진 멘토 및 동료들의 피드백 주기에 따라 이루어집니다. 게다가, 학습은, 고부가가치의 단기적 목표, 즉 자신의 연구를 위한 자금을 얻고자하는, 참가자의 내재적 동기 부여에 의해서 촉진된다.
Grant-writing skills can be effectively developed through iterative cycles of high-quality feedback and reflective practice. 17–19 P3 goes well beyond the brief instruction offered by most short-term grant-writing workshops. Participants engage in several months of systematic, deliberative practice of a difficult skill through completing iterative writing/review assignments. Revisions are guided by cycles of feedback from mentors and peers with diverse expertise. Moreover, learning is facilitated by the intrinsic motivation of participants pursuing a high-value, near-term objective: acquiring funding for their own research.
원칙 3
Principle 3
과학 작문에서의 기술 개발 및 생산성은 훈련을 [능동적인 학습자로 이뤄진 소규모 동료 그룹 내에 배치함]으로써 향상됩니다. P3 참가자들은 자신의 작품에 대한 피드백뿐만 아니라 동료들이 개발한 비평 초안도 받습니다. 이 접근방식은 참가자들이 다른 사람들과 연습 사이클에 참여하고 모방(또는 회피)하기 위해 다른 글쓰기 예에 노출되기 때문에 [대리 학습vicarious learning]을 촉진합니다. 리뷰어로서, 참가자들은 독자의 관점에서 공감하는 것을 보다 쉽게 개발하면서 자신의 글에서 최대한 명확성을 추구합니다. 초안을 평가하고 정기적으로 문제 영역에 대처하는 프로세스는 쓰기 과제를 정상화하는 데 도움이 됩니다. 또한 쓰기 프로세스의 고유한 분리를 완화하면서 쓰기 생산성을 지원하는 구조와 책임도 제공합니다.
Skill development and productivity in scientific writing are enhanced by situating training within small peer groups of active learners. 20–23 P3 participants not only receive feedback on their work but also critique drafts developed by their peers. This approach promotes vicarious learning, as participants are engaging in practice cycles with others and exposed to other writing examples to emulate (or avoid). As reviewers, participants more readily develop empathy from a reader’s perspective while striving for maximum clarity in their own writing. The process of evaluating drafts and addressing problem areas at regular intervals helps normalize writing challenges. It also provides structure and accountability to support writing productivity while mitigating the inherent isolation of the writing process.
원칙 4
Principle 4
퀄리티를 높이려면, 다양한 과학자들이 쉽게 이해할 수 있도록 연구비 지원서를 작성해야 한다. P3는 많은 NIH 스터디 섹션 멤버들과 마찬가지로 멘토와 참여자들이 일반적으로 연구 주제와 특정 참가자들의 응용 프로그램에 대한 접근법에 대한 깊은 콘텐츠 지식이 부족하기 때문에 본질적으로 이 목표를 홍보합니다. P3 피드백 프로세스는 참가자들에게 높은 수준의 명확성(예: 분야별 전문 용어 최소화)과 특수성(예: 비전문가 독자들에게 과학적 질문의 중요성을 전달)을 가지고 프로젝트의 요소를 설명하도록 촉구한다. 이러한 요구사항은 가려졌을지도 모르는 약점을 조명하고, 가독성을 개선합니다. 중요한 것은 프로그램의 최종 모의 NIH 검토 세션이 참가자들의 제안이 [각 분야의 최첨단 기술을 반영]하도록 하기 위해 구체적으로 구현되었다는 점이다.
Writing a grant application so that it can be easily understood by a wide range of scientists contributes to its quality. 16,24 P3 inherently promotes this goal because its mentors and participants—like many NIH study section members—commonly lack deep content knowledge in the research topics and approaches in a particular participant’s application. The P3 feedback process pushes participants to explicate elements of their project with a high degree of clarity (e.g., minimizing field-specific jargon) and specificity (e.g., conveying the significance of their scientific question to nonexpert readers). These requirements illuminate otherwise obscured weaknesses and improve readability. Importantly, the program’s final mock NIH review session was specifically implemented to help ensure that participants’ proposals reflect the cutting edge of their respective fields.
운용 절차
Operational Procedures
리더십, 멘토 및 조직 지원
Leadership, mentors, and organizational support
현재 5명의 P3 교수 멘토(임상연구 및 번역연구 경력 3명, 기초과학연구 경력 2명)가 사이클당 약 10명의 교수진 참가자와 연계되어 있습니다. 이 낮은 멘토 대 참가자 비율은 참가자들이 모든 세션에서 상세한 피드백을 받을 수 있도록 합니다. 각 멘토는 0.15의 풀타임 상당(FTE)을 적용받으며, 의대 OFA(3명 멘토), 대학 임상번역과학연구소(CTSI; 1명 멘토), 멘토의 학술부(멘토 1명)에서 자금을 지원받는다. 0.30FTE에서 OFA의 지원을 받는 5명의 멘토 중 한 명이 프로그램 디렉터(PD)도 맡고 있습니다. PD는 신청 절차, 그룹 멘토링, 작문/검토 과제, 모의 NIH 검토 세션, 프로그램 평가 등을 조율합니다. 교무처 직원은 프로그램 공지, P3로의 전자 지원서 관리, 회의실 예약, 원격 참가자에 대한 기술 지원, 온라인 코스 사이트 유지 및 설문 조사를 지원합니다.
Currently, 5 P3 faculty mentors (3 with backgrounds in clinical and translational research, 2 in basic science research) engage with a cohort of approximately 10 faculty participants per cycle. This low mentor-to-participant ratio ensures that participants receive detailed feedback at every session. Each mentor is expected to apply 0.15 full time equivalent (FTE) to the program, which is funded by the medical school’s OFA (3 mentors), the university’s Clinical and Translational Science Institute (CTSI; 1 mentor), or the mentor’s academic department (1 mentor). One of the 5 mentors, supported by the OFA at 0.30 FTE, also serves as the program director (PD). The PD coordinates the application process, group mentoring sessions, writing/review assignments, mock NIH review session, and program evaluation. OFA staff assist with sending program announcements, managing electronic applications to P3, reserving meeting rooms, providing technical support for remote participants, maintaining the online course site, and administering surveys.
모든 멘토는 NIH R 시리즈 조성금의 수석 조사원(PI), 박사 후 펠로우 또는 교직원의 멘토, NIH 과학 리뷰 그룹 멤버로 활동한 경험이 있습니다. 이러한 자격을 갖춘 바쁜 교직원을 채용하는 것은 어려울 수 있습니다. 따라서 P3 활동에 할애된 [주당 평균 6시간(0.15FTE)]을 기준으로 멘토들의 노력을 지원하고 있습니다. 우리 팀은 2016년부터 2021년 사이에 은퇴자를 대체할 새로운 멘토를 단 한 명만 영입할 정도로 비교적 안정적이었습니다. 새로운 멘토가 영입되면, 그들은 정규 멘토 팀에 합류하기 전에 우선 1회의 P3 사이클 동안 임시ad hoc 역할을 합니다. 이를 통해 P3를 직접 체험하고 피드백 기술을 개발하며 그룹 멘토링 프로세스에 익숙해질 수 있습니다.
All mentors have had experience serving as principal investigators (PIs) for NIH R-series grants, mentors for postdoctoral fellows or faculty, and NIH scientific review group members. Recruiting busy faculty with these qualifications can be challenging. Therefore, mentors’ effort is supported based on an average 6 hours per week (0.15 FTE) devoted to P3 activities. Our team has remained relatively stable; we recruited just 1 new mentor between 2016 and 2021 to replace a retiree. When new mentors are recruited, they first serve in an ad hoc role for 1 P3 cycle before joining the regular mentor team. This enables them to experience P3 firsthand, develop their feedback skills, and become acculturated to the group mentoring process.
참가자 자격 및 선발
Participant eligibility and selection
모든 의과대학 교수에게 발송되는 교무처OFA 뉴스레터에는 P3가 설명되어 있으며 온라인 신청에 대한 링크가 제공됩니다. 의 대상은 첫 NIH R시리즈(연구) 또는 K시리즈(연구경력개발) 지원서를 준비하는 조기취업 의대 교수입니다. 이 프로그램은 때때로 의과대학 외부에서 지원자를 받아들이거나 다른 국가 기금 기관에 제안서를 제출합니다. 박사 후 펠로우는 연수 종료가 가까워지고 미네소타 대학 교수 임명을 수락한 경우에만 고려됩니다. 신청서에는 계획된 제안서 (예: 직함, 자금 조달 메커니즘, NIH 연구소)와 신청자(예: 학적, 학위, 보호 연구 시간)에 대한 기본 정보를 받는다. 신청자는 P3에서 작업하고자 하는 연구비지원서 신청에 대한 [구체적 목적 및 바이오스케치] 요소의 초안도 제출합니다. 이 자료들은 그들의 프로젝트가 얼마나 잘 구성되어 있는지, 그리고 지원자가 "작성할 준비가 되어 있는지"에 대한 통찰력을 제공합니다. 핵심 연구 아이디어가 처음이거나 불확실한 상태에서 P3에 진입하는 참가자는 종종 보조를 맞추는데 어려움을 겪기 때문에 이 평가는 중요하다.
Routine OFA newsletters sent to all medical school faculty describe P3 and provide a link to the online application. Eligible P3 applicants are early-career medical school faculty preparing their first NIH R-series (research) or K-series (research career development) application. The program occasionally accepts applicants outside of the medical school or working on proposals to other national funding agencies. Postdoctoral fellows are considered only if they are nearing the end of their training and have received and accepted a University of Minnesota faculty appointment. The application captures basic information about the planned proposal (e.g., title, funding mechanism, NIH institute) and the applicant (e.g., academic track, degree, protected research time). Applicants also submit a draft of the Specific Aims and Biosketch components for the grant application they propose to work on in P3. These materials offer insight into how well formed their project is and whether the applicant is “ready to write.” This assessment is critical, as participants who enter P3 while their core research ideas are inchoate or otherwise uncertain often struggle to keep pace.
일반적으로 사이클당 15~20개의 신청을 접수하고 10개를 선발합니다. 모든 승인/거부 결정은 프로그램 멘토가 공동으로 합니다. 최대한 많은 인원을 지원하는 것이 목표이기 때문에 퀄리티 랭킹보다는 [적격여부 심사]를 중시합니다. 우선, 부적격자를 명확하게 배제한다(예를 들면, NIH R01 조성금의 PI로서 경험이 있는 사람, 2세션 이상의 스케줄 상충을 보고하는 사람, 교직원의 임명을 가지지 않는 사람). 다음으로 의과대학 교수(P3의 프라이머리 스폰서)를 우선합니다. 추가 삭감이 필요한 경우, 집필 준비 상태가 의심스럽다고 생각되는 지원자는 거절합니다(예: 출판물 부족, 중요한 파일럿 데이터 부족, 목적 불명). 받아들여지지 않는 분들을 위해 향후 사이클에 들어갈 수 있는 가능성을 높이기 위한 제안을 하고 있습니다. 합격하지 못한 지원자에게 원고 작성 워크숍 등의 대체 프로그램을 안내합니다.
We typically receive between 15 and 20 applications per cycle and accept 10. All accept/reject decisions are made collaboratively by the program mentors. Because the goal is to support as many people as possible, we emphasize eligibility screening rather than competitive quality rankings. First, we eliminate clearly ineligible applicants (e.g., those with prior experience as PI of an NIH R01 grant, report scheduling conflicts for more than 2 sessions, do not hold a faculty appointment). Next, we prioritize faculty from the medical school (P3’s primary sponsor). If additional cuts are needed, we reject applicants whose readiness to write is deemed questionable (e.g., insufficient publications, lack of critical pilot data, ill-defined aims). For those not accepted, we offer suggestions for improving their chances of admission to a future cycle. Where warranted, we direct unsuccessful applicants to alternative programs such as manuscript preparation workshops.
회의 일정 및 할당 작성
Meeting schedule and writing assignments
코호트는 15주에 걸쳐 2시간 세션 동안 10회 만난다. 처음 5세션은 매주, 나머지 5세션은 격주로 진행됩니다(예상대로 작성/수정 범위를 늘리기 위해). PD는 세션 간에 한 명의 참가자의 응용 프로그램을 읽고 편집하고 주석을 달아줄 1명의 동료(peer)와 1명의 멘토(mento)를 번갈아 할당합니다. 서면 리뷰는 다음 세션 전에 참가자에게 전송됩니다.
- 세션 1은 소개, 프로그램의 개요 및 일반적인 글쓰기 원칙에 초점을 맞춥니다.
- 세션 2-5의 처음 15~20분은 특정 제안 섹션을 작성하기 위한 지침을 제공하는 교훈적인 프레젠테이션에 할애됩니다.
- 세션 2-9에서 각 참가자는 할당된 검토자가 자신의 비판 사항을 구두로 요약하고 그룹이 식별된 문제에 대한 해결책을 논의하는 약 15분 정도의 시간을 받는다. 세션 사이에 참가자들은 받은 피드백에 따라 초안을 수정하고 정해진 쓰기 과제 일정에 따라 새로운 자료를 개발합니다.
- 세션 10은 모의 NIH 검토 세션(아래 설명)으로 실시됩니다.
보충 디지털 부록 1은 P3 사이클의 샘플 스케줄을 제공합니다.
The cohort meets for ten ~2-hour sessions over 15 weeks. The first 5 sessions occur weekly, the remainder biweekly (to accommodate increases in the expected scope of writing/revising). The PD assigns 1 peer and 1 mentor (on a rotating basis) to read, edit, and comment on a single participant’s application between the sessions. The written reviews are to be sent to the participant before the upcoming session.
- Session 1 is focused on introductions, an overview of the program, and general writing principles.
- The first 15–20 minutes of sessions 2–5 are devoted to didactic presentations offering guidance for writing specific proposal sections.
- In sessions 2–9, each participant receives a ~15-minute block of time during which the assigned reviewers orally summarize their critiques and the group discusses solutions to the problems identified. Between sessions, participants revise their draft based on the feedback received and develop new material following a prescribed schedule of writing assignments.
- Session 10 is conducted as a mock NIH review session (described below).
Supplemental Digital Appendix 1, at https://links-lww-com-ssl.access.hanyang.ac.kr/ACADMED/B168, provides a sample schedule for a P3 cycle.
[쓰기 과제]는
- Biosketch 섹션과 Specific Aims 섹션(세션 1-2)에서 시작하여
- 중요성과 혁신 섹션(세션 3-5),
- 마지막으로 접근 섹션(세션 6-9)으로 이어집니다.
K 시리즈 지원서를 작성하는 참가자는 지원서의 후보 배경, 경력 목표 및 목표, 교육 계획 섹션을 동시에 작성합니다. 기타 애플리케이션 컴포넌트(예: 예산)는 간략하게 설명되지만 작성/검토 스케줄에는 포함되지 않습니다. 참가자들은 각 그룹 세션 이틀 전에 대학의 온라인 학습 관리 시스템 내 사이트(캔버스)에 초안을 업로드합니다. 이것에 의해, 참가자는 매주 세션 사이에 5일, 격주 세션 사이에 12일의 기입이 가능하게 됩니다. 참가자들은 마지막 초안 이후 주요 변경 사항을 페이스 시트face sheet에 간략히 요약하고, 특히 피드백이 필요한 특정 텍스트 또는 문제를 제시합니다. 초안이 제출되면, 리뷰어는 할당된 지원서를 세션 전에 2일 동안 읽고/비평할 수 있습니다.
Writing assignments begin with
- the Biosketch and Specific Aims sections (sessions 1–2),
- followed by the Significance and Innovation sections (sessions 3–5), and
- finally, the Approach section (sessions 6–9).
Participants writing K-series applications concurrently develop their application’s Candidate Background, Career Goals and Objectives, and Training Plan sections. Other application components (e.g., Budget) are briefly discussed but not included in the writing/review schedule. Participants upload drafts to a site within the University’s online learning management system (Canvas; Instructure, Salt Lake City, Utah) 2 days before each group session. This gives participants 5 days to write between weekly sessions and 12 days between biweekly sessions. Participants briefly summarize on their face sheet major changes since the last draft and indicate specific text or issues on which they especially need feedback. Once drafts are submitted, reviewers have 2 days to read/critique their assigned applications before the session.
지원자는 P3의 속도와 시간 약속에 대해 미리 경고합니다(일주일에 10시간 정도 쓰기/재작성, 안전 점검 과제 완료, 그룹 세션 참석). 속도가 빠듯하지만, 참가자들은 공식화된 쓰기 스케줄과 그룹 설명 책임이 쓰기 작업의 우선순위를 정하는 데 도움이 된다는 것을 공유했습니다. 종종 진행상의 문제상황(예: 신청 유형의 변경, 건강 또는 가족 문제, 목표에 대한 상당한 조정)을 반영하여 수정된다. 그러나 사이클 종료까지 완전한 초안(구체적 목표 페이지, Biosketch, 6페이지 또는 12페이지)을 작성하는 목표는 [모든 참가자가 모의 NIH 검토 세션에 이러한 자료를 제출할 것]이라는 기대expectation에 반영되어 있습니다.
Applicants are forewarned about P3’s pace and time commitment (estimated 10 hours per week to write/rewrite, complete the peer review assignment, and attend the group session). While the pace is demanding, participants have shared that the formalized writing schedule with group accountability helps them to prioritize writing tasks. Assignments are occasionally modified to accommodate progress barriers (e.g., change in application type, health or family issues, substantial adjustments to the aims). However, the goal of producing a complete draft by the end of the cycle—Specific Aims page, Biosketch, plus 6- or 12-page grant body—is reflected in the expectation that all participants will submit these materials for the mock NIH review session.
트레이닝 자료 및 커뮤니케이션 물류
Training materials and communication logistics
P3 Canvas 사이트는 할당, 슬라이드 세트 및 보충 자료의 저장소 역할을 합니다. 제안 섹션마다 최소 2개의 지원 문서가 포함되어 있습니다.각 섹션의 목적을 정리한 템플릿, 포함해야 할 주요 요소, 답변해야 할 질문, 권장 순서 및 길이, P3 참가자였던 지원 신청서의 예시 섹션입니다. 또한 P3에서 달리 다루지 않은 섹션(예: 프로젝트 요약, 예산 정당성, 환경, K 제안에 대한 지원서)에 대해 NIH가 주석 없이 제작한 지침을 제공한다. 재료는 새로운 NIH 지침을 반영하기 위해 쉽게 추가, 교체 또는 개조할 수 있습니다. 또, 참가자는 P3 이후의 레퍼런스를 위한 주요 트레이닝 자료를 다운로드해 보관하는 것이 좋습니다.
The P3 Canvas site serves as the repository for assignments, slide sets, and supplemental materials. We include a minimum of 2 supporting documents for each proposal section: a template developed by the mentors that summarizes the purpose of the section, key elements to include, questions to answer, and a recommended order and length; and an example section from a funded application written by a former P3 participant. We also provide unannotated NIH-produced guidance for sections not otherwise addressed in P3 (e.g., Project Summary, Budget Justification, Environment, letters of support for K proposals). Materials can be easily added, replaced, or adapted to reflect new NIH guidance. Additionally, participants are encouraged to download and retain key training materials for their reference post-P3.
리뷰 프로세스
Review process
PD는 P3 피어 1명과 P3 멘토 1명을 할당하여 주어진 참가자의 초안을 비판적으로 읽고 피드백을 제공합니다. 참가자는 세션당 1개의 초안을 리뷰하고, 멘토는 보통 2개의 초안을 리뷰합니다. 처음에는 전공 배경과 무관하게 참가자 및 멘토 간에 검토할 과제를 회람한다. 이 연습은 그룹 구성원들이 모든 제안에 익숙해지도록 하는 한편, 참가자들에게 여러 명의 독자들로부터 피드백을 받는 혜택을 준다. 참가자들이 Approach sections을 개발하기 시작하면, 포괄적 범주(기본 과학, 임상 연구) 내에서 검토자-수정자 일치도를 조정한다.
The PD assigns 1 P3 peer and 1 P3 mentor to critically read and provide written feedback for a given participant’s draft. Participants review 1 draft per session, while mentors typically review 2. Initially, review assignments are rotated among participants and mentors independent of scientific background. This practice familiarizes group members with all proposals, while giving participants the benefit of receiving feedback from multiple readers. Once participants begin developing their Approach sections, attempts are made to align reviewer–reviewee matches within broad categories (basic science, clinical research).
멘토와 참가자들은 [각 제안 섹션의 지정된 기준/목적의 과학(가능한 한), 글쓰기 스타일, 명료, 구성, 완성도 및 달성 등 리뷰에 어떻게 접근해야 하는지에 대한 일반적인 지침]을 참고자료집으로 받는다. 상세 검토자가 제공해야 하는 시간이나 수준을 명시하지 않지만 검토당 최소 1시간을 할애하고(특히 더 많은 자료가 포함된 이후의 세션에서), 실행 가능한 권장사항을 제공할 것을 제안한다. 검토자는 추적된 편집 및 주석을 초안에 포함합니다. 또한 초안 표지에 2-5개의 주요 비판 중 일부를 나열하고 독자로서 가장 우려되는 문제를 강조하기 위해 제안된 수정사항을 제시하였다.
Mentors and participants are given general guidance in how they should approach their reviews, including attention to the science (as able), writing style, concision, organization, completeness, and fulfillment of the designated criteria/purpose of each proposal section as outlined in the program’s supporting materials. We do not specify the time spent or level of detail reviewers should provide but suggest they devote at least 1 hour per review (especially in later sessions, which include more material) and provide actionable recommendations. Reviewers embed tracked edits and comments within the draft. Additionally, they list on the draft’s cover page a subset of 2–5 major critiques with suggested corrections to highlight the issues that most concerned them as readers.
그룹 세션 동안에는, 할당된 2명의 검토자는 각각 5분씩 미리 준비한 검토에서 나온 주요 강점, 비판 및 수정 아이디어를 그룹에 구두로 요약할 수 있습니다. 그런 다음 그룹 토론에 5분을 더 할애하여 다른 사람의 질문과 피드백을 받습니다. 토론은 종종 서면 피드백에서 제시된 포인트를 넘어서기 때문에 참가자들은 메모를 하는 것이 좋습니다. 일부 참가자(~20%)는 세션 중에 수용할 수 있는 것보다 더 광범위한 피드백과 문제 해결이 필요합니다. 이 경우, 가장 가까운 과학적 배경을 가진 멘토는 일반적으로 그룹 밖에서 개별 대화나 편집 세션을 가질 것을 제안합니다. 멘토는 이러한 "추가" 상담에 일주일에 1시간 이상을 할애하는 경우가 거의 없습니다. 이러한 지원은 필요할 때 참가자의 진행률 변화를 수용하려는 의지와 결합되어 중퇴를 줄이는 데 도움이 된다. 그럼에도 불구하고, 중퇴는 (사이클당 평균 1명꼴로) 발생하며, 보통 다른 책임과의 예상치 못한 충돌이나 제안의 방향이나 시기에 큰 변화가 있을 때 발생합니다.
During group sessions, the 2 assigned reviewers have 5 minutes each to orally summarize for the group the major strengths, criticisms, and revision ideas that emerged from their preprepared reviews. Then, an additional 5 minutes is spent in group discussion, with questions and feedback from others welcomed. Participants are encouraged to take notes because the discussion often extends beyond the points provided in the written feedback. Some participants (~20%) require more extensive feedback and problem-solving than can be accommodated during the session. When this occurs, a mentor with the closest matching scientific background typically suggests having an individual conversation and/or editing session outside of the group. Mentors rarely spend more than 1 hour per week in these “extra” consultations. This support, combined with a willingness to accommodate variation in participants’ rate of progress when necessary, helps to mitigate dropout. Nonetheless, dropouts do occur (on average 1 per cycle), usually for unanticipated conflicts with other responsibilities or a major change in the direction or timing of their proposal.
모의 NIH 리뷰 세션
Mock NIH review session
사이클이 시작될 때 참가자들은 프로그램의 [모의 NIH 검토 세션에서 "외부 검토자"로 활동할 미네소타 대학 교직원을 고르도록] 지시받는다. 이상적인 검토자는 R01(또는 동등한) 보조금에서 PI로 활동한 경험이 있고, NIH 검토자로 활동한 적이 있으며, 참가자의 현재 또는 최근 협력자가 아니며, 가장 중요한 것은 참가자의 연구 분야에 대한 전문 지식과 경험이 있는 교수진이다. 스스로 적절한 외부 검토자를 고를 수 없는 참가자는 P3 멘토의 도움을 받는다. PD는 식별된 검토자에게 공식 초대장을 발송하여 다음과 같이 요청한다.
- 대략 P3 사이클 중간 지점에서 참가자의 특정 목적 페이지를 비판한다.
- 사이클 종료 직전에 동일한 참가자의 전체 신청에 대한 NIH 스타일의 서면 검토를 제공한다.
- 토론을 위해 서면 비평의 구두 요약을 전달하기 위해 코호트의 모의 NIH 검토 세션에 참석한다.
At the beginning of the cycle, participants are directed to identify a University of Minnesota faculty member to serve as their “external reviewer” for the program’s mock NIH review session. Ideal reviewers are faculty who have served as PI on an R01 (or equivalent) grant, served as an NIH reviewer, are not a current or recent collaborator of the participant, and, most important, have expert knowledge and experience in the participant’s research area. Participants who cannot identify an appropriate external reviewer on their own are aided by P3 mentors. The PD sends out formal invitations to the identified reviewers requesting that they
- critique the participant’s Specific Aims page at roughly the P3 cycle midpoint;
- provide a written NIH-style review of the same participant’s full application just before the cycle’s end; and
- attend the cohort’s mock NIH review session to deliver an oral summary of their written critique for discussion.
외부 검토자는 비평서를 작성할 때 표준 NIH 연구신청서 리뷰 템플릿을 사용하고, 전체 영향과 개별 평가 기준에 대해 점수(1 = 최고, ~ 9 = 최악)를 할당해야 한다. 이들은 NIH의 정기적인 리뷰와 마찬가지로 어플리케이션에 점수를 매기도록 지시받습니다.단, 누락된 섹션은 무시합니다. 또한 자신이 발견한 취약점에 대한 구체적인 해결책을 제시합니다. 서면 비평은 세션 직전 또는 직후에 참가자와 공유됩니다. 각 참가자에게는 20분간의 리뷰 블록이 할당됩니다. 처음 10분 동안은 외부 리뷰어가 중단 없이 비평을 전달합니다. 나머지 10분은 식별된 문제에 대한 가능한 해결책에 대한 비공식 그룹 토론에 사용됩니다. 외부 검토자는 일반적으로 세션이 끝난 후 참가자에게 신청 내용에 대해 자세히 논의하도록 요청합니다.
External reviewers are asked to use the standard NIH grant review template in writing their critique, and to assign scores (1 = best, through 9 = worst) for overall Impact and the individual scored criteria. They are instructed to score the application as they would a regular NIH review, with 2 exceptions: ignore missing sections; and offer specific remedies for the weaknesses they identify. Written critiques are shared with participants shortly before or after the session. Each participant is assigned a 20-minute review block. For the first 10 minutes, the external reviewer delivers their critique without interruption. The remaining 10 minutes are spent in informal group discussion about possible solutions to the problems identified. External reviewers commonly invite the participant to discuss their application further following the session.
참가자 및 결과 데이터
Participant and Outcomes Data
P3는 교직원 육성 프로그램으로서 그 영향에 대해 과학적으로 엄격한 결론을 내릴 수 있도록 설계되지 않았습니다. 그럼에도 불구하고, 지난 13년 동안 우리는 프로그램 참가자, 그들의 보조금 신청서 제출, P3 이후의 자금 지원 성공, 프로그램의 장점과 단점에 대한 그들의 평가를 제공하는 상당한 양의 데이터를 입수했다. 최근까지 이 정보는 다양한 방법으로 산발적으로 수집되었다. 이러한 제한에도 불구하고, 이용 가능한 데이터는 프로그램의 도달 범위와 영향에 대한 유용한 통찰력을 제공한다(미네소타 대학 기관 검토 위원회는 이 데이터 수집이 인간 연구를 구성하지 않으므로 면제된 것으로 판단했다).
As a faculty development program, P3 was not designed to provide scientifically rigorous conclusions about its impact. Nonetheless, over the past 13 years, we have acquired a substantial body of data that offers a reasonably representative description of the program’s participants, their grant application submissions, funding successes following P3, and their assessment of the program’s strengths and weaknesses. Until recently, this information was collected sporadically and with varying methods. Notwithstanding these limitations, the available data provide useful insight into the program’s reach and impact. (Note that the University of Minnesota Institutional Review Board determined that this data collection does not constitute human research and was therefore deemed exempt.)
인구 통계 데이터
Demographic data
2007년 여름부터 2020년 겨울까지 28개의 P3 사이클이 실시되어 271명의 참가자가 참가했습니다. 인구통계학적 데이터는 처음에는 기록되지 않았다. 그러나 최근 참가자들의 대규모 하위 집합(n = 178, 주기 11-28, 2013년부터 2020년까지 발생)에 대해 이 정보를 수집했다. 데이터는 포스트 프로그램 조사와 프로그램 애플리케이션을 조합하여 작성되었습니다. 이러한 데이터를 통합해, P3 참가자의 가장 포괄적인 그림을 입수할 수 있습니다(표 1). 그림과 같이, 이 참가자 중 여성이 조금 더 많았다. 참가자는 주로 백인 또는 아시아인으로, 백인의 76%, 아시아인의 13%, 흑인 2%, 아메리카 인디언/알래스카 원주민 0.4% 등 폭넓은 교직원의 인종/민족 분열을 대략 반영하고 있습니다. 표 1과 같이, 참가자의 과반수는 의대 교수(프로그램의 창시, 프라이머리 스폰서, 채용의 중점을 반영)이며, 거의 대부분이 조교수였다. 거의 모든 P3 사이클에 중요한 임상 책임을 지는 일부 교직원이 포함되었지만, 대다수는 상당한 연구 보호 시간과 함께 연구 집약적인 위치에 있었다. P3 참여 기간 동안 개발된 가장 일반적인 제안 유형은 NIH R01 제안이었으며, 멘토링된 K 제안 및 기타 R-Series 적용 사례가 그 뒤를 이었다.
From summer 2007 through winter 2020, 28 P3 cycles were conducted, engaging 271 unique participants. Demographic data were not recorded initially. However, we have collected this information on a large subset of more recent participants (n = 178, cycles 11–28, occurring from 2013 through 2020). Data were compiled from a combination of postprogram surveys and program applications. We merged these data to provide the most comprehensive picture of P3 participants that is available to us (Table 1). As shown, a slight majority of this participant sample were female. Participants were predominantly White or Asian, roughly mirroring the racial/ethnic breakdown of our broader faculty (76% Caucasian, 13% Asian, 2% Black, 0.4% American Indian/Alaska Native). As shown in Table 1, a majority of the participants had PhDs, were faculty of the medical school (reflecting the program’s origination, primary sponsor, and recruitment emphasis), and nearly all were assistant professors. The majority were in research-intensive positions with significant protected time for research, although nearly every P3 cycle has included some faculty with significant clinical responsibilities. The most common type of proposal developed during P3 participation was NIH R01 proposals, followed by mentored K proposals and other R-series applications.
NIH 보조금 제안서 제출 및 자금 지원 비율
NIH grant proposal submission and funding rates
참가자의 제안서 제출과 자금조달 결과에 관한 데이터는 두 가지 출처에서 나왔다. 첫 번째 설문조사는 2007년부터 2018년까지 P3에 참여한 모든 개인에게 전송되었다(1-23주기). 이 표본에는 220명의 개인이 포함되었으며, 이들 중 194명이 확인될 수 있었다(나머지는 대학을 떠난 상태였다. 전송된 194개 조사 중 83개 조사(응답률 43%)가 반환되었지만, 이 중 8개 조사에서는 P3를 완료하지 못한 것으로 나타나 75개 조사가 분석을 위해 남겨졌다. 실행 가능한 응답자의 주요 결과는 다음과 같습니다. 88%(66/75)가 P3 신청을 목표한 연구비 지원 기관에 제출했으며, 그 중 35%(23/66)가 자금 지원을 받고 있다고 응답했습니다. 모든 응답자(제출자 및 비제출자) 중에서의 연구비 획득 비율은 31%(23/75)였다. 제출자 중 76%(50/66)는 P3를 완료한 후 첫 번째 NIH 제출 마감일에, 91%(60/66)는 첫 번째 NIH 제출 마감일 내에 제출했다고 보고했습니다. 자금 지원을 받은 응답자에게 직접 비용을 표시하도록 요청했지만 23명 중 12명(52%)만이 이 정보를 제공했다. 응답자의 평균 총 직접 비용은 $875,188(K 시리즈 보조금 절반과 R 시리즈 보조금 절반)이었습니다.
Data regarding participants’ proposal submissions and funding outcomes came from 2 sources. The first was a survey sent to all individuals who participated in P3 from 2007 through 2018 (cycles 1–23). This sample included 220 individuals, 194 of whom could be identified (the remainder had left the university). Eighty-three of the 194 surveys sent were returned (43% response rate), but 8 of these indicated they did not complete P3, leaving 75 surveys for analyses. Key outcomes for viable respondents were as follows: 88% (66/75) reported submitting their P3 application to their targeted funding agency, and 35% of submitters (23/66) reported being funded. The funding rate for all respondents (submitters and nonsubmitters) was 31% (23/75). Of those who submitted, 76% (50/66) reported doing so in the first NIH submission deadline after completing P3, and 91% (60/66) reported having submitted within the first 2 NIH submission deadlines. We asked funded respondents to indicate the amount of direct costs they received, but only 12 of 23 responders (52%) provided this information. For these respondents, the average total direct cost was $875,188 (half K-series grants and half R-series).
P3 참가자의 NIH 보조금 신청 활동에 대한 두 번째 데이터 소스는 미네소타 대학의 SPA(후원 프로젝트 관리)였습니다. 이 분석을 위해, 우리의 표본은 2007년부터 2016년까지 P3에 참여한 모든 개인이었다(n = 165, 사이클 1~17). 2016년을 P3 완료의 컷오프, 2017년을 제출/수상 데이터 수집의 컷오프로서 사용하여 모든 사람이 NIH 제안서를 제출하고 자금을 획득할 수 있도록 했다. 우리의 데이터 쿼리는 P3 참여 후 취득한 NIH 조성금, 50,000달러 이상의 기금(보조금 등 비주요 자금 메커니즘 제외) 및 참가자가 PI로 기재된 조성금으로 제한되었다. 이러한 제약으로 인해 우리가 제시하는 자금조달 비율과 금액은 실제 총액을 밑돌 가능성이 높다.
Our second data source for P3 participants’ NIH grant application activity was the University of Minnesota’s Sponsored Projects Administration (SPA). For this analysis, our sample was all individuals who participated in P3 from 2007 through 2016 (n = 165, cycles 1–17). We used 2016 as the cutoff for P3 completion but 2017 as the cutoff for submission/award data collection to ensure everyone had at least 1 year post-P3 in which to potentially submit NIH proposals and acquire funding. Our data query was restricted to NIH grants acquired after P3 participation; funding > $50k (to exclude nonprimary funding mechanisms such as supplements); and grants on which the participant was listed as PI. Because of these restrictions, the funding rates and amounts we present likely underrepresent the actual total.
이번 분석 참여자 165명 중 121명(73%)은 P3 완료 후 최소 1건의 NIH 제안서를 PI로 제출했다. 제출자의 90%(109/121)는 P3 프로그램을 완료한 후 2년 이내에 제출했습니다. P3 이후 NIH 제안서를 제출한 121명 중 52명(제출자의 43%, 그룹 전체의 32%)이 어느 시점에서 NIH 자금 조달에 성공했으며, 제출자의 절반 가까이가 P3 완료 후 1년 이내에 자금을 조달했다. 이 그룹의 P3 참가자가 획득한 NIH의 총 자금은 1억9300만 달러를 약간 웃돌았다. 이러한 결과는 참가자들이 P3 참여 중에 작업한 특정 보조금 신청을 포함할 수도 있고 포함하지 않을 수도 있다. 그러나, 이러한 장기 누적 결과는 프로그램의 전체 목표를 적절히 반영하는 것으로 간주될 수 있다. 즉, 참가자들이 성공적인 보조금 신청을 작성하기 위해 배운 것을 적용하는 것이다..
Among the 165 participants in this analysis, 121 (73%) submitted at least 1 NIH proposal as PI since completing P3. Slightly over 90% of submitters (109/121) did so within 2 years of completing the P3 program. Of the 121 individuals who submitted NIH proposals at any time since P3, 52 (43% of submitters, 32% of the entire group) were successful in acquiring NIH funding at some point, with nearly half of submitters (24/52, 46%) funded within 1 year of P3 completion. Total NIH funding obtained by P3 participants in this group was just over $193 million. These outcomes may or may not include the specific grant application that participants worked on during their P3 participation; however, these longer-term cumulative outcomes can be considered a relevant reflection of the program’s overall objective: that participants apply what they learn to write successful grant applications across their career.
평가
Evaluations
2007년부터 2015년까지(n = 153, 주기 1~15), 프로그램 완료 직후 모든 P3 참가자에게 평가 설문조사를 보냈다. 응답률 74%에 대한 114건의 설문조사가 반환되었다. 그 설문조사는 질적 질문들과 양적 질문들의 혼합을 포함하고 있었다. 대부분의 응답자들은 P3가 설득력 있는 제안서를 개발하고, 자신의 글을 비판적으로 평가하고, 글 쓰는 시간을 계획하는 능력을 향상시켰다는 데 동의하거나 강하게 동의했다. "이 프로그램에 참여함으로써 습득한 추가적인 지식이나 기술은 무엇입니까?"라는 개방형 설문 질문에 대한 72개의 답변도 유익했습니다(표 2는 설명 가능한 답변을 제공합니다). 두 명의 저자는 이러한 응답을 4가지 광범위한 주제로 검토 및 그룹화했다.
- NIH 검토 프로세스와 검토자의 기대에 대한 지식 향상,
- 작성 과정 중 시간 관리 개선,
- 기술 작성 및 문서 설계에 대한 기술력 강화, 그리고
- 작업중인 초안에 대한 피드백을 주고 받는 것의 가치
From 2007 through 2015 (n = 153, cycles 1–15), we sent evaluation surveys to all P3 participants shortly after their completion of the program; 114 surveys were returned for a 74% response rate. The surveys contained a mix of qualitative and quantitative questions. Most respondents agreed or strongly agreed that P3 improved their abilities to develop a compelling proposal, critically appraise their own writing, and plan their writing time (see Supplemental Digital Appendix 2, available at https://links-lww-com-ssl.access.hanyang.ac.kr/ACADMED/B168, for quantitative survey outcomes). Seventy-two responses to the open-ended survey question “What additional knowledge or skills did you acquire by participating in this program?” were also informative (Table 2 provides illustrative responses). Two authors reviewed and thematically grouped these responses into 4 broad themes:
- greater knowledge of the NIH review process and reviewer expectations;
- improved time management during the writing process;
- stronger skills in technical writing and document design; and
- greater appreciation of the value of giving and receiving feedback on drafts in progress.
2016년 이후 OFA와 P3 리더십 교체로 평가가 차질을 빚었다. OFA는 2019년부터 P3 이후 새로운 평가를 도입했다. 이 온라인 설문조사는 3주기(n = 40, 25-28회차)의 참가자들에게 이 글을 작성했을 때 시행되었다. 28개의 설문조사가 70%의 응답률을 보였다. 응답자의 과반수(82%, 23/28)는 P3 그룹 세션 밖에서 주당 6시간 이상을 제안 작업에 소비한다고 응답했다. P3의 Canvas 사이트를 통해 제공되는 자료는 응답자의 86%(24/28)가 "중요한critical" 리소스로 평가했습니다. 응답자의 89%(25/28)는 P3가 제안서를 제출하고 연구비 수주 가능성에 "실질적인 기여"를 했다고 보고했다. 응답자의 82%(19/23)는 제안서 초안에 대한 세션 내 토론이 P3 멘토가 제공한 서면 검토보다 적어도 "적당한" 가치를 더했다고 보고하였다. 그러나 나머지는 구두 토론이 거의 가치를 더하지 않는다고 생각했다. 이에 대해, 우리는 아래에 언급하는 초안에 대해 보다 심도 있는 구두 토론을 할 수 있는 시간을 가질 수 있는 방법을 시험적으로 시행하고 있습니다.
Evaluations were disrupted after 2016 due to transitions in OFA and P3 leadership. Beginning in 2019, the OFA introduced a new post-P3 evaluation. This online survey was administered to participants from 3 cycles (n = 40, cycles 25–28) as of this writing; 28 surveys were returned for a 70% response rate. A majority of respondents (82%, 23/28) reported spending 6 or more hours per week outside of the P3 group session working on their proposal. The materials provided through P3’s Canvas site were rated by 86% of respondents (24/28) as “critical” resources. Eighty-nine percent of respondents (25/28) reported that P3 made a “substantial contribution” to the likelihood of their submitting the proposal and obtaining funding. Eighty-two percent of respondents (19/23) reported that in-session group discussions of draft proposals added at least “a moderate amount” of value above and beyond the written reviews that P3 mentors provided; however, the remainder thought the oral discussions added little value. In response, we are piloting methods that allow time for more in-depth oral discussion of drafts, which we address below.
이 조사는 또한 참가자들에게 프로그램의 장점과 단점에 대해 질적 피드백을 요청했다(표 2는 예시적인 답변을 제공한다). 확인된 강점으로는 적극적인 제안서 작성 중에 받은 실질적이고 시기적절한 피드백과, P3 멘토가 참가자의 성공을 위해 했던 투자가 포함된다. 건설적인 비판 중에는 일부 리뷰의 퀄리티에 대한 "불공평함"과 면담의 비효율성에 대한 우려가 있었다. 또, 참가자는 컨텐츠 전문가로부터의 이전의 피드백에 대해서도 희망하고 있습니다. 이는 위에서 설명한 바와 같이 사이클의 중간 외부 리뷰를 시작하기 전이었습니다. 이하에 기술한 바와 같이, 이러한 문제에 대처하기 위해서, 프로그램의 몇개의 추가 변경을 시험적으로 실시하고 있습니다.
The survey also solicited participants’ qualitative feedback on what they considered to be the program’s strengths and weaknesses (Table 2 provides illustrative responses). Identified strengths included the substantive and timely feedback received during active proposal development and the investment that P3 mentors have in participants’ success. Among the constructive criticism offered was concern about “unevenness” in the quality of some reviews and inefficiencies in the conduct of in-person sessions. Participants also expressed a desire for earlier feedback from content experts; this was before our initiation of the mid-cycle external review, described above. As noted below, we are piloting some additional changes to the program to address these concerns.
이점, 기회 및 미래 방향
Benefits, Opportunities, and Future Directions
NIH 보조금 신청서의 작성, 제출 및 자금 지원을 촉진하기 위한 P3 모델은 단기 워크숍에서 제공되는 기본 지침이나 특이적 멘토링 상호작용에 대한 의존도를 넘어선다. 참가자는 다음과 같은 몇 가지 P3 특징으로부터 이득을 얻었다.
- 각 개발 단계에서 다양한 경험이 풍부한 교수진과 동료들로부터 상세한 피드백을 받으면서 제안서을 개선할 기회
- 초기에 쓰고 고쳐쓰는 것을 필요로 하는 잘 짜여진 일정과 시간에 맞춰 완성되는 "최종 산출물"
- 뛰어난 조사자가 연구의 중요성, 프로젝트의 과학적 엄격성 및 팀의 역량을 전달하기 위해 사용하는 기술에 대한 미묘한 통찰력
이 프로그램은 지역 연구 멘토링 능력이 더 제한적인 학부를 포함한 여러 부서의 교직원들을 지원할 수 있습니다. 우리 기관에서는 모든 KL2 및 BIRCH 학자와 일부 K12 학자가 P3에 지원해야 합니다. 이러한 실천은 P3의 가치가 장기적인 지도 트레이닝 프로그램에 종사하는 연구자에게까지 확대된다는 우리 기관의 자신감을 보여준다.
The P3 model for facilitating the writing, submission, and funding of NIH grant applications goes beyond the basic instruction offered in short-term workshops or a reliance on idiosyncratic mentoring interactions. Participants benefit from several P3 features:
- the opportunity to develop a proposal while receiving detailed feedback from a diverse group of experienced faculty and their peers at each stage of development;
- a well-defined schedule that requires early and frequent writing and rewriting and a “finished product” on a timeline; and
- nuanced insight into the techniques that accomplished investigators use to communicate their research’s significance, their projects’ scientific rigor, and their team’s competence.
The program can support faculty from multiple departments, including those with more limited local research mentoring capacity. At our institution, all KL2 and BIRWCH scholars (Building Interdisciplinary Research Careers in Women’s Health), and some K12 scholars, are required to apply to P3. This practice demonstrates our institution’s confidence that P3’s value extends even to researchers engaged in longer-term, mentored training programs.
Rubio와 동료들은 연구 프로젝트를 개선하고 자금을 확보하는 데 도움이 되는 경험적 훈련 이니셔티브의 가치를 설명했다.10 그들은 피츠버그 대학, 마운트 시나이의 Icahn 의과대학 및 펜실베니아 대학의 "P3-like" 프로그램을 언급하지만, 이러한 운영 세부사항과 결과에 대해 언급했다. 프로그램은 설명되지 않습니다. 유사한 구조화된 프로그램의 결과에 대한 다른 발표된 보고서를 검색하여 Duke University 의과대학에서 4개월 간의 독립과 K클럽 프로그램을 설명하는 단 1개의 보고서를 확인했습니다. 18 이러한 프로그램의 경우, 5년간에 걸쳐 제출된 R과 K의 신청에 대한 수상률은 35%로, 우리 기관의 성과와 거의 동일합니다. 샌프란시스코 캘리포니아 대학의 보고서는 P3의 모의 NIH 검토 프로토콜과 유사한 방식으로 보조금 제안서의 내부 제출 전 검토를 수행하기 위한 프로그램을 기술했다. 25 이 프로그램의 경우, 12개월 동안 내부 안전 점검을 거친 제안의 85%(23/27)가 이후에 제출되었고(P3 제출 비율과 매우 유사), 제출된 신청의 52%(12/23)가 자금을 지원받았다.
Rubio and colleagues described the value of experiential training initiatives for helping junior investigators refine their research projects and secure funding. 10 They mention “P3-like” programs at the University of Pittsburgh, Icahn School of Medicine at Mount Sinai, and University of Pennsylvania, but operational details and outcomes for these programs are not described. We searched for other published reports on the outcomes of similarly structured programs and identified just 1, which describes the 4-month Path to Independence and K Club programs at Duke University School of Medicine. 18 For these programs, the award rate for submitted R and K applications combined was 35% over 5 years, which is nearly identical to our outcome. A report from the University of California, San Francisco described a program for conducting internal presubmission review of grant proposals—an approach similar to P3’s mock NIH review protocol. 25 For that program, 85% (23/27) of proposals that underwent internal peer review over a 12-month period were subsequently submitted (very similar to the P3 submission rate), and 52% (12/23) of submitted applications were funded.
이런 기존 연구에 더하여, 우리는 유사한 프로그램을 도입하려는 다른 기관에 적응 가능한 청사진을 제공한다. 그러나 P3를 지원하는 데 필요한 자원은 일부 교육기관에게 한계가 될 수 있으며, 특히 P3가 해당 교육기관에서 "적합"하고 성공 여부를 판단하기 전에 더욱 그렇습니다. 이러한 경우, 소규모 파일럿 프로그램으로 시작하는 것을 고려할 수 있다. 이는 5~7명의 참가자와 함께 일하는 단 2명의 멘토들이 주도하는 단일 부문 이니셔티브(연간 2사이클)로 시작된 P3 모델도 그랬었다.
Our outcomes add to this limited body of literature while offering an adaptable blueprint for other institutions seeking to implement a similar program. However, the resources needed to support P3 could be a limitation for some institutions, especially before determining its “fit” with and success at their institution. In these cases, potential adopters might consider starting with a smaller pilot program. This aligns with the P3 model, which began as a single-department initiative (2 cycles per year) led by just 2 mentors working with 5–7 participants.
투자수익률
Return on investment
P3 모델의 스탭은 연간 0.9명의 교직원 FTE와 OFA 스탭의 서포트 시간을 더하고 있습니다. 따라서 20만달러는 연간 운영비용의 합리적인 추정치입니다. 이 투자의 수익은 과거 참가자가 획득한 외부 보조금 달러로 수량화할 수 있습니다. 우리의 SPA 데이터에 따르면 P3 참가자는 10년간 NIH 자금(직간접 비용)으로 1억9300만달러를 획득했습니다. 이 기간 동안 P3의 운영 비용은 180만 달러(P3의 9년간 연간 20만 달러)로 추산된다. 이는 P3 운영에 투자된 1달러당 NIH 자금으로 107달러의 수익률을 나타낸다. 그러나, 이러한 자금의 일부는 P3의 참여 없이도 획득될 것이 거의 확실하다.
Staffing for our P3 model engages 0.9 faculty FTE per year, plus additional OFA staff support time. Thus, $200k is a reasonable estimate of its annual operating costs. The return on this investment can be quantified by external grant dollars obtained by past participants. Our SPA data show that P3 participants obtained $193 million in NIH funding (direct and indirect costs) over 10 years. The operating cost of P3 over that period is estimated at $1.8 million ($200k per year for the 9 years of P3 to obtain 10 years of funding data). This represents a return of $107 in NIH funding for each $1 invested in P3’s operation. However, some of this funding would almost certainly have been obtained even without P3 participation.
무작위 제어 실험의 결정적인 데이터가 부족하기 때문에, 우리는 P3 제출자의 35%의 연구비 수주 성공률(P3 참가자 조사 응답자의 88%가 제출자)과 2018년 NIH의 모든 기관 및 자금 조달 메커니즘에 대해 문서화된 약 20%의 자금 조달 성공률을 비교할 수 있다.26 이러한 추정치를 사용하여 매년 P3에 참여하는 제출자는 30명 중 9명이 NIH 기금을 받게 되는데, 이는 P3가 없었다면 30명의 제출자 중 6명이 NIH 기금을 받게 될 것으로 예상된다. 자금을 지원받은 P3 신청에 대한 평균 직접 비용은 $875,188(위 데이터 참조)인 것으로 판명된 이 3개의 추가 보조금은 P3에 귀속될 수 있는 특정 연도에 기관이 수령한 $3,439,489($2,625,564 + 추정 간접 비용)에 해당한다. 연간 운영 비용이 20만 달러라고 가정하면, 특정 연도에 P3 운영에 지출된 1달러당 기관은 받지 못했을 외부 자금으로 약 17달러를 받는 것으로 추정할 수 있습니다.
Lacking definitive data from a randomized controlled experiment, we can compare the 35% funding success rate of P3 submitters (88% of P3 participant survey respondents were submitters) to the ~20% funding success rate documented across all NIH institutes and funding mechanisms for 2018. 26 Using these estimates, we can extrapolate that 9 of the 30 submitters who participate in P3 each year will receive NIH funding, compared with 6 of 30 submitters expected to receive NIH funding based on the national average. Having found that the average direct cost for a funded P3 application is $875,188 (see data above), these 3 additional grants per year represent $3,439,489 ($2,625,564 direct costs plus $813,925 estimated indirect costs) received by the institution in a given year that can be attributed to P3. Assuming $200,000 annual operating costs, we can estimate that for every $1 spent to operate P3 in a given year, the institution receives about $17 in external funding it would likely not otherwise have received.
P3가 보조금을 제출하는 개인 수의 증가로 이어진다면 ROI도 좋은 영향을 받을 것이다. P3 참가자의 88%의 제출율은 상당하지만, P3가 없었다면 이들 중 몇 명이 연구비지원서를 제출했을지 추정할 수 있는 실증적 수단이 없다. 그러나 P3의 구조와 기대는 보조금 작성 포부를 실제 서면 및 제출된 제안으로 전환하는 데 도움이 된다고 가정하는 것이 타당하다. 마지막으로, P3 참가자들이 경력 전반에 걸쳐 추가 보조금(P3 제안서 외)을 찾고 자금을 조달할 가능성이 더 높다면 투자 수익률은 호의적으로 영향을 받을 것이다. 과거 P3 참가자의 약 73%가 NIH 조성 제안을 제출하고, 그 중 43%가 NIH 자금 조달에 성공했다는 것은 알고 있지만, P3에 참가하지 않은 다른 의과대학 교수와는 비교할 수 없다.
Return on investment would also be favorably affected if P3 leads to an increase in the absolute number of individuals who are submitting grants. While the 88% submission rate for P3 participants is substantial, we have no empirical means of estimating how many of these individuals would have submitted grants in the absence of P3 participation. However, it is reasonable to posit that P3’s structure and expectations help to facilitate the conversion of grant-writing aspirations into actual written and submitted proposals. Finally, return on investment would be favorably affected if P3 participants were more likely to seek and obtain funding for additional grants (beyond their P3 proposal) across their career. We know that about 73% of past P3 participants submitted NIH grant proposals and 43% of these were successful in obtaining NIH funding, but we are unable to compare this with other medical school faculty who did not participate in P3.
제한 사항
Limitations
우리의 조사 데이터는 적당한 응답률에 의해 제한되며, 따라서 결과가 모든 P3 졸업생들을 대표하지 않을 가능성이 있다(즉, 데이터가 무작위로 누락되지 않았다). P3 보조금을 제출한 사람들은 그렇지 않은 사람들보다 조사에 응답하는 데 더 동기 부여가 되었을 수 있다. 응답자의 88%가 P3 제안을 제출했다고 보고한 반면, 기관 데이터에 따르면 전체 P3 참가자의 73%가 최소 1개의 NIH 보조금을 제출한 것으로 나타났다. 후자의 데이터 세트에는 샘플링된 9년간의 모든 참가자가 포함되어 있기 때문에 가장 자신 있는 데이터 세트가 있습니다. 그러나 P3에 참여하지 않고 제안서를 제출하고 NIH 자금을 지원받았을 비율은 아직 알 수 없다. RCT를 하는 것은, 가능한 한 많은 자격 있고 관심 있는 교직원을 지원해야 한다는 프로그램의 의무mandate와 일치하지 않습니다.
Our survey data are limited by the modest response rate, which leaves open the possibility of results not being representative of all P3 alumni (i.e., data not missing at random). Those who submitted their P3 grants may have been more motivated to respond to surveys than those who did not. There is some evidence for this because 88% of respondents reported having submitted their P3 proposal, whereas the institutional data show that 73% of all P3 participants submitted at least 1 NIH grant. We can be most confident in the latter dataset because it includes all participants over the 9 years sampled. However, we still cannot know what proportion of these individuals would have submitted proposals and received NIH funding without having participated in P3. A randomized controlled trial is not consistent with the program’s mandate of supporting as many qualified and interested faculty as logistically feasible.
장래의 방향
Future directions
우리는 효율성과 합리적인 프로그램 확장을 계속 추구합니다. 세션 중에 코호트를 2개의 그룹으로 나누는 접근법(기본 과학 프로젝트 제안자와 임상 또는 지역사회 기반 연구 제안자 간 또는 주어진 주기 중 가장 말이 되는 K와 R 중 하나)을 시범 테스트하여 검토가 2개의 다른 방에서 동시에 진행되도록 한다. 이 「병렬 처리」에 의해, 참가자의 작업에 대해 논의하는 시간이 2배로 증가해, 동료나 멘토간의 전문 지식 제휴가 강화됩니다. 또한 P3 졸업생들을 위한 간단한 재제출 프로그램을 계획하고 있습니다. 또 다른 목표는 URM 집단에서 교수진의 참여를 늘리는 것이다. 델의 CTSI는, URM 교직원을 대상으로 한 프리 K 스콜라 프로그램을 서포트하고 있습니다. 이 프로그램은 향후의 사이클에 있어서, 보다 다양한 P3 지원자 풀에 공헌할 것으로 예상됩니다.
We continue to seek efficiencies and reasonable program expansions. We are pilot testing an approach that divides the cohort into 2 groups during sessions (roughly split between those proposing basic science projects and those proposing clinic- or community-based research or between Ks and Rs, whichever makes the most sense in a given cycle) so that reviews are proceeding simultaneously in 2 different rooms. This “parallel processing” doubles the time available for discussing participants’ work while supporting greater expertise alignment among peers and mentors. Additionally, we are planning a brief program for P3 alumni working on resubmissions. Another goal is to increase participation of faculty from underrepresented minority groups. Our CTSI supports a Pre-K Scholars program for underrepresented faculty, which we anticipate will contribute to a more diverse P3 applicant pool in future cycles.
COVID-19 대유행에 대응하여, 우리는 여기에 설명된 절차에 실질적인 변경 없이 본 문서 작성 현재 2개의 완전 가상 P3 사이클을 완료했다. 평가 응답자들은 만장일치로 첫 번째(소개) 세션과 마지막(NIH 검토) 세션을 제외하고 COVID-19가 통제된 후에도 가상적으로 P3 세션을 계속 실행할 것을 권고했다. NIH National Research Mentoring Network (NRMN)의 일환으로 2014년부터 2019년까지 P3가 전국 규모로 구현됨으로써 하이브리드 또는 완전 온라인 접근법의 실행 가능성이 더욱 뒷받침되고 있다.17 P3의 NRMN 적응은 주로 여러 기관의 교수진에 가상 형식으로 전달되었다. 67명의 참가자로 구성된 6개의 NRMN-P3 코호트가 프로그램 완료 후 3~18개월 동안 추적되었습니다. 초기 데이터에 따르면 NIH 제안서 제출률은 67%(45/67), 제출된 NIH 신청에 대한 자금 조달률은 33%(15/45)이다. 27
In response to the COVID-19 pandemic, we completed 2 fully virtual P3 cycles as of this writing, with no substantive changes to the procedures described here. Evaluation respondents unanimously recommended that we continue to run P3 sessions virtually even after COVID-19 is controlled, with the exception of the first (introduction) and last (mock NIH review) sessions. The viability of a hybrid or completely virtual approach is further supported by P3’s implementation on a national scale from 2014 through 2019 as part of the NIH National Research Mentoring Network (NRMN). 17 The NRMN adaptation of P3 was delivered in a predominately virtual format to cohorts of faculty from different institutions. Six NRMN-P3 cohorts of 67 participants were tracked for 3 to 18 months after program completion. Early data show an NIH proposal submission rate of 67% (45/67) and a funding rate for submitted NIH applications of 33% (15/45). 27
결론적으로, P3는 수명, 긍정적인 결과 및 적응성의 실적이 있습니다. 프로그램의 절차, 원칙 및 구조에 대한 우리의 설명은 독자들이 자신의 기관 내에서 비슷하게 성공적인 모델을 구현할 수 있도록 해야 한다.
In conclusion, P3 has a track record of longevity, positive outcomes, and adaptability. Our description of the programs’ procedures, principles, and structure should enable readers to implement a similarly successful model within their own institutions.
Acad Med. 2022 Jan 1;97(1):53-61.
doi: 10.1097/ACM.0000000000004359.
The Proposal Preparation Program: A Group Mentoring, Faculty Development Model to Facilitate the Submission and Funding of NIH Grant Applications
PMID: 34380935
Abstract
This article describes the University of Minnesota Medical School Proposal Preparation Program (P3). P3 is designed to develop grant-writing skills for assistant professors preparing their first K- or R-series application to the National Institutes of Health (NIH). Three 4-month P3 cycles are conducted annually. For each cycle, a cohort of around 10 assistant professor participants and 5 regular faculty mentors meet for ten ~2-hour group sessions. Participants receive iterative oral and written feedback on their proposals in development within a small, interdisciplinary, group mentoring setting providing structure, accountability, guidance, and support. Between sessions, 1 peer and 1 mentor are assigned (on a rotating basis) to critique each participant's developing application. The sessions include a brief mentor-led presentation on a particular grant section followed by discussion of each participant's application conducted by the assigned reviewers. The cycle concludes with a mock NIH review session, in which each participant is matched with a University of Minnesota faculty content expert who critiques their completed application using NIH guidelines. In a survey sent to all past P3 participants as of 2018 (n = 194), 88% of respondents reported having submitted their P3-developed NIH grant, and 35% of these submitters reported funding success. A separate analysis of institutional data for all past P3 participants as of 2016 (n = 165) showed that 73% submitted at least 1 NIH proposal since completing P3 and that 43% of these had acquired NIH funding, for a combined total of $193 million in funding awarded. The estimated rate at which participants obtained funding for their P3-developed grant application (~35%) exceeds the national annual NIH grant funding rates (~20%) by approximately 50%. This article provides the practical information needed for other institutions to implement a P3-like program and presents a cost-benefit analysis showing the advantages of doing so.
Copyright © 2021 by the Association of American Medical Colleges.