AHC에서 교수들의 술기역량: 과제와 미래방향 (Acad Med, 2017)

Procedural Competence Among Faculty in Academic Health Centers: Challenges and Future Directions

Alon Vaisman, MD, and Peter Cram, MD, MBA





학술 보건 센터의 숙련 된 일반 내과의는 1년차 레지던트의 bedside thoracentesis를 감독하게 되었다. 이 특별한 날에는 이 attending에게 이 1년차 뿐이며, 나머지 레지던트는 질병, 퇴근 일 또는 학업상의 책임 때문에 병원에 없다. 레지던트는 전에 한 번만 초음파 guide로 절차를 수행 했으므로 staff의 감독을 요청했습니다. Attending은 높은 평가를받은 교육자이자 연구원이지만, 과거에 초음파 유도로 절차를 수행해본 경험이 없으며, 지난 3 년 동안 두 차례의 thoracenteses 만 독립적으로 수행했습니다. 참석자와 레지던트는 무엇을 해야합니까?

An experienced attending general internist at an academic health center is called by a first-year resident to supervise a bedside thoracentesis. On this particular day, the attending has only this one first-year resident present—the other residents are unavailable because of illness, postcall days, or academic responsibilities. The resident has performed the procedure with ultrasound guidance only once before and so has requested supervision from the staff. The attending is a highly regarded educator and researcher but has not previously performed the procedure with ultrasound guidance and has only performed two thoracenteses independently within the last three years. What should the attending and resident do to complete this semiurgent procedure?



우리 기관의 경험에 기반한 이 시나리오는 드물지 않은 상황이다.

This scenario, based on experiences at our institution, represents a situation that is not infrequent, though rigorous data are lacking.


왜 그러한 상황의 발생이 증가했는가?


  • 첫째, 레지던트의 근무 시간 단축, 입원 증가, 효율성 증진의 강요 등으로 인해 교수진은 환자 치료에서보다 직접적인 책임을 맡고 있습니다 .1 최근에 교육을 마친 주니어 교수는 일반적으로 병상 치료 절차에 익숙합니다. 그러나 더 많은 고위 교수진은 수년 동안 수행하지 않은 procedure도 감독 할 필요가 있음을 알게 될 것입니다. 

  • 둘째, 학계의 여러 직업 트랙의 등장으로 인해 교수진은 주로 환자 치료, 연구, 교육 또는 운영 중 일부에만 중점을 둡니다. 전문 교수진은 많은 이점을 가지지 만 파트 타임 임상의 만 있고 절차 적 능력을 유지하는 데 어려움을 겪을 수도있는 많은 수의 교수진 (즉, 일반의 병동에서 침대 옆 절차를 수행하는 능력)을 포함하는 단점이 있습니다.

Why might the incidence of such situations be increasing? First, with reductions in resident work hours, increasing admissions, and an endless push for efficiency, faculty are taking on more direct responsibilities in patient care.1 Junior faculty, having recently completed training, are typically accustomed to performing bedside procedures; however, more senior faculty may find themselves needing to supervise procedures that they have not performed in many years. Second, the rise of different career tracks in academia has resulted in faculty primarily focused on either patient care, research, education, or administration. While having specialized faculty holds many benefits, it also comes with drawbacks, including a large number of faculty who are only part-time clinicians and who may have difficulty maintaining procedural competence (i.e., proficiency in performing bedside procedures on general medical wards).


  • 셋째, 효율성 및 세부전문화 추진으로 일부 전통적인 bedside procedure가 다른 전문가들의 영역으로 밀려났습니다. 입원, 퇴원 및 가족 모임이 지연되는 동안 의료 팀이 bedside procedure를 수행하기 위하여 2 ​​~ 3 시간을 바칠 수 있었던 시절은 지나갔다. 따라서 입원 팀은 절차를 가르치고 관찰하고 연습 할 기회가 적습니다.

Third, a drive for efficiency and subspecialization has pushed some traditional bedside procedures to the realm of other specialists. Gone are the days when a medical team could dedicate two to three hours to performing a bedside procedure while admissions, discharges, and family meetings were delayed. Thus, inpatient teams have less opportunity to teach, observe, and practice procedures.


결과적으로 교수진의 procedural competence 부족으로 인해 관련된 여러 당사자에게 많은 어려움이 발생합니다.

The resulting lack of procedural competence among faculty creates a number of challenges for the different parties involved.



교수들에게 닥친 과제

Challenges for Faculty


위에 제시된 시나리오에서, 참석자는 정식 훈련 (초음파)을받지 않은 기술을 사용하여 수행 된 bedside procedure를 감독하도록 요청 받았다. 과거의 "보고, 해보고, 가르친다"라는 모델에서 정식화 된 교육 및 역량 평가로 옮겨 가면서 bedside procedure 를 수행하는 레지던트 교육은 과거보다 훨씬 엄격하고 표준화되었으며, 그 결과 레지던트 성과와 환자 안전이 개선되었다.

In the scenario presented above, the attending has been asked to supervise a bedside procedure performed using a technology for which she has not received formal training (ultrasound). Currently, residents’ training in performing bedside procedures is arguably more rigorous and standardized than it was in the past, as medical education moves from the model of “see one, do one, teach one” to formalized methods of training and competency assessment2 which have resulted in improved resident performance and patient safety.3,4


의사의 절차적 역량은 그 절차에 대한 자신의 노출량과 크게 관련이 있으며, 충분한 임상술기 경험을 유지하는 것은 많은 academic faculty가 직면 한 주요 과제입니다. 예를 들어, 우리 기관에서는 교수진이 임상 서비스에 대해 연간 8-12 주 정도의 짧은 시간을 가질 수 있습니다.

A physician’s procedural competence is largely related to his or her volume of exposure to that procedure, and maintaining a high procedural volume is a major challenge faced by many academic faculty. At our institution, for example, faculty may have as little as 8 to 12 weeks per year on clinical service,


문제를 더욱 복잡하게하는 것은, 병상 진료 절차의 성과가 병동 팀에서 중재 적 방사선 기사, 전문의, 그리고 아마도 20명에서 30명 사이의 대규모 환자를 관리하는 내과의의 과도한 의무에 의해, 상대적으로 자유로이 역할을 수행 할 수있는 procedure 전용팀으로 옮겨졌습니다. 

  • 결과적으로 paracentesis와 같은 전통적인 병상 치료의 50 %만이 일반 내과 및 미국 대학 센터의 subspecialties에 의해 수행됩니다 .6 

  • 또한, 입원 환자 진료 전용 대규모 AHC 병원가와 비교했을 때 요추 천자, 흉부 천자 및 천자 증과 같은 전통적인 병상 수기 치료를 시행 할 가능성이 훨씬 적습니다 (11 %의 호스피탈리스트가 core procedure를 수행하였으며, 비-호스피탈리스트는 3%만이 수행 한 것으로 나타났습니다) 

Wigton과 Alguire의 2007 년 연구에서 최근 수십 년 동안 학계 내과 학자들이 수행 한 procedure의 유형이 감소 해 왔으며 1986 년에 16 가지 유형에서 2007 년에 내과자가 수행 한 절차는 평균 7 가지에 불과했다는 것이 놀랍지 않다.

To further compound the problem, the performance of bedside procedures has been shifted from ward teams to interventional radiologists, subspecialists, and dedicated procedure teams who can perform these tasks unfettered by the competing obligations of the ward internist managing a large census of perhaps 20 to 30 patients.1,5 

  • As a result, only 50% of traditional bedside procedures, such as paracentesis, are performed by general internal medicine and its subspecialties in U.S. university centers.6 

  • In addition, in large academic health centers that hire dedicated inpatient attendings (hospitalists), nonhospitalist general internists are much less likely to perform traditional bedside procedures, such as lumbar puncture, thoracentesis, and paracentesis, when compared with hospitalists (11% of hospitalists were found to perform these core procedures compared with only 3% of nonhospitalists).7 

It is therefore no surprise that Wigton and Alguire’s5 2007 study demonstrated that the volume and type of procedures performed by academic internists have declined over recent decades, with an average of only 7 types of procedures being performed by internists in 2007, down from 16 types in 1986.


의사가 역량을 유지하기 위해 매년 얼마나 많은 절차를 완료해야하는지는 잘 알려져 있지 않지만, low procedural volume은 흉부 및 기타 병상 치료 절차의 합병증 발생률과 관련이있는 것으로 알려져 있습니다 .8) 그 결과, 비록 많은 일반내과 의사들이 bedside procedure를 하는 역량을 중요하다고 하면서도, 그 procedure를 관리감독하는 것에 대해서는 상당히 자신감이 낮았다 .9

Although it is not known precisely how many procedures physicians need to complete on a yearly basis to maintain competency, low procedural volume is known to be associated with higher complication rates in the performance of thoracenteses and other bedside procedures.8 Consequently, although many academic general internists rate competence in bedside procedures as important, their confidence in supervising these procedures is signifi- cantly lower.9


또한 학계의 교수진은 해당 전문 분야의 일반적인 절차에 익숙하지 않게 자신의 분야에서 하위 특수화를 추구하는 것이 끊임없이 권장됩니다.

Furthermore, academic faculty are constantly encouraged to pursue further subspecialization in their field which decreases their familiarity with the more common procedures in that specialty.



AHC에 닥친 과제

Challenges to Academic Health Centers


제시된 것과 같은 시나리오는 의사가 임상 진료, 교육 및 연구의 전문가가되도록 요구하는 tripartite AHC 모델에 도전하며, 이 모델은 점차 질문의 대상이되고 있습니다 .10,11 우리 시나리오에서 attending은 존경받는 교육자 및 연구원으로서 AHC에서 성공을위한 전통적인 길을 따라 갔지만 그렇게함으로써 그녀의 절차 기술과 능력이 사라졌습니다.

Scenarios like the one presented challenge the tripartite academic health center model of requiring physicians to be experts in clinical care, education, and research, a model that is increasingly being called into question.10,11 The attending in our scenario is a well- respected educator and researcher who has followed the traditional route for success in an academic health center, but in doing so, her procedural skills, and thus competence, have lapsed.



학술 보건 센터에 대한 또 다른 도전은 부서장 및 부서장에게 직접적으로 영향을 미치며 재발생과 관련이 있습니다. 새로운 교수진을 고용 할 때, 부서장은 졸업식이 끝날 때까지 절차 적 역량을 확보하기 위해 레지던트 교육 프로그램에 의해 수립 된 표준에 의지합니다. 러나 미국 내과위원회는 응시자가 복부 천자, 흉부 천자, 중심선 삽입 등 필요한 모든 절차에 5 회 이상 관여해야 역량을 갖추었다고 판단을 내리지만, 이미 교수가 된 사람들이 실제 능력을 유지하도록 만들기 위한 표준은 확립되지 않았다. 또한 레지던트들은 프로그램 관리에 의해 감시되지만 교수진에게 요구되는 절차 기술의 유지 관리 또는 재교육을 모니터링하기 위해 쉽게 사용할 수있는 메커니즘이 존재하지 않는다. 일단 수련을 마치고 나면, 역량을 유지하기 위하여 매년 최소한의 실습을 한다거나 annual procedure의 최소 숫자가 보장되지 않는다.
An additional challenge to academic health centers directly affects division chiefs and department chairs and relates to recredentialing. When hiring new faculty, department chairs rely on standards established by residency training programs to ensure procedural competence by the end of graduation. However, although the American Board of Internal Medicine requires candidates to be involved in each of the required procedures (abdominal paracentesis, thoracentesis, central line insertion, etc.) at least five times to be deemed competent,12 a similar standard has not been established for faculty already in practice to maintain their competence. Additionally, although residents are monitored by program administration, no readily available mechanism for monitoring maintenance of or retraining in procedural skills for faculty exists, making recredentialing a difficult process. Once practicing, there is no guarantee that a minimum number of annual procedures are completed or sought by faculty to maintain competence.


피어 리뷰는 AHC의 교수가 자신의 절차 적 능력을 모니터 할 수있는 방법 중 하나이지만, 그것이 성공할지 여부는 교수가 동료의 단점을 인정하지 않거나, 성공적인 시스템을 구현하는 데 필요한 시간과 관리 자원이 부족해서 제한된다.

Peer review is one method by which academic health centers could monitor their faculty’s procedural competence, but its success is limited by faculty’s reluctance to admit their colleagues’ shortcomings and the time and managerial resources required to implement a successful system.13


의료-법률적 분지

Medicolegal Ramifications


우리 시나리오의 법적 파급 효과는 무엇입니까? AHC에서 레지던트는 ACGME에 명시된대로 연수생이 제공하는 진료의 모든 측면에 능숙해야하는 직원 의사의 감독하에 실습합니다 .14 따라서 숙련 된 교수진은 문제가 발생할 경우 procedural task를 위해 연수생을 보조한다. 그러나 현실에서는 이 모델을 구현하는 것이 거의 불가능합니다. 모든 의학 분야에서 academic faculty는 기술과 세부전문과가 다른 이질적 그룹입니다. 그러나 대규모 AHC에서 "근무 중"인 경우 해당 센터에서 해당 분야에 할당 된 모든 유형의 서비스를 제공 할 수 있어야합니다.

What are the legal ramifications of our scenario? In academic health centers, trainees practice under the supervision of a staff physician who is required to be proficient in all aspects of care that are provided by the trainee, as outlined by residency accreditation councils.14 Therefore, the experienced faculty member must be able to assist trainees in procedural tasks should trouble arise. In reality, this model is nearly impossible to implement. Academic faculty within any medical discipline are a heterogeneous group with variations in skills and subspecialization. However, when they are “on service” at a large academic health center, they are expected to be able to provide any and all types of services assigned to their discipline at that center.


이 문제에 관한 데이터는 거의 없지만, 교수진이 필수 스킬이 부족함에도 불구하고, 일부 레지던트는 환자에게 절차를 수행하고 있다고 가정하는 것이 합리적입니다. 열악한 감독으로 인해 레지던트 교육 및 환자 결과가 악화 될 수 있기 때문에 환자에게 위험하고 안전하지 않은 상황을 초래할 수 있습니다 .15 레지던트는 흔히 시니어 레지던트와 같은 추가 전문 지식의 출처에서 조언을 구함으로써 불편감을 느끼는 상황으로부터 commonly navigate한다. 레지던트를 가르치는 레지던트의 사례는 병동에서 행해진 모든 절차 교육의 절반 이상을 차지할 수 있습니다. 그러나 4 분의 1 이상의 상주 교사가 가르치기 전에 주어진 절차를 불편하게 느끼는 것으로 나타났으며, 절차적 기술에 대한 레지던트의 자기 평가는 과대 평가되어 환자에게 잠재적 인 위험을 초래할 수 있습니다 .18

Though few data are available on this issue, it is reasonable to assume that some trainees may be performing procedures on patients when the faculty member supervising them lacks the requisite skill. This leads to potentially unsafe and harmful conditions for patients, as poor supervision is known to lead to worse resident education and patient outcomes.15 Residents will commonly navigate situations in which they feel uncomfortable in their skills by seeking advice from additional sources of expertise including senior residents; instances of residents teaching residents may account for more than half of all procedural teaching done on the wards.16 This strategy has its own risks, as research has shown that as many as a quarter of resident teachers feel uncomfortable performing a given procedure prior to teaching or supervising it.17 Furthermore, residents’ self-assessments of their procedural skills may be overestimated, leading to potential risks for the patient.18


교수-피훈련자 간 관계의 과제

Challenges to the Faculty–Trainee Relationship


교수진은 일정한 수준의 기술을 갖춘 것으로 자신을 표현해야한다는 압박감을 느끼는 반면, 기존의 권력 차이로 인해 피훈련자의 숙련도에 대해 토론하는 것은 불편할 수 있습니다. 이전의 연구에 따르면 연수생은 종종 임상 도전에 직면하여 attending의 임상 지원을 요청하는 데 어려움을 겪고 있음을 보여주었습니다 .19)이 발견을 시나리오에 외삽하면 레지던트가 attending에 대한 피드백을 제공 할 정도로 편안함을 느끼지 못할 것입니다 직접적으로 절차 적 기술이 부족합니다.

Faculty may feel pressured to present themselves as having a certain level of skill, while trainees may feel uncomfortable discussing an attending’s proficiency because of the existing power differential. Previous research has shown that trainees often have difficulty requesting clinical support from attendings in the face of a clinical challenge.19 Extrapolating this finding to our scenario, it would thus seem even less likely that the resident would feel comfortable enough to provide feedback about the attending’s lack of procedural skills directly back to them.


우리는 시나리오가 두 가지 다른 경로 중 하나를 진행할 수 있습니다.

  • 한 가지는 attending은 절차를 수행하거나 문제를 해결할 수있는 능력이 없음에도 불구하고 레지던트가 절차 진행을하도록 허용 할 수 있습니다. 이 경우 절차 중에 예기치 않은 합병증이 발생하여 입원자가 환자의 상해를 초래할뿐만 아니라 절차를 성공적으로 완료하는 데 지연을 초래할 수 있습니다. 

  • 바람직한 행동 방침은 attending이 수년 동안 독립적으로 thoracentesis 을 시행하지 않았으며 레지던트를 감독하는 것을 편하게 느끼지 못한다는 것을 인정할 것입니다. 이 대화는 잠재적으로 유해한 절차가 발생하는 것을 막을뿐만 아니라 정직과 개방성과 관련하여 레지던트에게 뛰어난 전문적 행동을 모델링합니다.

We could envision our scenario progressing down one of two different paths. In one course of action, the attending may permit the resident to proceed with the procedure despite not having the requisite skills to perform or troubleshoot the procedure. In this case, an unexpected complication may arise during the procedure, causing the resident to abort it, leading not only to patient harm but also to a delay in the successful completion of the procedure. In the other, and preferred, course of action, the attending would acknowledge to the resident that she had not performed a thoracentesis independently in many years and does not feel comfortable supervising the resident. Not only does this dialogue prevent a potentially harmful procedure from occurring but it also models outstanding professional behavior to the resident with regard to honesty and openness.



미래 방향

Future Directions


우리의 임상 시나리오는 독특한 솔루션을 요구하는 고유 한 문제를 야기합니다. 이 문제를 해결하는 데 장애가되는 것은 의사가 단점을 인정하지 않으려고 하고 재교육을 받으려면 관련된 비용이 포함된다는 것입니다. 따라서 우리는 교수들 간의 절차적 역량을 유지하는 문제를 묘사하고 해결하는 데 도움이되는 몇 가지 전략을 제안합니다. 우리는이 문제의 기본적인 역학에 대한 앞으로의 조사를지지합니다. 예를 들어 현재의 데이터 부족으로 인해 단순 단일 센터 설문 조사가 유용 할 수 있습니다.

Our clinical scenario poses a unique problem that requires unique solutions. Barriers to solving this problem include physicians’ own reluctance in admitting shortcomings and the costs associated with retraining faculty. We therefore suggest several strategies to help delineate and resolve the problem of maintaining procedural competence among faculty. We advocate for future investigation into the basic epidemiology of this problem. For example, simple single-center surveys would be useful, given the current paucity of data.


첫째, 교수들 절차적 역량에 관한 열린 대화를 시작하는 것이 좋습니다. 이 영역은 민감하고 일부 교수진에게는 당혹 스러울 수 있으므로이 대화는 비제 표적이고 포괄적이어야하며 모든 수준의 의사가 참여해야합니다. 우리는 고위 임상의 리더가 절차 적 역량 약점을 인식하면서 어떤 방식 으로든 계속해서 연습 할 때 우리의 AHC가 더 강해진다고 믿습니다. 절차 적 기술이 부족한 교수진에 대한 처벌 조치를 강요하는 대신, 교육 기관은 재교육을 장려하거나 심지어 장려하는 긍정적 인 문화를 유지해야합니다. 재교육 문화의 표준화는 부서장과 책임자가 담당 직원의 절차 적 역량 약점을 인식 할뿐만 아니라 문제에 대한 토론을 촉진 할 수있는 방법을 찾아야합니다.

First, we recommend initiating an open dialogue about procedural competence among academic faculty. Given that this area is sensitive and may even be embarrassing for some faculty, this dialogue should be nonjudgmental and inclusive, and should involve physicians from all levels of practice. We believe that our academic health centers are stronger when senior clinician–leaders continue to practice in some manner, recognizing their procedural competence weaknesses. Rather than enforcing punitive measures for faculty lacking in procedural skills, academic health centers should maintain a positive culture that encourages or even incentivizes retraining. Normalization of the culture of retraining must come from departmental heads and chiefs who should not only recognize procedural competence weaknesses among their staff but also find ways to promote discussion about the issue.


둘째, 우리는 모든 AHC가 임상 실습 그룹에 백업 시스템이 갖추어져 있는지 확인할 것을 제안합니다. 명확한 프로토콜을 갖추어 교수진, 연수생 및 환자에게 안전하지 않거나 불편한 상황을 예방해야합니다. 그러한 협약의 개발은 긴급하거나 긴급한 개입을 요하는 일반적인 임상 시나리오와 흔치 않은 임상 시나리오에 대한 논의로 시작해야하며 절차 로그를 유지함으로써 촉진 될 수 있습니다. Procedure service teams 은 일반적인 절차에 대한 시기 적절하고 안전한 액세스를 제공하고 제시된 문제에 대한 효과적인 해결책으로 제시된 또 다른 옵션입니다.

Second, we suggest that academic health centers ensure that all clinical practice groups have backup systems in place. Having clear protocols in place should prevent unsafe and uncomfortable situations for faculty, trainees, and patients. Development of such agreements should begin with a discussion about common and uncommon clinical scenarios that require urgent or emergent intervention, and can be facilitated by maintaining procedure logs. Procedure service teams are another option that provide timely and safe access to common procedures and have been shown to be effective solutions to the presented problem.20


셋째, 모든 교수진은 재 훈련 할 수있는 기회가 주어져야하며, 거의 수행하지 않은 procedure를 위해서 정기적인 훈련 시간을 마련하는 것이 비실용적이며 비효율적 일 수 있다는 점을 인식해야합니다. 상당한 교육, 관리 또는 연구 프로그램을 갖춘 많은 교수진에 대해 재교육에 많은 관심을 보이는 교수도 있지만 재교육 비용은 부담이 될 수 있습니다. 절차에서 재교육을 의무화하기는 어렵지만, AHC는 그러한 기회가 쉽게 접근 할 수있는 환경을 조성해야하며 CME에는 절차 적 역량 이상의 영역이 필요하다는 이해를 해야 한다.

Third, all faculty should be given opportunities to retrain, with the recognition that for many, finding time for regular training in rarely performed procedures may be impractical and inefficient. Although some faculty may be highly interested in retraining, for many faculty with significant educational, administrative, or research programs, the costs of retraining may be burdensome. Although it is difficult to make retraining in procedures mandatory, academic health centers must create environments where such opportunities are easily accessible, with the understanding that continuing medical education involves more than just the area of procedural competency.


시뮬레이션은 bedside procedures를 포함하여 다양한 의료 영역에서 기술 기술을 향상시키고 비용을 절감하는 기술로 입증되었으며, attending을 retain하기 위해 사용 될 수 있습니다 .2,25 retrain 기회는 교수자만 대상으로 하거나, 레지던트과 함께 조직 될 수 있습니다. 또는 유사한 기술을 배우는 다른 직업 동료 팀원들과 함께 할 수도 있습니다.

Simulation has also been proven as a technique for improving technical skills and reducing cost in a variety of medical areas, including bedside procedures, and can be employed to retrain attendings.2,25 Retraining opportunities may be organized among faculty only, in conjunction with residents, or in conjunction with other interprofessional team members learning similar skills.


Conclusion


결론적으로, AHC는 연구, 교육 및 환자 간호의 복잡한 사명과 결합 된 가차없는 압력으로 인해 교수진이 절차 적 역량이 결여 될 수 있음을 인정해야합니다.

In conclusion, academic health centers should acknowledge that unrelenting pressures combined with a complex mission of research, education, and patient care can result in faculty lacking in procedural competence.



 2017 Jan;92(1):31-34. doi: 10.1097/ACM.0000000000001327.

Procedural Competence Among Faculty in Academic Health CentersChallenges and Future Directions.

Author information

1
A. Vaisman is a licensed physician in internal medicine and current trainee in adult infectious diseases, Division of General Internal Medicine and Geriatrics, University Health Network, and Department of Medicine, University of Toronto, Toronto, Ontario, Canada. P. Cram is director, Division of General Internal Medicine and Geriatrics, University Health Network and Sinai Health System, and professor of medicine, University of Toronto, Toronto, Ontario, Canada.

Abstract

Increasingly, faculty are taking on more direct responsibilities in patient care because of reductions in resident work hours, increasing admissions, and an endless push for efficiency. Furthermore, the rise of different career tracks in academia (i.e., patient care, research, education, or administration) and a drive for efficiency and subspecialization have placed additional strains on academic health centers. Combined, these factors have led to faculty increasingly being placed in the position of supervising bedside procedures that they may have not performed in years or with tools they have never trained with at all. Despite these challengesprocedural retraining for faculty remains nonstandardized across most academic health centers. The resulting lack of procedural competence among faculty creates a number of challenges for the different parties involved.In this Perspective, the authors discuss the nature of the current problem of faculty procedural competence and the challenges it poses for faculty and academic health centers, medicolegal ramifications, and the challenges it poses to the faculty-trainee relationship. The authors then suggest several strategies to delineate and resolve this problem. To delineate the problem, they suggest single-center surveys to address the current paucity of data. To resolve the problem, they suggest the consideration of some modest, low-cost interventions such as having backup systems in place for procedure supervision (e.g., procedural service teams or interventional radiologists) and providing faculty with opportunities to retrain.

PMID:
 
27465227
 
PMCID:
 
PMC5191975
 [Available on 2018-01-01]
 
DOI:
 
10.1097/ACM.0000000000001327


평가프로그램 설계를 위한 새로운 프레임워크 (Adv in Health Sci Educ, 2010)

A new framework for designing programmes of assessment

J. Dijkstra • C. P. M. Van der Vleuten • L. W. T. Schuwirth




도입

Introduction


오랫동안 의학 교육 평가에 대한 연구는 개인 측정 도구와 psychometric quality에 크게 초점을 맞춰왔다. 그러나 의사의 역량이 지식, 기술, 태도 및 문제 해결과 같은 개별 요소로 구성되어있다는 관점이 팽배하며, 각각에 대한 하나의 최상의 측정 도구를 찾으려는 노력이 있어왔음을 고려하면, 이상한 것도 아니다. 이 접근법의 좋은 예는 임상술기 측정의 수단으로 선호되는 OSCE, 그리고 문제해결능력 평가를 위한 key feature 문항의 확고한 지위이다. 

For long, research on assessment in medical education has strongly focused on individual measurement instruments and their psychometric quality. This is not illogical given the prevailing view of medical competence as consisting of separate elements—knowledge, skills, attitude, and problem solving—and the quest for the single best measurement instrument for each. Good examples of this approach are the established position of the Objective Structured Clinical Examination as the preferred instrument for skill measure- ment (Van der Vleuten and Swanson 1990) and key feature as approach of choice for problem solving skills (Page et al. 1995; Schuwirth 1998). 


심리측정 기준의 가치와 단일 도구에 쏠린 초점은 도구의 장점과 약점에 대한 통찰력을 제공하였으며, 어떤 절충안이 필요한지에 대한 아이디어를 주었다. 그러나 이러한 접근법만으로는 역량을 총체적으로 평가할 수 있는 양질의 평가를 하기에 충분하지 않다. 의학적 역량은 개별 entity의 합이 아니라 통합된 전체integrated whole이기 때문에, 의학과 같은 포괄적인 학문에서는, 어떤 도구가 정신 분석적으로 타당할지라도, 단일 평가도구만으로는 종합적인 평가를위한 모든 정보를 제공 할 수 없다는 결론을 내리는 것이 논리적이다. 

Without detracting from the value of psychometric criteria and the focus on single instruments, which has provided valuable insights into the strengths and weaknesses of instruments as well as into the trade- offs that have to be made (Newble et al. 1994; Schuwirth and Van der Vleuten 2004; Van der Vleuten 1996), such an approach is not sufficient to high quality assessment of com- petence as a whole. From the point of view that medical competence is not the sum of separate entities but an integrated whole, it is only logical to conclude that no single instrument, however psychometrically sound, will ever be able to provide all the infor- mation for a comprehensive evaluation of competence in a domain as broad as medicine.


밀러의 피라미드는 역량의 discrete elements에 대한 적절한 도구를 선택하는 데 유용한 반면, layer 간의 관계 또는 도구의 조합 내에서의 관계를 설명하지는 않습니다. 불행히도 이러한 고도로 통합 된 평가 수준에서의 관계, 타협 및 절충에 대해서는 알려진 바가 거의 없습니다. 물론 도구의 혼합만으로 충분하지 않습니다. 능력을 종합적으로 측정하기 위해 목적을 지닌 방법의 배열이 필요합니다. 테스트가 무작위 샘플 항목 이상인 것과 마찬가지로 평가 프로그램은 무작위 추출 도구 이상이어야합니다.

While being a useful aid in selecting appropriate instruments for discrete elements of competence, Miller’s pyramid does not describe the relationships between the layers or within com- binations of instruments. Unfortunately, little is known about relations, compromises and trade-offs at this highly integrated level of assessment. Of course not just any mix of instruments will suffice: a purposeful arrangement of methods is required for measuring competence comprehensively. Similar to a test being more than a random sample of items, a programme of assessment should be more than a random selection of instruments.


'평가 프로그램'에 대한 단일 정의를 내리는 것은 쉽지 않지만, 핵심은 프로그램의 목표에 대한 명확한 정의로부터 시작하는 설계 프로세스입니다. 이것을 바탕으로...

It is not easy to provide a single definition of such a ‘‘programme of assessment’’, but central to the concept is a design process that starts with a clear definition of the goals of the programme. Based on this; 

  • 평가 영역에 대한 결정 well-informed, literature-based, and rational decisions are made about the different assessment areas to be included

  • 구체적인 평가 방법 the specific assessment methods, 

  • 다양한 소스의 결과가 통합되는 방법 the way results from various sources are combined, and 

  • 프로그램의 요소 간 강점과 약점을 조화하는 타협안 the trade-offs that have to be made between strengths and weaknesses of the programme’s components.


프로그램적 평가를 공부하는 것은 포괄적 역량의 수준에서만 이루어질 수 있으며, 이는 의학을 integrated whole task로 보아야 한다. 이것은 역량을 분리되어있는 entity로 나누거나 심지어는 이들 entity의 합으로 보는 관점과는 상반되는 것이다. 평가에 대한 holistic 관점에서 programmatic approach은 몇 가지 이론적 이점을 제공합니다.

Studying programmatic assessment can only be at the level of comprehensive competence, framing medicine as an integrated whole task. This in contradiction to the view of com- petence as split up into separate entities, or even as the sum of these entities. From a holistic perspective on assessment, a programmatic approach offers several theoretical advantages.

  • 무엇이 측정되고 측정되지 않는지에 대한 개요를 만드는 데 도움이 된다. 이것은 내용과 능력의 다른 측면 사이의 균형을 이뤄주며, 관련성이 떨어지는 사실적 지식과 같이 쉽게 측정 할 수있는 요소를 지나치게 강조하는 함정을 막습니다.

  • 다른 도구의 강점을 통해 일부 도구의 결함을 보상 할 수 있기 때문에, 전체적으로 능력을 확보 할 수있는 다양한 스펙트럼의 보완적 측정도구를 사용할 수 있고, competence as a whole을 잡아낼 수 있다.

  • 평가도구를 매칭함으로써 정보 수집의 중복을 줄이고, 효율성을 높일 수 있습니다. 한 테스트의 데이터가 이미 다른 테스트에서 사용 가능하다면, 시험 시간과 공간을 더 확보할 수 있다.

  • 하이 스테이크 (high-stakes) 시험에서, 여러 출처 (시험 또는 도구)의 정보를 결합한 정보에 입각하여 고도로 방어 가능한 결정을 내릴 수 있습니다.


  • – It can help to create an overview of what is and what is not being measured. This promotes the balancing of content and other aspects of competence and counteracts the pitfall of overemphasising easy-to-measure elements, like unrelated factual knowledge.

  • – It allows for compensation for the deficiencies of some instruments by the strengths of other instruments, resulting in a diverse spectrum of complementary measurement instruments that can capture competence as a whole.

  • – Matching instruments can increase efficiency by reducing redundancy in information gathering. When data on a subject are already available from another test, test time and space is freed for other subjects.

  • – In high-stakes examinations, information from different sources (tests or instruments) can be combined to achieve well-informed and highly defensible decisions.


물론 평가 프로그램의 기존 사례가 이미 많이 있습니다. 그러나 불행히도 이 분야의 퀄리티를 지원하거나 향상시키는 데 도움이되는 연구는 거의 없습니다.

Of course, many existing examples of programmes of assessment are around already, Unfortunately however, there is little research in this area that would help to support or improve their quality.



  • 평가가 학습을 유도한다는 개념을 기반으로 한 이 분야의 초기 발달 중 하나는 올바른 학생 행동을 달성하기 위한 목표, 교육 및 평가의 조정이었습니다 (Biggs 1996). 이론적으로는 교육 환경의 복잡성으로 인해 전체 평가 프로그램을 포괄 할 수 있지만 이러한 맞춤의 적용 수준은 측정 내용 (Webb 2007)을 훨씬 넘어서서 확대되는 경우는 거의 없다. 즉, 평가는 커리큘럼 목표에 따라 blueprinting한다. 

  • 심리 측정 기준의 적용에 초점을 둔 또 다른 접근법 (Harlen 2007)은 "unified view of validity"(Birenbaum 2007)와 높은 이해 관계 평가 프로그램에 대한 연구에 크게 의존 한 품질 분석을위한 틀을 만들었다 높은 합성 신뢰성을 목표로하는 의사의 인증 (Burch et al., 2008; Knight 2000; Wass et al. 2001). 

  • One of the early developments in this area, based on the notion that assessment drives learning, was the alignment of objectives, instruction, and assessment to achieve con- gruent student behaviour (Biggs 1996). Although in theory it might encompass an entire assessment programme, probably due to the complexity of educational environments, the application level of this alignment has rarely extended beyond the content of measure- ment (Webb 2007), i.e. blueprinting assessment based on curriculum objectives. 

  • Another approach focused on the application of psychometric criteria to combinations of methods (Harlen 2007), resulted in a framework for quality analysis which relied heavily on a ‘‘unified view of validity’’ (Birenbaum 2007) and research into high-stakes assessment programmes for certification of physicians aimed at high composite reliability (Burch et al. 2008; Knight 2000; Wass et al. 2001). 


그러나 둘 다 평가에 대한 일관된 프로그램 방식을 달성하지 못했습니다.

Neither achieved a coherent programmatic approach to assessment, however.


검사의 심리측정 품질은 중요하지만, 도구의 실제적인 실현 가능성, 교육 목표, 평가 환경 및 환경이 중요합니다. Ba- artman (2008)은 최근 진실성과 의미 성 같은 교육 기반 기준을 추가 할 것을 제안했다.

Undeniably, psychometric quality is important, but so are practical feasi- bility of instruments, educational goals, and context and environment of assessment. Ba- artman (2008) recently proposed adding education-based criteria, such as authenticity and meaningfulness.


Method


연구 디자인

Study design


We conducted focus group interviews to explore the experiences and views of assessment experts concerning good practices and new ideas about theoretical and practical issues in programmes of assessment. Prior to data collection, the research team devised a rough and ready framework (list of topics) as a starting point for the discussions. The framework consisted of six elements of assessment relating to theoretical issues as well as practical suggestions for an assessment programme (see Fig. 1). 

    • The overall purpose of the assessment (Goals) and objectives of the curriculum, 

    • determine what needs to be tested (Collecting information) to gain data about medical competence of students. 

    • The data from different tests or sources needs to be merged (Combining information) 

    • into an overview which can be distributed among various stakeholders (Reporting). 

    • Based on the goals and data a further action needs to be taken (Decision taking). 

    • Finally in order to ensure high-standard assessment, a system of quality checks and measures should be in place (Quality control).



참여자

Participants


An email giving details of the objectives and the topics of the focus groups invited 12 experts with extensive experience with difficulties and problems associated with pro- grammes of medical assessment to participate in the study. A total of nine experts vol- untarily took part in two focus groups. Three had to decline because of diary or health problems. The experts, five from North America and four fromEurope, fulfil different (and some multiple) roles in their assessment practice


절차

Procedure


The meeting was divided in four sessions on 1 day

    • a plenary introductory session in which the guiding (initial) framework was presented; 

    • two sessions split into groups, first on theoretical issues; and 

    • second on practical recommendations; and 

    • a plenary retrospective session summarising the discussions. 


It was explained to the participants that we were interested in variety of views and that there were no correct or incorrect answers. Dissent was encouraged. All sessions were semi-structured using the framework. Two of the researchers (LS & CvdV) moderated the sessions of one group each. A third researcher (JD) took field notes.


자료 분석

Data analysis


All sessions were audio recorded, transcribed, and read by the research team. One coder (JD) analysed the transcripts, starting with using the categories from the initial framework. Because this exploratory research requires an informed but open mind, the framework, including concepts and theories, was further developed in a continuous process of checking and refinement, without adhering to this pre-set framework. Furthermore the data was analysed by identifying and labelling new emerging themes and issues. When the research team met to evaluate the resulting themes and issues, they were forced to conclude that the first draft of the model (the framework guiding the discussions) was overly simplistic, causing ambiguities in coding and occasionally precluding coding altogether. The model was revised until the research team reached consensus that saturation of coding was reached and no new topics emerged. Finally the model was send to the participants to check if it reflected the discussion correctly and whether our interpretation of the dis- cussion was accurate. No major revisions were suggested by the participants, just a minor suggestion as to the specific captions in English was made by a native English speaking participant.


결과

Results



대체 프레임 워크 (그림 2 참조)는 초기 프레임 워크의 개선과 등장한 새로운 테마를 기반으로합니다. 그것은 우리의 초기 프레임 워크보다 더 상호 연관되고 포괄적이지만 본질적으로 덜 순차적입니다.

The alternative framework (see Fig. 2)is based on the refinement of the initial framework and new themes which emerged. It is more interrelated and comprehensive than our initial framework, but is less sequential in nature.


프레임 워크를 비교하면 둘 다 "목표" 중심적입니다. 다음으로 초기 프레임 워크 인 수집, 결합,보고 및 의사 결정의 네 가지 요소는 Program in Action이라는 새로운 프레임 워크에서 한 차원으로 표현되는 밀접한 관련 활동입니다. 정의의 일부 변경 사항을 제외하고이 두 가지 프레임 워크는 이와 유사합니다. 대조적으로,이 분석은 엄청난 양의 품질 관리 정보를 산출했습니다. 우리의 첫 번째 틀은 품질과 관련된 활동의 다양성과 이 문제에 대한 전문가의 중요성에 대한 정의를하지 못하는 것으로 보입니다. 품질은 다단계로 밝혀졌으며 프로세스 마지막 단계에서 '목표'는 '실행된 프로그램'과 통합되었습니다. 최종 틀에서 4 개의 계층 (차원)이 식별되었으며, 목표와 프로그램과 동일한 수준으로 배치되었습니다. 이는 지원, 문서화, 개선 및 회계입니다.

Comparing the frameworks the dimension Goals is a central in both. Next, the four elements from the initial framework—Collecting, Combining, Reporting, and Decision Taking—are closely related activities that are represented in one dimension in the new framework, named Programme in Action. With the exception of some changes in defini- tion, the two frameworks are similar in this respect. In contrast, the analysis yielded a huge amount of information on Quality Control. It appeared that our first framework did not do justice to the diversity in activities related to quality and the importance the experts placed on this issue. Quality turned out to be multi-layered and integrated with Goals and the Programme in Action in stead of a single element at the end of the process. In the final framework four layers (dimensions) were identified, which were placed on the same level as goals and programme in action. These are supporting, documenting, improving, and accounting.



목표

Goals


전문가들은 일반적으로 아이디어와 제안을 특정 프로그램 목표에 연결하여 목표가 토론을 지배했습니다.

Goals dominated the discussions, with experts typically linking ideas and suggestions to specific programme goals.


목표는 초기 프레임 워크의 일부이기도 하지만 다른 프로그램 요소에 대한 거의 모든 논의에서 예상치 못한 중심성에 시달렸습니다. 분명히, 이러한 요소들을 평가의 목표와 분리하여 고려하는 것은 불가능했습니다.

Although goals were also part of our initial framework, we were struck by their unexpected centrality in almost every discussion on the other programme elements. Apparently, it was impossible to consider these elements in isolation from the goals of the assessment.


교육 개념 (예 : 전통 교육, 문제 기반 학습) 또는 평가의 특정 기능 (예 : 학습 도구, 라이센싱 결정)에 관계없이 평가 프로그램의 품질은 목적 적합성fitness for purpose 측면에서 틀을 둡니다. 이는 명확하게 정의 된 프로그램 목표가 고품질 프로그램의 전제 조건임을 의미합니다.

Regardless of educational concept (e.g. traditional education, problem-based learning) or the specific function of assessment (e.g. learning tool, licensing decisions), the quality of assessment programmes was framed in terms of fitness for purpose. This implies that clearly defined programme goals are prerequisite for high-quality programmes.




실제로 진행되는 프로그램

Programme in action


포커스 그룹 토의는 주로 실행중인 프로그램이나 실행중인 평가 프로그램이 최소한으로 요구되는 모든 활동에 중점을 두었습니다. 여기에는 정보 수집에서 해당 정보를 기반으로 취하는 행동까지 포함됩니다.

The focus group discussions focused predominantly on Programme in Action or—in other words—on all the activities minimally required to have a running assessment programme. These activities encompass activities ranging from collecting information to taking action based on that information.


초기 프레임 워크의 요소와 유사한 새로운 주제는 사실상 모든 평가 프로그램의 핵심 활동으로 간주되는 정보, 보고 및 의사 결정을 결합하여 정보를 수집하는 것이 었습니다.

Emerging themes that were similar to elements of the initial framework were collecting information, combining information, reporting, and decision making, which were regarded as core activities of virtually any assessment programme.


또 다른 공통적 인 문제는 정보의 출처가 많이 모아 지지만 시스템이 설정되어 있지 않아서 모두 [...] 통합되지 않고 수집 된 모든 자료를 고려하지 못한다는 것입니다. (P2)

Another common problem is that lots of sources of information are gathered but the system is not set up so that they are all considered […] they’re not integrating and considering all of the material that is gathered…(P2)


... 문제는 당신이 그것을 만들 수 있는가입니다, 그래서 당신은 한 곳에서 그것을 얻을 수 있고 당신은 그것을 각각에 관련시킬 수 있고 당신은 다른 것들의 중요성을 이해할 수 있고 당신은 판단에 도달 할 수 있습니다 [...]하지 마십시오. 부적절 할 때 결합해서는 안되는 것들을 부적절하게 결합해서는 안됩니다. (P6)

…the problem is how you can make it, so that you can get it in one place and that you can relate it to each and that you can understand the importance of different things and you can come to a judgment […] Don’t inappropriately combine things which shouldn’t be combined to force them together when they shouldn’t be. (P6)


하지만 ...이 정보를 보유하고 있거나 적절한 정보를 보유해야하는 이해 관계자를 고려해야하는 문제가 있습니다. 따라서 결코 제공하지 않는 방법이 아닙니다. (P1)

But … there is an issue … about considering which stakeholders need to have this information or appropriate to have this information, so it is not a way of never giving it out. (P1)


...하지만 모든 테스트가 모든 이해 관계자에게 피드백을 제공한다는 생각에 동의하지 않습니다. [Mod : 목표에 따라 다름] ... 테스트의 성격은 피드백에 크게 영향을받습니다. 주어진. (P2)

… but I don’t agree either with the idea that every test provides feedback to every stakeholder, that to me, no…[Mod: It’s depending on the goals]…the nature of the test will be greatly influenced by the feedback that will be given. (P2)



프로그램을 수행할 때, "실제적인 결과가 있고 학생들의 능력을 결정하는 데 필수적인" 핵심 활동에 중점을두고 있다. 실행 중은 활동을 수행하는 것이 평가에 필수 불가결하다는 것을 나타냅니다. 요약하면, 프로그램 활동의 네 가지 핵심 활동은 정보 수집, 정보 결합, 정보 가치 평가 및 행동 취하기입니다.

As Programme in Action focuses on core activities that have practical consequences and are essential to determine students’ abilities, it deserves extensive attention. In Action signifies that conducting the activities is indispensable for any assessment. In summary, the four core activities of Programme in Action are: Collecting Information, Combining Information, Valuing Information and Taking Action.


프로그램에 대한 지원

Supporting the programme


프로그램 활동의 요소가 평가 프로그램을 수립하기에 충분하지만 높은 표준을 보장 할 수는 없습니다. 다시 말해, 초기 프레임 워크에서 품질 관리와 관련된 것으로 분류 된 활동의 대부분은 활동중인 프로그램 (활동)을 지원하는 활동으로보다 적합하게 자격이 부여 된 것처럼 보입니다.


Although the elements of Programme in Action suffice to establish a programme of assessment, they cannot guarantee a high standard. In other words, a major part of the activities classified as relating to quality control in the initial framework appear to be qualified more appropriately as activities in support of the programme in action (activities).


두 가지 지원 관련 주제는 품질의 개념을 목적에 대한 적합성으로 보았다. 하나는 기술 지원으로 평가 자료의 품질에 기여합니다. 평가가 수행되기 전의 사전 행동 (예 : 항목 검토 패널, 교수진 개발)과 평가 후 모니터링 (예 : 심리 측정 및 기타 분석)이 구분됩니다. 평가의 퀄리티는 검사 항목 또는 요소가 요구되는 특성을 충족하는지 여부를 결정하는 review에 따라 다릅니다. 심리 측정 및 기타 분석은 평가의 품질을 결정하며, 개선을 위해 조치가 필요한지 여부를 결정하는 역할을합니다. 평가의 성공은 주로 사용자에 달려 있기 때문에 교수진 개발은 평가 프로그램의 품질을 향상시키는 데 중요합니다. 기술technical이라는 용어는 교육적으로 건전한 평가 시스템을 설계하고 수행하는 데 필요한 지식, 기술 및 태도를 포괄합니다.


Two support-related themes matched the concept of quality as fitness for purpose. One is technical support, contributing to the quality of assessment materials. A distinction was made between proactive activities before an assessment is conducted (e.g. item review panels, faculty development) and monitoring after the assessment (e.g. psychometric and other analyses). Test quality depends on review, which determines whether test items or elements meet the required characteristics. Psychometric and other analyses serve to determine the quality of an assessment and whether steps are needed to make improve- ments. As the success of an assessment depends largely on its users, faculty development is important to promote the quality of assessment programmes. The term technical also captures the knowledge, skills, and attitudes necessary for designing and conducting an educationally sound assessment system.


두 번째 지원과 관련된 주제는 이해 관계자의 조기 참여평가의 수용 가능성을 높이고 불공정 행위를 피하기위한 항소 절차를 시행하는 것을 목표로하는 정치 및 법률 지원에 관한 것입니다. 수용 가능성이 없다면 지원은 고품질을 달성하기에 불충분 할 수 있습니다. 평가 프로그램의 설계에 이해 관계자가 참여하면 독창적인 아이디어의 투입을 촉진 할뿐만 아니라 실행을 위한 적합성을 보장합니다. 이해 관계자에게 프로그램 소유권을 부여함으로써 지원을 얻지 못하면 목표를 달성하기가 어렵습니다. 국가 또는 지역의 법적 고려 사항과 관련된 문제도 고려해야하며 프로그램 설계의 자유도에 영향을 미칠 수 있습니다.


The second support-related theme concerned political and legal support, targeted at increasing the acceptability of the assessment by early involvement of stakeholders and by putting in place an appeal procedure to avoid unfair conduct. Without acceptability, support will likely be insufficient to achieve high quality. Stakeholder involvement in the design of assessment programmes not only promotes input of creative ideas, but also ensures a certain fitness for practice. It can give stakeholders a sense of ownership of the programme, thereby gaining their support, without which goals can remain elusive. Issues related to (inter)national or local legal considerations need to be considered too and can influence the degrees of freedom in programme design.


프로그램 내용의 문서화

Documenting the programme


평가 문서화에는 두 가지 목적이 있습니다. 

    • 첫째, 문서화는 프로그램 최적화를 위한 주기적 시스템을 허용함으로써 조직의 학습을 용이하게합니다. 

    • 둘째, 프로그램의 투명성과 투명성을 향상시킵니다.

Documenting assessment serves two purposes. 

    • Firstly, documentation will facilitate learning of the organisation by allowing the cyclic system of optimising the programme in action to function properly. 

    • Secondly, it enhances the clarity and transparency of the programme.


따라서 책임, 권리, 의무, 규칙 및 규정을 포함하여 프로그램을 지원하고 프로그램을 지원하는 모든 요소는 평가 절차가 모호하지 않고 방어가 가능하도록 기록되어야 합니다. 이러한 측면에서 3 가지 요소가 특별히주의를 기울일 필요가 있습니다.

Thus all the elements of programme in action and supporting the programme, including responsibilities, rights, obligations, rules, and regulations, must be recorded to ensure that the assessment process is unambiguous and defensible. Three elements deserve special attention in this respect.


평가 프로그램은 공백 상태에서 작동하는 것이 아니다. 

따라서 첫 번째 요소, 프로그램의 (가상) 학습 환경 및 컨텍스트를 다루는 것이 매우 중요합니다.

Because assessment programmes do not function in a vacuum, it is of vital importance to address the first element, the (virtual) learning environment and context of a pro- gramme,


평가 프로그램의 내용과 적용 가능성을 명확히 기술해야한다.

The context and applicability of an assessment programme have to be clearly described.



둘째, 규칙 및 규정은 이해 관계자가 평가의 목적 및 프로그램 실행 및 프로그램 지원과 관련하여 모든 이해 관계자의 권리 및 의무를 검토 할 수있는 참조를 설정합니다. 

    • 종종 평가가 수행되는 조건과 이해 관계자에 대한 특정 요구가 규칙에 포착 될 수 있습니다. 

    • 규정은 특정 (표준) 상황에서 취할 결과와 행동을 설명합니다. 

    • 책임은 명확하게 정의되어 프로그램의 모든 레벨에 할당 될 수 있으므로, 오류나 실수가 발생한 경우 적절한 사람에게 접근 할 수 있습니다

Secondly, rules and regulations, establishes a reference for stakeholders to review the purpose of the assessment and the rights and duties of all stakeholders in relation to programme in action and supporting the programme. 

    • Often the conditions under which the assessment is to be conducted and specific demands on stakeholders can be captured in rules. 

    • Regulations describe the consequences and actions to be taken in specific (standard) situations. 

    • Responsibilities can be clearly defined and allocated on all levels of the pro- gramme, so that the proper person is approached in cases of errors or mistakes.


내용은 평가 목표와 밀접하게 관련되어 있으므로 나중에 참조 할 수 있도록 기록해야합니다. 따라서 세 번째 요소 인 청사진 (blueprinting)은 콘텐츠를 프로그램과 프로그램에 사용되는 도구로 매핑하는 도구입니다. 이와 관련하여 정보 수집과 관련된 설계 원칙과 밀접하게 관련되어 있습니다. 청사진은 또한 도메인을 효율적으로 샘플링하는 도구로 간주 될 수 있습니다.

Because content is strongly related to assessment goals, it should however be recorded for future reference. So the third element, blueprinting, is a tool to map content to the programme and the instruments to be used in the programme. In this respect, it is strongly tied to the design principles relating to information collecting. Blueprinting can also be regarded as a tool to sample the domain efficiently.


프로그램 개선

Improving the programme


대부분의 개선 활동에는 문제가있는 측면을 파악하기 위해 프로그램을 면밀히 평가하기 위한 연구 개발이 필요합니다. 그러나 데이터 수집에서 중단되어서는 안되며, 진단 된 문제를 해결하기 위한 조치를 실제로 구현해서 loop을 close해야 한다.

Most improvement activities involve research and development aimed at careful evaluation of the programme to ascertain problematic aspects. It is imperative, however, that the evaluation loop should not stop at data gathering: it must be closed by the actual implementation of measures to address diagnosed problems.


프로그램에서 문제를 해결하기 위한 조치를 제외하고 정치적 변화 또는 새로운 과학적 통찰력으로 인해 개선이 이루어질 수 있습니다. 개선과 관련하여 수립 된 개념은 변화관리로서, 변화에 대한 절차와 변화에 대한 잠재적 저항에 대처하기위한 활동으로 구성된다. 변화의 (정치적) 수용은 프로그램의 (일부분의) 변화를 의미합니다.

Apart from measures to solve problems in a programme, political change or new sci- entific insights can also trigger improvement. A concept that cropped up in relation to improvement was change management, comprising procedures for change and activities to cope with potential resistance to change. (Political) acceptance of changes refers to changes in (parts of) the programme.



프로그램에 대한 설명

Accounting for the programme


프레임 워크의 이전 차원은 평가 프로그램을 담당하는 기관 또는 조직의 내부 측면과 관련이 있지만, Accounting for the programme는 공공적 책임에 대한 요구 증가와 관련이 있습니다. 이 차원에서 활동의 목적은 활동중인 프로그램의 현재 관행을 방어하고, 프로그램 목표의 중요성에 비추어 목표를 충족하였음을 입증하는 것입니다.

While the previous dimensions of the framework related to internal aspects of the insti- tution or organisation responsible for the assessment programme, Accounting for the programme relates to the increasing demand for public accountability. The purpose of activities in this dimension is to defend the current practices of the programme in action and demonstrate that goals are met in light of the overarching programme goals.


Accounting 활동의 네 가지 주요 그룹을 구별 할 수 있습니다. 

Four major groups of accounting activities can be distinguished.


전문가들은 과학적 연구의 필요성을 확인했으며, 종종 평가 활동에 대한 불확실성을 연구 결과의 결여로 돌리고 증거 기반 실습을위한 의학의 중요성에 부합하는 확실한 증거로 사례를 지원하기위한 연구를 요구했습니다.

 The experts identified a need for scientific research, frequently attributing uncertainty about assessment activities to a lack of research findings and calling for research to support practices with sound evidence, which is in line with the prominence in medicine of the drive for evidence-based practice.


책임성은 또한 평가 프로그램에 대한 외부 검토가 필요합니다. 일반적인 방법은 외부 전문가의 외부 검토로, 프로그램에 대한 정보를 판단하고 경우에 따라 정보를 확인하고 지역 이해 관계자의 견해를 듣기 위해 기관을 방문합니다

Accountability also requires external review of programmes of assessment. A common method is external review by outside experts, who judge information on the programme and in some cases visit an institution to verify information and hear the views of local stakeholders.


평가 프로그램은 외부 이해 관계자의 요구와 희망에 따라 형성됩니다. 평가 프로그램은 진공상태에서 존재하는 것이 아니기 때문에, 정치적 및 법적 요구 사항에 따라 평가 프로그램의 일부분 (설계의 일부)을 설계하고 고려해야하는 경우가 종종 있습니다.

Assessment programmes are also shaped by the needs and wishes of external stake- holders. As assessment programmes do not exist within a vacuum, political and legal requirements often determine how (part of) the programme of assessment has to be (re)designed and accounted for.


모든 기관이나 조직에서 리소스는 제한적이다. 따라서 비용 효율성은 바람직한 목표로 간주됩니다. 평가 프로그램의 성공은 종종 자원의 가용성에 달려있다. 즉, 프로그램의 품질은 가용 자원의 한계에도 불구하고 목표를 달성 할 수있는 범위로 정의됩니다.

In every institution or organisation, resources—including those for assessment pro- grammes—are limited. Cost-effectiveness is regarded as a desirable goal. The success of assessment programmes often hinges on the avail- ability of resources. In other words, the quality of a programme is also defined in terms of the extent to which it enables the attainment of the goals, despite the boundaries of available resources.


고찰

Discussion


이 문서에서 설명한 모델은 프로그램 개발자 및 사용자를 위한 공통 언어 (공유 정신 모델)뿐만 아니라 디자인 원칙을 공식화 할 때 다루어야 할 차원에 대한보다 포괄적 인 그림을 제공하기 때문에 평가 프로그램을 구성하는 데 도움이 될 수 있다고 생각합니다. . 그러나 이것은 우리 연구 결과를 이전 연구와 연관시키는 것을 어렵게 만든다.

We believe the model described in this paper can help to frame programmes of assessment, because it not only provides a common language (shared mental model) for programme developers and users but also a more comprehensive picture of the dimensions to be covered when formulating design principles. However this makes it hard to relate our findings to previous research.


높은 수준의 평가와 그것을 달성하는 데 필요한 활동이 평가 프로그램의 목표에 의해서만 정의 될 수 있다는 것이 핵심입니다. 목표는 프로그램 설계의 기본 원칙이다. 목표는 평가와 관련된 모든 활동과 밀접하게 되어있으며, 퀄리티는 목표와 불가분의 관계가 있습니다.

A central concept was that high quality assessment and the activities needed to achieve it can only be defined in terms of the goals of an assessment programme. Goals underpin the guiding principle of programme design: fitness for purpose. Quality is inextricably interwoven with goals, which are closely tied to all activities related to assessment.


이 논증을 더 설명하고 뒷받침하기 위해 우리는 평가 프로그램의 품질이 그 목적에 비추어 판단 될 수 있다는 가장 중요한 그리고 아마도 가장 명백한 결과로 돌아 간다.

To explain and support this argument further we come back to our most important and maybe most obvious finding that quality of an assessment programme can only be judged in light of its purpose.



초기에는 discrete and sequential step을 정의하듯, 포커스 그룹을 안내 할 때 동일한 분리 된 접근 방법을 사용했습니다. 새로운 모델은 평가의 상호 연관성과 복잡성을 중요시하며 직관적으로 논리적 인 순서는 그대로 유지됩니다. 예를 들어 실행중인 프로그램 내에서 (처음 수집 한 다음 조합하고 값을 계산하고 마지막으로 조치를 취함)이 시퀀스는 디자인의 관점에서 역전 될 수 있습니다. 연구의 핵심은 평가 프로그램의 설계를위한 프레임 워크 내의 요소들의 상호 연관성입니다.

Initially we took a same isolated approach when drawing up our initial model to guide the focus groups, in which we defined discrete and sequential steps. The new model values interrelatedness and complexity of assessment, while undeniably, an intuitively logical sequence retains. For example within the programme in action (first collect, then combine and value, and finally take action), but this sequence can also be reversed, especially from the design point of view. Key is the interrelatedness of the elements within the framework for the design of assessment programmes that resulted from this study.







 2010 Aug;15(3):379-93. doi: 10.1007/s10459-009-9205-z. Epub 2009 Oct 10.

new framework for designing programmes of assessment.

Author information

1
Department of Educational Development and Research, Maastricht University, The Netherlands. joost.dijkstra@educ.unimaas.nl

Abstract

Research on assessment in medical education has strongly focused on individual measurement instruments and their psychometric quality. Without detracting from the value of this research, such an approach is not sufficient to high quality assessment of competence as a whole. A programmatic approach is advocated which presupposes criteria for designing comprehensive assessment programmes and for assuring their quality. The paucity of research with relevance to programmatic assessment, and especially its development, prompted us to embark on a research project to develop design principles for programmes of assessment. We conducted focus group interviews to explore the experiences and views of nine assessment experts concerning good practices and new ideas about theoretical and practical issues in programmes of assessment. The discussion was analysed, mapping all aspects relevant for design onto a framework, which was iteratively adjusted to fit the data until saturation was reached. The overarching framework for designing programmes of assessment consists of six assessment programme dimensions: Goals, Programme in Action, Support, Documenting, Improving and Accounting. The model described in this paper can help to frame programmes of assessment; it not only provides a common language, but also a comprehensive picture of the dimensions to be covered when formulating design principles. It helps identifying areas concerning assessment in which ample research and development has been done. But, more importantly, it also helps to detect underserved areas. A guiding principle in design of assessment programmes is fitness for purpose. High quality assessment can only be defined in terms of its goals.

PMID:
 
19821042
 
PMCID:
 
PMC2940030
 
DOI:
 
10.1007/s10459-009-9205-z


Psychometrics와 그 불만: 측정에 대한 담화의 역사적 관점(Adv in Health Sci Educ, 2015)

Psychometrics and its discontents: an historical perspective on the discourse of the measurement tradition

Jordan Richard Schoenherr1,2 • Stanley J. Hamstra3




어떤 분야 나 방법론과 마찬가지로 평가에 대한 심리 측정 접근법에는 한계가 있습니다 (Norman 2002). 이 주장의 핵심은 심리 측정 방법에 의존하는 교육자는 '차원', '특성'또는 '역량'측면에서 개별 학습자의 특성에 너무 좁게 초점을 맞추고 맥락 (Ginsburg 외 2000), 개인 성격 (Hodges 2013), 팀 내 성과의 관점 (Lingard 2012) 등의 영향을 고려하지 않는다는 것이다.

As with any discipline or methodology, the psychometric approach to assessment has its limitations (Norman 2002). Central to this argument is that educators who rely on psychometric methods focus too narrowly on characteristics of the individual learner in terms of ‘‘dimensions’’, ‘‘features’’, or ‘‘competencies’’, and miss the influence of context (Ginsburg et al. 2000), individual character (Hodges 2013), and the perspective of per- formance within a team (Lingard 2012).



겉으로 볼 때, 이러한 주장은 평가 과정 자체가 동질성을 촉진하고, 학습자 개인으로서의 특성을 무시한다는 것을 암시한다. 그러나 학습자의 성과는 항상 특정한 맥락 안에서 존재한다. 따라서 심리 측정 접근법을 기반으로 한 평가는 진급 결정에 필수적인 정보의 풍부함을 무시하거나, 기껏해야 부적절한 기술 개발 또는 유한한 교육 자원의 오용으로 이어질 수 있다는 우려가 커졌습니다 (Schuwirth 및 van der Vleuten 2006).

Taken at face value, these arguments imply that the assessment process per se promotes homogeneity and neglects the unique nature of learners as individuals, whose performance will always be embedded in a certain context. As such, some have grown concerned that assessments based on a psychometric approach may neglect the richness of information which may be essential for promotions decisions, or at best, lead to the development of irrelevant skills or misallo- cation of finite training resources (Schuwirth and van der Vleuten 2006).


다음에, 우리는 '포스트 심리 측정 시대'를 수립해서는 안된다고 주장한다 (Hodges 2013). 보완적인 방법을 조사할 필요가 있지만, 정신 측정 평가에 대한 접근 방식은 의학 교육 문헌에서 지금까지 무시되어 왔으며, 지금도 발생하고 있는 심리측정 분야의 풍부하고 미묘한 담론을 설명하지 못하고 있다.

In what follows, we claim that we should not seek to establish a ‘‘post-psychometric era’’ (Hodges 2013). While complementary methods should be investigated, we argue here that the approach to psychometric assessment being challenged by these concerns fails to account for a rich and nuanced discourse within the field of psychometrics which may have been heretofore neglected in the medical education literature and which is still taking place.


표 1 정신 계측사의 패러다임 발전

Table 1 Paradigm development in psychometrics history 





전-패러다임 단계의 정신 측정학

Psychometrics in the pre-paradigmatic stage


패러다임의 정의에 관해서는 상당한 논쟁이 있지만, 우리는 psychometrics 패러다임이 거의 안정된 이론, 방법 및 데이터 집합으로 구성된다고 가정합니다 (Laudan, 1984). 우리는 진점수의 개념, 데이터의 종류 및 규모 구성의 방법과 같은 여러 가지 psychometrics discourse의 특징을 고려합니다.

While there is considerable debate as to the definition of a paradigm, we assume that the psychometrics paradigm consists of a more- or-less stable set of theories, methods, and data (Laudan 1984). We consider a number of prominent features of psychometrics discourse: the concept of a true score, the kinds of data, and the methods of scale construction.



오류, 변동성 및 진점수의 이해

Understanding error, variability, and the true score


오류는 과학사에서 중요한 역할을했습니다. 예를 들어, 초기 천문학 자들은 "올바른 관찰방법"이 있고, 오류란 관찰자가 모범 사례에서 벗어난 것 때문이라고 믿었다 (예 : Hoffmann 2007; Schaffer 1988). 그러나, 이러한 차이가 관찰자의 정신적 과정의 체계적 특성을 반영 할 수 있고 이러한 차이를 설명하기 위해 방정식을 도출 할 수 있다는 것이 곧 명백 해졌다 (Bessel 1823). 이러한 추세는 인간의 성능 측정 및 스케일링의 공통된 특징입니다.

Error has played an important role in the history of science. For instance, early astronomers believed that there was a ‘‘right method’’ of observation and that errors reflected a departure from best practices on the part of the observer (e.g., Hoffmann 2007; Schaffer 1988). However, it soon became clear that these differences might reflect systematic properties of the observer’s mental processes and that equations could be derived to describe these differences (e.g., Bessel 1823). This trend is a common feature of the measurement and scaling of human performance.


Cattell은 심리측정에 대해서 다음과 같이 말했다.

Cattell, notes that psychometrics:


(심리측정은) 많은 수의 개인에게 일련의 정신 테스트와 측정을 적용함으로써 [특정 과학에] 완성될 수 있습니다. 정신적 과정의 일관성, 상호 의존성, 다른 상황에서의 변이를 발견 할 때 결과는 상당한 과학적 가치가있을 것입니다. 그러한 시험의 과학적 및 실용적인 가치는 획일적인uniform 체계가 채택되면 훨씬 커질 것입니다. 서로 다른 시간과 장소에서 결정이 비교되고 결합 될 수있다. (Cattell 1890; 원래 강조)

could be made [into a certain, exact science] by applying a series of mental tests and measurements to a large number of individuals. The results would be of considerable scientific value in discovering the constancy of mental processes, their interdepen- dence, and their variations under different circumstances… the scientific and prac- tical value of such tests would be much increased should a uniform system be adopted, so that determinations made at different times and places could be com- pared and combined, (Cattell 1890; emphasis in original)


결국,이 접근법과 다른 접근법이 재구성되어 고전적 시험 이론CTT의 기초가되었다 (Gregory 1992; Traub 1997). 학습자의 실적 (즉, '관측 된 점수')는 이상적인 실적 (즉, '실제 점수')과 '오류'의 결과로 간주됩니다. 여기에서 '진정한 점수'는 Cattell의 '정신 과정의 불변성'에 대한 언급으로부터 암시된다. 의학교육의 현대 담론에서, 이것은 신뢰성으로 조작화될 수 있다.

Eventually, this and other approaches were reformulated and provided the basis for classical test theory (e.g., Gregory 1992; Traub 1997). A learner’s performance (i.e., their ‘‘observed score’’) is thought to be the result of their ideal performance (i.e., their ‘‘true score’’) and ‘‘error’’. Here, ‘‘true score’’ is implied in Cattell’s reference to ‘‘the constancy of mental processes’’. In the contemporary discourse of medical education, this might be operationalized in terms of reliabilities,



특히, Cattell은 위에 인용 된 구절에서 언급된 맥락의 역할을 강조하려고 조심스럽게 노력했다. 처음부터, psychometrics는 인간 본성의 연구에 대한 가능한 실행 가능한 접근법으로 공식화되었습니다. Galton과 Cattell과 같은 개척자들은 인간의 수행 능력을 측정 할 수 있다고 믿었지만 안정적인 측정 계기 및 연구 대상은 아직 알려지지 않았습니다. 더욱이 Cattell의 접근 방식은 응답 프로세스와 근본 역량 (즉, '진정한 점수') 간의 개념적 차이에 대한 인식을 보여 주며, 심리 측정 전문가는 두 가지 variance sources가 모두 (assume되기 보다는) specified되는 모델을 만들어야합니다.

In particular, Cattell was careful to emphasize the role of context, which is mentioned twice in the passage quoted above. From the outset, psychometrics was formulated as one viable approach to the study of human nature. While pioneers such as Galton and Cattell believed that human performance can be measured, a stable set of measurement instru- ments and objects of study were not yet known. Moreover, Cattell’s approach to psy- chometrics demonstrates an awareness of the conceptual distinction between response processes and underlying competencies (i.e. the ‘‘true score’’), and that psychometricians must create a model where both sources of variance are specified rather than assumed.


패러다임 단계에서의 정신 측정학 : 데이터의 의미

Psychometrics in the paradigmatic stage: the meaning of data


초기의 심리 측정자들은 numerical rating에 어떤 의미가 투사 될 수 있는지를 명시 적으로 고려했습니다. 숫자 구조에 대한 매핑 구조의 적절성과 그러한 과정이 암시하는 가정에 대한 이론적 논쟁이있었습니다 (비교의 종류, 공리의 관련성 및 특정 질문에 가장 적합한 저울의 유형에 대한 질문을 포함하여) Coombs 1953, 1960, Hoilder 1901, Krantz 등 1971, Luce and Krumhansl 1988). 아마도 이것들 중 가장 유명한 것은 Stevens (1946)의 것으로, 측정 이론에 널리 사용되는 네 가지 유형의 척도(명목, 서열, 간격 및 비율)을 개발했습니다. 중요하게, Stevens는 이러한 각 척도가 질적으로 다른 유형의 정보를 제공한다고 주장했습니다.

Early psychometricians also explicitly considered what meaning can be invested in numerical ratings. There has been considerable theoretical debate concerning the adequacy of mapping constructs onto number scales and the assumptions that such a process implies, including questions about the kinds of comparisons being made, the relevance of axioms, and the types of scales best suited for certain questions (e.g., Coombs 1953, 1960;Ho¨lder 1901; Krantz et al. 1971; Luce and Krumhansl 1988). Perhaps the most famous of these treatments is that of Stevens (1946), who developed four types of measurement scales that are now widely used in measurement theory: nominal, ordinal, interval, and ratio. Importantly, Stevens assumed that each of these scales provided a qualitatively different type of information.


명목 척도

Nominal scales


명목 척도는 임의의 방식으로 객체, 아이디어 또는 사람에게 숫자를 할당하고 entity 간의 차이에 대한 가정을하지 않는 척도입니다. 스티븐 (Steven) (1946)은 "명목척도는 가장 제한받지 않는 숫자의 할당이다"라고 지적하고있다 (P.678, 원래는 it).

Nominal scales are those that assign a number to an object, idea, or person in an arbitrary manner and make no assumptions concerning the differences between entities. As Steven’s (1946) notes ‘‘the nominal scale represents the most unrestricted assignment of numerals,’’ (p. 678; itl. in original).


학습자에게 학생 번호가 주어진다면, 그 번호를 할당 한 개인은 학습자를 평가하려고 시도한 것이 아니다.

When learners are given student numbers, the individual who assigns that number is not attempting to assess the learner.


서열 척도

Ordinal scales


서열척도는 순위 지정에 사용되기 때문에 명목 척도보다 더 많은 의미와 전달할 수 있습니다. 따라서 서열척도를 사용하려면 주어진 개인의 순위를 판단하는 데 사용되는 몇 가지 기준을 채택해야하지만, (서열 간) 일정한 간격을 반영한다고 가정하지는 않습니다. 그러나 평가하거나 사용하는 사람들이 이 척도의 기본 가정을 고려하지 않는다면, 이 척도에서 나온 증거는 부적절하게 사용될 수 있습니다. 의학 교육에서 사용되는 다른 많은 척도들이 비슷한 성질을 가지고있다 (Kimet al., 2009; Martin et al. 1997). 명목 척도와는 달리 서열 척도에 의한 평가에는 의미가 담겨져 있다.

Ordinal scales can convey more meaning then nominal scales as they are used to assign rank Use of an ordinal scale thus requires the adoption of some criterion that is used to judge the rank of a given individual, but is not assumed to reflect an equal interval between ranks. However, if the underlying assumptions of the scale are not considered by those evaluating or using the scale, the evidence that follows fromthe scale can be used inappro- priately. A number of other prominent scales in medical education have similar properties (e.g., Kimet al. 2009; Martin et al. 1997). Unlike a nominal scale, assessments made on an ordinal scale convey meaning.


간격 척도

Interval scales


간격 척도는 인접한 순위 간의 차이가 동일하다고 가정되는 entity 간의 관계에 대해 더 많은 정보를 전달할 수 있습니다. 그러나 간격척도에서 reference로 절대 0을 사용하지 않습니다.

An interval scale can convey still more information about the relationship between entities that are assessed, in that the difference between neighboring ranks is assumed to be equal. Interval scales, however, do not use an absolute zero as their point of reference.


비율 척도

Ratio scales


비율 척도에는 평가 구인과 관련된 대부분의 정보가 포함됩니다. 균등 간격을 기준으로 등급을 제공하는 것 외에도, 비율 척도는 0이라는 절대값을 갖는 것으로 정의됩니다.

Ratio scales contain the most information concerning a construct being assessed. In addition to providing ratings based on equal intervals, ratio scales are also defined by having an absolute zero


비율 척도는 다른 척도보다 연구하고자 하는 구인에 관한 더 많은 정보를 제공하지만, 이것만으로 적절한 구조가 측정되고 있음을 의미하지 않습니다. 실제로,이 토론에서 척도가 가진 특정 의미에 대한 가정을 반영하지 않는다는 것을 인식하는 것이 중요합니다. 이것은 이 개념을 개발하는 사람들에게 맡겨져 있습니다. 케인 (Kane, 1992)이 지적했듯이, 이 척도를 사용하는 사람은 데이터 해석 방법에 대한 타당성 주장을해야한다 (우리는 이것을 아래로 돌아갈 것이다). 오히려 스티븐스의 척도 typology은 평가자가 구인을 숫자 척도 위에 일관된 방식으로 매핑하는데 필요한 syntax를 제공하기 위한 것이지,  의미를 이해하기 위한 semantic과 관련된 것이 아니다.

While a ratio scale provides more information concerning the construct under investigation then other scales, this in no way implies that the appropriate construct is being measured. Indeed, it is crucial to recognize that this discussion does not reflect assumptions about the particular meaning of a scale—this is left to those developing it. As Kane (1992) has noted, users of the scale must make validity arguments as to how to interpret their data (we will return to this below). Rather, Stevens’ scale typology is concerned with developing a framework that provides raters with a syntax for constructing an internally consistent mapping of constructs onto number scales, not a semantics for understanding meaning.


패러다임 단계의 심리측정학: 평가의 프로세스

Psychometrics in the paradigmatic stage: the process of assessment


스티븐스 (Stevens)의 척도 유형학은 psychometrics 패러다임에서 얻은 데이터의 잠재적 의미를 이해하는 것이 중요하다는 것을 강조한다. 그러나 또 다른 meaning이 심리학 담론을 지배하게되었고, 그것은 바로 '타당도'로 표현되는 평가의 의미이다 (예 : Cronbach 1975, Kane 1992, Messick 1995). 타당도의 초기에는 척도가 유효하거나 유효하지 않다고 제안했지만, 점차 이 접근법은 타당도 주장을 뒷받침 할 수 있는 evidentary chain으로 대체되었다 (Campbell and Fiske 1959, Messick 1995). 이것은 진리를 유지하는 과학 철학의 이론과 일치한다. (우리의 경우, ''진정한 ''점수는) 아직 미완성 가설의 집합으로 표현된다 (참조, Popper 1959). 따라서 정신 측정학에서 우리가 개발하기를 희망하는 것은 타당도를 뒷받침해주는 주장이거나, 기존의 정신 측정 데이터에 기초하여 만들어진 의미에 대한 최선의 가설입니다.

Stevens’ scale typology underscores the importance placed on understanding the potential for meaning of obtained data in the emerging psychometrics paradigm. However, another source of meaning has come to dominate psychometrics discourse: the meaning of ratings expressed as validity (e.g., Cronbach 1975; Kane 1992; Messick 1995). While initial formulations of validity suggested that a scale was either valid or invalid, this approach has been supplanted by subsequent calls for an evidentiary chain of data to support validity arguments (Campbell and Fiske 1959; Messick 1995). This is in line with theories in the philosophy of science which hold that truth (or in our case, the ‘‘true’’ score) is, at best, represented by a collection of as yet unrefuted hypotheses (cf. Popper 1959). Thus, in psychometrics the most we can hope to develop is an argument for validity, or a best hypothesis for meaning based on existing psychometric data.


타당도 주장

Validity arguments


Kane (1992)은 유효성에 대한 주장을 구성하기 위해 Messick (1989)이 원래 밝힌 다섯 가지 증거 자료 (내용, 반응 과정, 내부 구조, 다른 변수와의 관계 및 사회적 결과)의 사용을 권고했다.

In order to construct an argument for validity, Kane (1992) recommended the use of five sources of evidence, originally identified by Messick (1989): content, response process, internal structure, relations to other variables, and social consequences.


마지막으로 평가 프로세스의 사회적 결과도 고려해야합니다. 예를 들어, 명목 척도는 임의적이기 때문에 어떤 label이 붙든지 무해하다. 그러나 사회적 행동에 대한 연구는 집단에 대한 임의적arbitrary 할당조차 집단 내 및 집단 외 상호 작용 (예 : Sherif 1958)에 중요한 영향을 미칠 수 있다는 것을 반복적으로 입증 해왔다. 채점을 할 때, 어떤 사람을 실적이 저조한 사람으로 분류하면, 장차 더 많은 실패가 발생할 수 있습니다 (예 : Guinote 2013, Robertson 2012). 의료계의 사회적 조직은 평가 척도를 사용하는 것에 따른 영향이 있는데, 교수자는 학생들에게 낙제점을 주는 것을 꺼려하고, 그 결과 미래에 동일한 척도를 사용할 때의 타당도가 손상된다.

Finally, the social consequences of the assessment process must also be considered. For instance, nominal scales reflect a seemingly innocuous label given that they are arbitrary. However, studies of social behaviour have demonstrated repeatedly that even arbitrary assignment to groups can have important consequences for in-group and out-group interaction (e.g., Sherif 1958). When considering grading, being labeled a poor performer might lead to further failure due to disempowerment (e.g., Guinote 2013; Robertson 2012). The social organization of med- icine has also been shown to affect the consequences of using rating scales, where instructors demonstrate reluctance to fail students (Dudek et al. 2005; Speer et al. 2000), which in turn can damage the validity of future ratings made using exactly the same scale (Regehr et al. 2007).


시험 개발 단계의 질적 고려

Qualitative considerations in the test development process


심리 측정 연구의 모범 사례로부터 연구자가 시험 개발과정에서 두 가지 연속 단계를 통과해야 함을 알 수 있다(예 : Gregory 1992, Kline 2000). 첫째, 설득력있는 타당도 주장을 개발하기 위해 탐색적 질적 과정이 수행됩니다. 이 때 rating을 할 내용전문가와 참가자 뿐만 아니라 그 척도가 사용될 맥락을 신중히 선택하여야 한다.

Best practices in psychometric research require that researchers pass through two con- secutive phases in the test construction process (e.g., Gregory 1992; Kline 2000). First, an exploratory qualitative process is conducted to develop the potential for constructing a convincing validity argument. This involves judicious selection of SMEs and participants who will provide ratings as well as the context in which the scale will be used.


수렴적 증거는 관찰하고자 하는 역량이나 특성과 기존의 척도와의 관련성(긍정적 또는 부정적)에서 찾아 볼 수있다 (Messick 1995). 시험 작업 중에 예측 된 결과를 얻지 못하면 연구자의 접근 방식을 조정해본다.

Converging evi- dence is sought from existing scales that are related (positively or negatively) to the competencies or characteristics under consideration (Messick 1995). Failure to obtain the predicted findings during pilot work results in adjustment of the researcher’s approach.



이 반복 프로세스는 안정적인 요소 집합이 얻어 질 때까지 계속됩니다. 

This iterative process continues until a stable set of factors are obtained. 


둘째로, 첫 번째 단계에서 얻은 결과를 또 다른 참가자, 평가자 또는 상황으로 복제하고 확장하려는 확증적 분석이 이어집니다. 최종 선택 항목을 안내하기 위해 더 많은 수렴 또는 발산 증거를 제공하기 위해 추가 도구를 도입 할 수 있습니다. 추가 조정을 통해 주제별 포화가 생기면, 이 도구는 혁신으로 전파 될 수 있으며, 이 도구 사용을 방어하기 위한 타당성 주장은 위에 나열된 5 가지 증거 자료 (Hamstra)의 지속적인 수집을 통해 지속적으로 테스트 및 업데이트되어야합니다 2014; Kline 2000).

Second, a confirmatory analysis follows that seeks to replicate and extend the findings obtained in the first phase with a different sample of participants, raters or context. Additional instruments can be introduced to provide further converging or diverging evidence to guide final selection of items. Once further adjustment yields thematic satu- ration, the instrument can be disseminated as an innovation, with the understanding a defensible validity argument for the use of the instrument must be continuously tested and updated through ongoing collection of the five sources of evidence listed above (Hamstra 2014; Kline 2000).



확립 된 패러다임에 대한 현대적 도전 : (지식) 번역과정에서의 손실

Contemporary challenges to an established paradigm: lost in (knowledge) translation


예를 들어 미첼 (Michell, 1997)은 "많은 심리학 연구자들은 자신이 사용하는 방법에 대해 무지하다. 내가 언급하는 무지는 자료를 수집하거나 분석하는 것보다는, 오히려 방법론적 관행의 논리에 관한 것이다"(356 쪽)라고 말했다. 메타 이론적 담론을 강조하지 않은 결과, 이 분야의 intellectual product을 채택하는 실무자는 이러한 문제에 대해 무지할 수 있습니다. psychometrics에서 중요한 것은 데이터의 의미를 주장하기 위한 근거를 사용하는 것이지만, 이 논리를 이해하지 못하면 손상될 수 밖에 없다.

For instance, Michell (1997) claims that ‘‘manypsychological researchers are ignorant with respect to the methods they use…the ignorance I refer to is about the logic of methodological practices,’’ (p. 356) rather than with the methods of data collection and analysis. As a result of failing to highlight the meta-theoretical discourse, practitioners that adopt the intellectual products of such a field may be blinded to these issues. What is critical for psychometrics is to use evidence to make an argument for the meaning of data, but without understanding this logic the approach is undermined.


의학교육에서의 심리측정

Psychometrics in medical education


일반적으로 심리측정을 의학 교육에 적용하는 것은 타당도 증거의 질 측면에서 여러 가지 이유로 비판을 받아왔다. 특히 신뢰도는 종종 acceptable criterion으로 오인되며, 평가 도구를 검증하는 데 사용되는 표본은 너무 작거나 너무 동질적이며, 측정하려는 구인이 너무 구체적이지 않은 경우도 많다(예 : 초보자와 전문가의 구분). 학습자가 자신의 환경과 사회적 맥락을 배제하는 데 과도하게 집중하고는 했다(Hodges 2013, Lingard 2012, Cook et al 2014). 

The application of psychometrics in medical education has been criticized on multiple grounds, typically in terms of the quality of validity evidence (for a general discussion, see Cook and Beckman 2006; Schuwirth and van der Vleuten 2005). In particular, 

    • reliability is often mistaken as an acceptable criterion, 

    • samples that are used to validate assessment instruments are often too small and homogeneous, 

    • the construct that is being measured is often too non-specific (e.g., differentiation between novices and experts), and 

    • there is often undue focus on the learner to the exclusion of their environment and social context (Hodges 2013; Lingard 2012; Cook et al. 2014). 

이 비판들을 다 모아보면, 비판의 초점은 static한 척도를 만들고 사용하는 문제에 초점을 맞추고있다. static 척도는 위에서 제시된 미묘한 차이보다는 validity를 불변의 것이라고 가정한다.

Taken together, these criticisms focus on issues of creating and using a static scale that assumes an immutable conception of ‘‘va- lidity’’, rather than the more nuanced treatment of the field presented above.


역량 평가는 학습자의 수행능력의 모든 가능한 부분집합에 초점을 맞추기 때문에 운명적으로 doomed endeavor라고 주장하는 사람들도 있습니다. 만약 대표적인 부분을 검토함으로써 전체를 이해할 수 없다면, 평가 도구는 학습자를 적절하게 반영 할 수 없습니다.

Some have claimed that competency assessment is a doomed endeavour due to its focus on a subset of all possible features of a learner’s performance. On this account, if the whole cannot be understood by examining representative parts, assessment tools cannot adequately reflect the learner. 


Hodges (2013)가 그것을 능숙하게 표현한 것처럼

As Hodges (2013) has eloquently put it


능력은 개인의 특성이 아니라 집단에 내포되어있다. 역량은 고정 된 안정된 특성이 아니라 상이한 맥락에 따라 달라진다. 평가는 개인의 생각과 행동을 형성 할 수있는 힘을 가지고 있습니다. 마지막으로, 개인 간의 차이를 구분하는 것은 한 개인 내의 능력을 구분하는 것보다 덜 도움이 될 수 있습니다 (565 쪽, 강조에서 본래의 것).

competence is not a characteristic of individuals but is embedded in collectivities; competence is not a fixed, stable characteristic but one that varies in different con- texts; tests have the power to shape the thoughts and behaviors of individuals; and finally, discriminating between individuals might be less helpful than some form of differentiation of abilities within individuals, (p. 565, emphasis in original).


Hodges (2013)는 척도를 사용함으로써, 오히려 학습자의 기술과 성격에 대한 이해를 향상시킬 수있는 중요한 주관적 차이를 불명료하게 만들 수 있음을 주장하였고, 이것이 trade-off이다. 척도는 학습자의 성과 중 일부에만 민감할 것이며, 따라서 척도를 선택하거나 여러 척도를 사용하는 것은 당연하게 받아들여질 수 없는 중요한 단계입니다.

While Hodges (2013) is correct in suggesting that the use of a scale can obscure important subjective differences that can enhance our understanding of a learner’s skills and character, this reflects a trade-off. Scales will be sensitive tosome features of learner performance and not others, thereby making the selection of a scale or the need to use multiple scales a crucial step that cannot be taken for granted.


연구자들은 여러 관련 요소 또는 설명 프레임 워크 중에서 선택해야합니다. 이것은 아마도 psychometrics에 대한 양적 접근에서 가장 뚜렷한 특징이지만, 질적인 접근의 결과이기도 합니다.

Researchers must select from among multiple relevant factors or explanatory frameworks. Although this is perhaps most evident in the quantitative approaches to psychometrics, it is also a result of qualitative approaches.


수행능력의 평가의 relevance는 심리 측정자의 주장뿐만 아니라 평가 정보가 어떻게 사용되는지에 달려있다 (Kane, 1992). 역량의 확인과 측정에 대한 심리 측정 방식을 invalidate하는 대신, 정량적 심리 측정 방식의 사용 여부와 무관하게, 학습자의 성과를 평가할 수있는 최상의 방법을 고려할 때 이것들을 먼저 생각해봐야 한다. 즉, 평가자가 단일 성과 테스트에 의존하기보다는 수렴적 증거와 역량을 적극적으로 찾는 것이 중요하다.

The extent to which an assessment of performance is relevant will be relative to the claims that are made of psychometricians as well as how that information is used (Kane 1992). Rather than invalidating the psychometric approach to the identification and measurement of competencies, such considerations need to be kept in the fore when considering the best means to assess the performance of learners, whether using quantitative psychometric approaches or otherwise. At their most critical, these concerns suggest that assessors should actively seek out converging evidence and multiple competencies rather than relying on single tests of performance.


결론

Conclusions


Psychometrics는 개인적인 차이 (Galton 1886)뿐만 아니라 맥락 (Cattell 1890)의 중요성을 인정한 오랜 역사와 함께, 인간 본성과 성과의 연구를 돕기위한 관련 방법의 집합체로서 처음에 제안되었다. 측정 개념과 기법 개발의 역사에 대한 논의에서, Marx (1963)는 목표 구인(즉, 능력, 역량)의 언어를 보다 구체화하기 위한 반복적인 과정을 간략히 설명하면서, 동시에 측정 도구의 정밀도를 높이기 때문에, 구인을 특정 척도로 완벽하게 매핑 할 수있는 기회가 줄어든다고 주장하였다. 이것은 심리측정가뿐만 아니라 이들이 만든 척도를 사용하는 사람도 이해해야하는 trade-off이다. 모든 도구와 마찬가지로 평가 도구는 특정 작업을 수행하도록 설계되었습니다. 우리의 우려가 특정 척도의 적절성에 대한 것이라면, 우리는 측정하려는 구인에 대한 해당 척도의 적절성에 의문을 제기해야합니다.

Psychometrics was initially proposed as a cluster of related methods to aid in the study of human nature and performance, with a long history of acknowledging the importance of individual differences (Galton 1886) as well as context (Cattell 1890). In his discussion of the history of the development of measurement concepts and techniques, Marx (1963) outlines an iterative process of refining the language of target constructs (i.e. abilities, competencies) to become more specific, while at the same time refining measurement tools to gain precision (see also Laudan 1980), thus reducing the chances for a perfect mapping of any construct to a particular scale. This is best seen as a trade-off, one that must be understood not only by psychometricians but also by adopters of these scales. As with any tool, an assessment instrument is designed to perform a specific task. If our concern is with a particular scale’s adequacy, we should question the appropriateness of that scale for the construct being measured.


Cook, D. A., & Beckman, T. J. (2006). Current concepts in validity and reliability for psychometric instruments: Theory and application. The American Journal of Medicine, 119, e7–e16.


Hodges, B. (2013). Assessment in the post-psychometric era: Learning to love the subjective and collective. Medical Teacher, 35, 564–568.


Schuwirth, L. W. T., & van der Vleuten, C. P. M. (2005). Assessing professional competence: From methods to programmes. Medical Education, 39, 309–317.




 2016 Aug;21(3):719-29. doi: 10.1007/s10459-015-9623-z. Epub 2015 Aug 25.

Psychometrics and its discontents: an historical perspective on the discourse of the measurement tradition.

Author information

1
Faculty of Medicine, University of Ottawa, Ottawa, Canada.
2
Department of Psychology, Carleton University, Ottawa, Canada.
3
Accreditation Council for Graduate Medical Education, 515 N. State Street, Suite 2000, Chicago, IL, 60654, USA. shamstra@acgme.org.

Abstract

Psychometrics has recently undergone extensive criticism within the medical education literature. The use of quantitative measurement using psychometric instruments such as response scales is thought to emphasize a narrow range of relevant learner skills and competencies. Recent reviews and commentaries suggest that a paradigm shift might be presently underway. We argue for caution, in that the psychometrics approach and the quantitative account of competencies that it reflects is based on a rich discussion regarding measurement and scaling that led to the establishment of this paradigm. Rather than reflecting a homogeneous discipline focused on core competencies devoid of consideration of context, the psychometric community has a history of discourse and debate within the field, with an acknowledgement that the techniques and instruments developed within psychometrics are heuristics that must be used pragmatically.

KEYWORDS:

History; Measurement and scaling; Medical education; Psychometrics

PMID:
 
26303112
 
DOI:
 
10.1007/s10459-015-9623-z


ACGME 마일스톤 활용에 딴지걸기: 글로벌레이팅의 한계(Acad Med, 2015)

Placing Constraints on the Use of the ACGME Milestones: A Commentary on the Limitations of Global Performance Ratings

Reed G. Williams, PhD, Gary L. Dunnington, MD, John D. Mellinger, MD,

and Debra L. Klamen, MD, MHPE





1999 년, Accreditation Council for Graduate Medical Education, ACGME는 인증 결정의 초점을 과정과 구조에서 성과로 옮기기 시작했습니다. 결과적으로 레지던트 프로그램은 레지던트가 6 개 일반 실무 차원에서 역량을 획득했음을 객관적으로 문서화해야합니다 .1 최근에, 의학 전문 분야는 "개발 기반의 전문 분야별 성과로서, 수련과정의 각 기간에 따라 레지던트들이 갖추어야 할 것으로 기대되는 교육 이정표milestone를 수립했습니다. "1

In 1999, the Accreditation Council for Graduate Medical Education (ACGME) began to shift the focus of accreditation decisions from process and structure to outcomes. As a result, residency programs were required to objectively document that their residents achieved competence in six general dimensions of practice.1 More recently, medical specialties have formulated educational milestones, which are “developmentally based, specialty-specific achievements that residents are expected to demonstrate at established intervals as they progress through training.”1


그러나 우리는 프로그램 디렉터가 단순히 기존의 평가에다가 로테이션 종료시 글로벌 평가 문항을 추가하거나 레지던트의 성과에 대한 반기별 또는 연례 검토 양식을 사용함으로써 이러한 새로운 ACGME 인증 지침을 충족 시키려고하는지 우려하고 있습니다. 

However, we are concerned that program directors will be tempted to meet these new ACGME accreditation guidelines by simply adding corresponding items to existing end-of-rotation global rating forms and/or by using the forms for semiannual or annual reviews of residents’ performance and progress.


인간 판단을 사용한 성과 측정

Using Human Judges to Measure Performance


표 1은 인간 심사 위원이 성과를 측정하는 상황의 네 가지 예를 제공합니다. 각각의 사례마다 Referent, 즉, 측정 대상은 상당히 상이하다. 첫 번째 예제에서 네 번째 예제로 이동함에 따라 real-world referent는 덜 구체적인 반면, 고려해야 할 attributes의 수는 증가합니다.

Table 1 provides four examples of situations in which human judges measure performance. The referent (i.e., what is measured) is quite different in each of these examples. As one moves from the first to the fourth example, the real-world referent becomes less specific and the number of performance attributes considered increases.


Weekley와 Gier5는 피겨 스케이팅 성과에 대한 전문가 등급을 연구하고 프리스케이트 점수에 대한 평가자간 일치도가, 모든 스케이터가 동일한 요소를 수행하는 퍼포먼스 점수에 대한 평가자간 일치도보다 낮은 것으로 나타났습니다. 이 결과는 평가자가 프리스케이트에 점수를 매길 때 더 많은 수의 attributes를 고려하기 때문에, 심사위원의 주의 및 가중치의 차이로 인해 등급이 달라지게 됨을 의미합니다.

Weekley and Gier5 studied expert ratings of figure skating performances and demonstrated that the interrater agreement for free skate scores is lower than that for scores of performances in which all skaters perform the same elements. This finding suggests that raters consider a greater number of performance attributes when scoring the free skate performance, leading to divergences in ratings due to differences in the judges’ attention and weighting.


네 번째 예제 - 로테이션 종료 시 글로벌 평가 -은 근본적으로 차이가 있다. 첫째, real-world referent는 레지던트의 성과에 대한 불변의 속성이 아니며, 레지던트에 대해 평가자가 가지고 있던 인상이다. 따라서 고려되는 attributes가 평가자에 따라 달라진다. 이러한 차이는 평가자가 레지던트의 어떠한 성취를 관찰한 경험이 있는가, 또는 평가자가 무엇을 선호하고 어떠한 경향이 있는지에 따라 결정됩니다.

The fourth example—end-of-rotation global ratings—is fundamentally different from the others. First, the real- world referent is the rater’s impression of the resident rather than specific, invariant attributes of the resident’s performance. Thus, the attributes considered differ depending on the rater. These differences are a function of both the samples of the resident’s performance observed and the rater’s rating preferences and tendencies. 


그러나 평가자가 몇 주 동안 레지던트의 전반적인 성과에 대해 가졌던 인상을 표현할 때에는 망각 및 선택적 회상과 같은 복잡한 요인이 관여된다.

However, formulating an impression of the resident’s overall performance over a period that spans weeks introduces complicating factors, such as forgetting and selective recall.6



각기 다른 평가자가 각 레지던트에게 등급을 매기므로 전체적인 판단을 종합 한 평가의 의미는 매우 다양합니다. 평가자가 레지던트에게 준 점수는 그 점수를 받은 레지던트만큼이나 평가자에 대해 많은 것을 보여준다.

Because different raters rate each resident, the meanings of the ratings that are combined into an overall summative judgment are highly variable. The rating reveals as much about the rater as it does about the resident being rated.6


따라서 새로운 milestone 운동에 대해서, 우리는 프로그램 디렉터가 ACGME 요구 사항을 충족시키기 위해 로테이션 종료시에 글로벌 평가등급 양식에 항목을 추가할 것이며, 이러한 평가방식이 매우 구체적인 attributes를 측정 할 때(처음 세 개의 사례)만큼 동일한 정밀도를 갖게된다고 가정하는 상황을 우려한다. 현실은 네 번째 예제에서 사용 된 것과 더 가깝다.

Thus, our major concern with the new milestones movement is that program directors will add items to end-of- rotation global rating forms to meet ACGME requirements and that they will assume that these rating forms will have the same precision for measuring specific performance attributes as those presented in the first three examples. In reality, we believe they will be more analogous to those used in the fourth example.




단순히 글로벌 척도를 포함시키는 것의 문제점

The Problems With Simply Adding Items to Existing Global Rating Forms



기존의 평가에 글로벌 평가등급 양식만을 단순히 추가하는 것의 첫 번째 문제는 각 등급을 뒷받침하는 근거 자료에 대한 것이다.

The first issue with simply adding items to existing global rating forms is the evidence base supporting each rating.


다른 사람에게 전해들은 증거나 간접적으로 수집한 정보는 레지던트 평가의 근거로서는 의심스럽다. 그러한 간접적 인 증거는 종종 일련의 잘못된 가정을 요구한다 (예 : 사례 발표에 반영된 전문 지식이 의료 팀의 다른 구성원보다는 레지던트에게 귀속된다고 가정). Williams와 Dunnington은 기존의 6 가지 ACGME 역량에 포함 된 28 가지 구성 요소 역량 중 6 가지만이 일반적으로 교수진에 의해 '직접' 관찰된다는 점을 주장했습니다. Chisholm등은 레지던트 (이 경우 응급 의학 레지던트)에 대한 교수의 직접적 관찰시간을 조사한 결과 교수진이 비 중환자 영역에서 고작 9 시간 교대 당 2 분, 교대 근무 당 11 분 동안 레지던트를 관찰했다고보고했다. 평가 서식에서 평가점수를 매기라고 하면, 평가자는 (어떻든간에) 점수를 매긴다.

Hearsay evidence and/ or secondhand information provide questionable bases for the assessment of residents. Such indirect evidence requires a long chain of supporting assumptions (e.g., assuming that the expertise reflected in a case presentation is attributable to the resident rather than to other members of the health care team) that are often incorrect. Williams and Dunnington7 argued that only 6 of the 28 component competencies included in the original six ACGME competencies are typically directly observed by faculty. Chisholm and colleagues8 investigated the amount of direct faculty observation of residents (in this case, emergency medicine residents) and reported that faculty observed residents for 2 minutes per nine-hour shift in the non-critical-care area and for 11 minutes per shift in the critical care area. If a rating form asks for a competency rating, raters will provide a rating.



글로벌 신용 평가 양식의 두 번째 문제점은 인간의 기억과 정보 처리 특성이다. 첫째, 임상 수행 평가 자료의 증거를 고려하십시오. 많은 연구에 따르면 전문가 평가자는 단일 요소 (전반적 성과) 또는 두 가지 요소 (임상 적 성과, 전문적인 행동) 만을 사용하여 의사 및 연수생의 행동을 판단한다. Williams와 동료 6은이 연구에 대해보다 포괄적 인 검토를 제공합니다.

The second issue with global rating forms involves human memory and information processing characteristics. First, consider the evidence from the clinical performance appraisal literature. A number of studies9,10 support the view that expert raters judge physician and trainee behavior using either a one-factor (overall performance) or two-factor (clinical performance, professional behavior) view of performance. Williams and colleagues6 provide a more comprehensive review of this research. 



Gingerich등은 그러한 판단 과정은 진화적으로 형성된 것이며, 사람의 역량과 우정 (잠재적 인 친구 또는 적)의 판단에 기초한 1 차원 또는 2 차원의 프레임 워크를 사용하는 분류로 이어진다고 제안한다.

Gingerich and colleagues11 suggest that such judgment processes are shaped by human evolution and lead to classifications using a one- or, at most, two-dimensional framework based on judgments of the person’s competence and friendliness (potential friend or enemy).


Ginsburg와 동료 12는이 문제를 다른 방향에서 접근하여 주치의에게 그들이 감독 한 레지던트들을 회상하고 설명하라고 요청했습니다. 단, 이 때 레지던트는 여러 레지던트가 복합된 것이 아니라 아닌 특정한 실제 레지던트여야했습니다. prompting이나 guidance가 없는 상황에서, 주치의는 레지던트의 수행에서 가장 특징적이라고 생각되는 단일 수행 특성을 밝힌 뒤, 다른 관련 성과 속성을 추가하여 이 인상을 보충하였다.


Approaching this issue from a different direction, Ginsburg and colleagues12 asked the attending physicians to recall and describe the residents they had supervised. These residents had to be actual residents rather than generalized composites of many residents. Without prompting and guidance, the attending physicians started by stating the single performance attribute they considered most characteristic of that resident’s performance and embellished this impression by adding other associated performance attributes.


이 모든 연구는 의학에 사용 된 평가 시스템이 6 가지 ACGME 역량을 독립적 인 구성으로 정확하게 측정하지 못한다는 Lurie와 동료의 결론을지지합니다.

All of this research supports the conclusions of Lurie and colleagues13— that the assessment systems used in medicine do not reliably measure each of the six ACGME competencies as independent constructs.


Going Forward


Huddle과 Heudebert14는 holistic한 전문가 판단이 trainee의 평가에 여전히 도움이된다는 사실에 동의합니다. 이러한 글로벌 평가등급은 레지던트의 전반적인 기능과 능력을 측정하는 중요한 수단입니다. 그러나 개별 핵심 역량에 대한 레지던트의 성과를 평가하기 위해서는 업무별 척도가 필요합니다.

we agree with Huddle and Heudebert14 that holistic expert judgments still have a place in the assessment of medical trainees. Such global ratings provide an important measure of a resident’s overall functioning and competence. However, task-specific measures still are needed to evaluate residents’ performance of individual key competencies.


ACGME 역량 운동은 레지던트를 평가할 때 고려해야 할 성과 차원의 수와 유형을 확장하려는 시도였다. 그 뒤에 따라온 milestone은 훈련 목표를 더욱 발전시키고 전문화시키려는 목적으로 만들어졌습니다. 개별 전문 분야에서 개발 한 milestone 문서는 커리큘럼 개발, 평가 시스템 설계 및 교육을 안내하는 청사진이다. 그러나 프로그램 디렉터가 로테이션 종료시의 평가등급 양식에 몇개 항목을 추가하기만 하는 것은, 성과에 대한 유용한 정보를 주지 않으면서 교수에게 요구하는 시간만 더 늘어날 수 도 있다.

The ACGME competencies movement represents an attempt to expand the number and type of performance dimensions considered when rating residents. The milestones initiatives that followed were designed to further develop these training goals and to make them specialty specific. The milestones documents developed by the individual specialties should serve the profession well as blueprints to guide curriculum development, assessment system design, and training. However, if they only lead program directors to add more items to global end-of-rotation rating forms, the result is likely to be a dramatic increase in demand on faculty time without any increase in the usefulness of the performance information collected.



13 Lurie SJ, Mooney CJ, Lyness JM. Measurement of the general competencies of the Accreditation Council for Graduate Medical Education: A systematic review. Acad Med. 2009;84:301–309.


11 Gingerich A, Regehr G, Eva KW. Rater-based assessments as social judgments: Rethinking the etiology of rater errors. Acad Med. 2011;86(10 suppl):S1–S7.






 2015 Apr;90(4):404-7. doi: 10.1097/ACM.0000000000000507.

Placing constraints on the use of the ACGME milestones: a commentary on the limitations of global performance ratings.

Author information

1
Dr. Williams is adjunct professor of surgery, Indiana University School of Medicine, Indianapolis, Indiana, and J. Roland Folse, MD, Professor of Surgical Education Research and Development Emeritus, Southern Illinois University School of Medicine, Springfield, Illinois. He served as a member of the General Surgery Milestones Development Committee. Dr. Dunnington is chairman, Department of Surgery, and Jay L. Grosfeld Professor of Surgery, Indiana University School of Medicine, Indianapolis, Indiana. He served as a member of the committee that developed the original ACGME competencies. Dr. Mellinger is J. Roland Folse, MD, Chair and professor, Division of General Surgery, and program director, General Surgery Residency Program, Southern Illinois University School of Medicine, Springfield, Illinois. Dr. Klamen is associate dean for education and curriculum and chair, Department of Medical Education, Southern Illinois University School of Medicine, Springfield, Illinois.

Abstract

As part of the outcomes-based accreditation process, the Accreditation Council for Graduate Medical Education (ACGME) now requires that medical specialties formulate and use educational milestones to assess residents' performance. These milestones are specialty-specific achievements that residents are expected to demonstrate at established intervals in their training. In this Commentary, the authors argue that the pressure to efficiently use program directors' and faculty members' time, particularly in the increasingly clinical-revenue-dependent model of the academic medical center, will lead program directors to meet these new accreditation expectations solely by adding items that assess these competencies to global end-of-rotation rating forms. This approach will increase the workload of faculty but will not provide new and useful information about residents' competence. These same concerns could apply if assessment committees attempt to measure these new performance dimensions without using direct observation to evaluate residents' performance. In these circumstances, the milestones movement will fall short of its intention and potential. In this Commentary, the authors outline and provide evidence from the literature for their concerns. They discuss the role that human judges play in measuring performance, the measurement characteristics of global performance ratings, and the problems associated with simply adding items to existing global rating forms.

PMID:
 
25295965
 
DOI:
 
10.1097/ACM.0000000000000507


의학교육에서 시험부정행위의 10가지 현상수배범(Med Educ, 2016)

The 10 most wanted test cheaters in medical education

Kenneth Royal,1 Marian-Wells Hedgpeth,1 Jamie Mulkey2 & John Fremer2



도입

INTRODUCTION


학부의학교육에서의 부정 행위에 대한 연구는 의대에서 학생의 58 %가 속임수를 쓴다고 추정한다 .1 대학원 의학 교육의 연구에 따르면 '족보 복원'(기존 시험문항 및 답변에 대한 접근)의 사용은 매우 흔하게 발생하여 레지던트 문화의 일부가된다. 2,3 부정행위에 대한 자료수집이 보통 자기보고형이라는 점을 감안할 때 부정 행위에 대한 이러한 추정은 과소 평가 되어있을 가능성이 높다. 더욱이, 의학 교육 환경은 객관식 질문 항목이 대부분이고, 학생들은 잘 해야 한다는 압박이 있고, 과중한 학업량에 시달리고 있어서 부정 행위에 특히 취약합니다.

Research on cheating in under- graduate medical education esti- mates that up to 58% of studentshave cheated during medical school.1 Research from graduate medical education suggests the use of ‘examination recalls’ (ac- cess to previous examination items and answers) has become so prevalent that it is part of resi-dency culture.2,3 Most disturbing is that any estimates of cheating are likely to be underestimated given that most data are self- reported. Further, medical educa- tion environments are particularlyvulnerable to cheating as a result of the prevalent use of multiple- choice question items, the pres- sures students feel to do well, and the heavy workloads they face. 



Finn and Frone4는 부정 행위에 대한 주된 동기는 간단합니다 : 학생들은 더 높은 성적을 원합니다. Cizek5는 학생을위한 부담stake가 더 높을 때 부정 행위가 발생할 가능성이 더 높다고 말합니다. 의학 교육에서 일상적인 수업 평가조차도 학생에게 중등 및 중급 지분을 소지 할 수 있습니다. 개인이 불안감을 느낄 때 위협에 대한 인식이 증가하고, 결과적으로 더 큰 위협을 느낀다는 사실을 보여줍니다.

Finn and Frone4 note that the pri- mary motivation for cheating is simple: students want higher grades. Cizek5 notes that cheating is more likely to occur when the stakes are higher for students. In medical education, even routine classroom assessments may carry moderate to high stakes for stu- dents. Devel- oping research6 suggests that when individuals experience anxiety, their threat perception is increased, which, in turn, often results in their committing unethi- cal acts.


부정행위가 여러 가지 validity threat을 야기하기 때문에 의학 교육자들이 속임수를 억제하는 것이 중요합니다. 또한,부정 행위의 습관이 형성되면, 잠재적으로 그러한 습관은 직장에까지 확장될 수 있다.

It is critical that medical educators curb cheating because cheating poses a number of validity threats. Further, numer- ous researchers have discussed the habit-forming nature of cheating and its potential for extending to other areas, including the work- place8–10 and at home.11,12




부정행위자의 분류법

TAXONOMY FOR TEST CHEATERS


So what exactly can those responsible for maintaining a healthy academic environment do to curb cheating? We believe the answer is to educate faculty staff about the common ways


10가지 현상수배범

THE 10 MOST WANTED TEST CHEATERS IN MEDICAL EDUCATION



밀수꾼

The smuggler


This individual attempts to carry forbidden materials to an examina- tion setting. Smugglers try to bring in a wide variety of contraband, including cheat sheets, notes, for- mulas and electronic devices.


관광객

The tourist


This individual likes to take in all the sights, especially in examina- tion settings. Tourists often have trouble with wandering eyes and are a constant threat to examina- tion integrity.



요실금환자

The incontinent


This individual requires frequent restroom breaks during an exami- nation, often to access unautho- rised notes and materials. The incontinent knows that surveil- lance in restrooms is off-limits, so he or she uses these safe zones to review notes or locate answers. For example, the incontinent will con- ceal crib notes in rolls of bath- room tissue.


위장술사

The impersonator


This individual utilises a number of strategies to impersonate other students. Impersonators often present a false ID or credential to a proctor in order to take an exami- nation on another person’s behalf, forge the name of another student on a sign-in sheet, or share electronic log-in information with an absent student to ensure the absentee receives credit for partici- pation and performance.



해커

The hacker


This individual is an ever-present threat because anyone who can access an item bank or potentially change students’ grades poses a tremendous danger to examination security and integrity.


이야기꾼

The storyteller


종종 '시간 여행자'와 함께함.

This individual attempts to share information, often innocently, with others who have yet to take an examination. Storytellers often work closely with time travellers (individuals who exploit situations in which examina- tions are offered at different points in time).




항공교통관제사

The air traffic controller


수하물 취급자, 로그 파일럿.

This individual directs traffic on secret or private Facebook and social media sites on which unauthorised materials appear and inappropriate discussions about examinations occur. Such individuals work closely with baggage handlers, who ensure there is plenty of precious cargo to go around. They are particularly difficult to catch without the assistance of a rogue pilot (an individual who has visited the website) blowing a whistle.


협력가

The collaborator


It is often desirable for students to work in teams in educational set- tings, but this is not appropriate when we are evaluating individual competence.



공감자

The empathiser



Empathy is an important character- istic for any future medical profes- sional; however, these individuals take the sentiment too far. Empathisers (typically students froma previous year) often feel the pain of upcoming students and want to help make their lives easier by sharing examination items and other unauthorised materials.



로빈훗

Robin Hood


Sometimes well-intentioned instructors also participate in cheating. A Robin Hood is an instructor who provides unfair assistance to less competent stu- dents (often at the expense of others) in order to help inflate their scores.



의학교육자와 법집행기관의 유사성

PARALLELS BETWEEN MEDICAL EDUCATORS AND LAW ENFORCEMENT PERSONNEL


Parallels between law enforcement personnel and medical educators, particularly as they pertain to matters of prevention and detection, are presented in Table 1.





부정행위 방지

PREVENTION OF CHEATING


예방은 다음과 같은 행동을 포함한다 : 

  • (i) 기관의 시험 보안과 관련된 정책, 절차 및 관행을 수립하는 시험 보안 핸드북 개발, 

  • (ii) 시험 응시자 합의서 및 명예 훈령 개발: 평가에 있어 학생의 역할과 integrity에 대한 책임 명시 

  • (iii) 테스트 관리자, 직원 및 의사에 대한 교육 개발: 상황 발생시 경계하고 대응할 수 있도록한다. 

  • (iv) 직원 및 교수진에 대한 시험 보안 역할 및 책임

  • (v) psychometric의 모범 사례를 활용한다 .5, 17-19

Prevention includes such actions as: (i) devel- oping a test security handbook which establishes policies, proce- dures and practices around test security for the institution;13 (ii) developing test taker agree- ments13,14 and honour codes14,15 that specify the student’s role in completing assessments and his or her responsibility to the integrity of the programme; (iii) developing training for test administrators, fac- ulty staff and proctors16 so that they can be vigilant and respond to inci- dents should they occur; (iv) creat- ing test security roles and responsibilities for staff and faculty members,16 and (v) utilising psy- chometric best practices.5,17–19


부정행위 탐색

DETECTION OF CHEATING


때때로 예방만으로는 충분하지 않습니다. 따라서 테스트 보안 사고가 언제 발생하는지 감지하기위한 메커니즘이 마련되어 있어야합니다. 이러한 메커니즘에는 다음이 포함됩니다. 

  • (i) 사건이 발생했을 때 정보와 증거를 수집 할 수있는 강력한 감독 절차. 

  • (ii) 학생들이 동료들 사이에 부정 행위 또는 부당 행위를 신고하는 (비밀이 보장되는) 행위의 메커니즘; 

  • (iii) 속임수 또는 문항 절도를 나타내는 비정상적인 응답 패턴을 탐지하기위한 통계 분석 (데이터 포털) 5,20,21의 사용 및 

  • (iv) 실제 테스트 컨텐츠가 공유되거나 판매되는지를 탐지하는 웹 모니터링 22.

Sometimes, prevention is not enough. Therefore, mechanisms must be in place to detect when test security incidents happen. These mechanisms include: (i) strong proctoring procedures that enable the collection of information and evidence when incidents transpire; (ii) mechanisms for students to report (often confidentially) inci- dents of cheating or misconduct among their peers; (iii) the use of statistical analysis (data foren- sics)5,20,21 to detect unusual response patterns indicative of cheating or test theft, and (iv) web monitoring22 to detect if actual test content is being shared or sold.


기타 고려사항

OTHER CONSIDERATIONS


부정행위의 효과가 그 시험에만 localize되어 있다고 종종 생각하지만, 반드시 그러한 것은 아니다. 연구 결과에 따르면 비윤리적 행위를 하는 사람은 종종 시간이 지남에 따라 빈도와 심각성이 증가하는 행동 양식을 보인다. 또한 Royal과 Puffer7에 따르면 부정 행위는 수험생뿐만 아니라 항목의 난이도, 비교 가능한 형태의 시험 출제 능력, 미래의 수험생의 합격 기준에까지 영향을 미친다.


Although faculty staff often assume the effects of cheat- ing are localised, this is not neces- sarily true. Research suggests persons who commit ethical trans- gressions often develop patterns of behaviour that increase in fre- quency and severity over time.23 Further, Royal and Puffer7 have described how cheating may impact not only examinees, but also the calibration of item diffi- culty estimates, the ability to pro- duce comparable forms of an examination, and even the passing standard for future examinees.




 2016 Dec;50(12):1241-1244. doi: 10.1111/medu.13096.

The 10 most wanted test cheaters in medical education.

Author information

1
Department of Clinical Sciences, North Carolina State University, Raleigh, North Carolina, USA.
2
Caveon Test Security, Midvale, Utah, USA.

Abstract

This paper takes on a list of the 10 most wanted test cheaters comparable with 'most wanted' lists used by law enforcement agencies to bring attention to the issue of test cheating in medical education. The research provides an overview of test cheating in modern medical education, presents a typology of common cheaters, and provides guidelines for the prevention and detection of cheating.

PMID:
 
27873405
 
DOI:
 
10.1111/medu.13096


플렉스너에서 역량으로: CBME를 향한 여정의 성찰(Acad Med, 2013)

From Flexner to Competencies: Reflections on a Decade and the Journey Ahead

Carol L. Carraccio, MD, and Robert Englander, MD




2002 년 우리와 다른 사람들은 능력 기반의 의학 교육 (CBME)의 역사와 구현에 필요한 단계를 검토 한 "적응 패러다임 : 역량에서 역량으로"라는 제목의 학술 의학 저널을 발표했습니다. 우리는 광범위하게 채택 될 수있는 전환점에 도달하지 못한 과거의 이유에 대해 추측했다.

In 2002, we and others1 published a manuscript in Academic Medicine entitled “Shifting paradigms: From Flexner to competencies” that reviewed the history of competency-based medical education (CBME) and the steps needed for implementation. We speculated on the reasons for past failures to reach the tipping point that would allow widespread adoption.


지난 10 년간의 고찰 : 진보가 항상 쉬운 것은 아닙니다 ...

Reflections on the Past Decade: Progress Is Not Always Easy …


중요한 변화와 마찬가지로 대학원 의학 교육 (ACGME) 및 미국 의학 전문위원회 (ABMS)가 1999 년에 채택한 "ACGME 역량"에 대한 채택에도 큰 저항이 있었다.

As with any important change, great resistance emerged when the Accreditation Council for Graduate Medical Education (ACGME) and the American Board of Medical Specialties (ABMS) adopted in 1999 what have become known as “the ACGME competencies.”


... 그러나 우리는 천천히 그리고 꾸준한 진보를 보았습니다.

… But We Have Seen Slow and Steady Progress


반대자들에도 불구하고, 우리는 CBME 운동에서 느리고 꾸준한 진전을 보아왔다. CBME의 가혹한 행진에 기여한 많은 사람들을이 있다.

(1) 도입을 요구하는 규제 기관의 힘  

(2) 국제적인 역량 프레임워크의 확장도입

(3) 의사의 책임 성과 진료의 질에 대한 대중의 격렬한 항의

Despite the dissenters, we have seen slow and steady progress in the CBME movement.2 We hypothesize a number of contributors to the relentless march of CBME: (1) the power of regulatory bodies in requiring its implementation, (2) the expanding adoption of the competency framework worldwide, and (3) the outcry from the public about physician accountability and quality of care.


미국에서 CBME를 채택한 배경은 ACGME가 공인 된 모든 레지던트 및 펠로우 교육 프로그램의 역량을 가르치고 평가하기위한 요구 사항을 개발하고 집행 한 것이 었습니다. ACGME의 메시지는 ABMS에 의해 강화되었으며, 각 학회는 역량 프레임 워크를 기반으로하는 구축 된 인증 유지 관리 (MOC) 프로그램에 diplomates를 참여시켜야 했을 뿐만 아니라, 초기 인증을 위해 6 개 영역에서 역량을 문서화해야했습니다.

The sentinel events behind the adoption of CBME in the United States have been the ACGME’s development and enforcement of their requirements for teaching and assessing the competencies for all accredited residency and fellowship training programs. Their message was reinforced by the ABMS, which led to member boards requiring documentation of competence in the six domains for initial certification as well as requiring diplomates to engage in maintenance of certification (MOC) programs built on the competency framework.3


학부 의학 교육 (UME) 수준에서 LCME는 다음을 진술 한 표준 ED-1-A를 채택했습니다.

At the undergraduate medical education (UME) level, the Liaison Committee on Medical Education adopted standard ED-1-A that states:


의학 교육 프로그램의 목표는 전문직과 일반 대중이 의사에게 기대하는 역량의 개발에 대한 학생의 발달상황을 평가할 수있는 결과 중심 용어로 명시되어야합니다 .4

The objectives of a medical education program must be stated in outcome-based terms that allow assessment of student progress in developing the competencies that the profession and the public expect of a physician.4


그러나 UME의 CBME 로의 전환은 적어도 부분적으로는 느렸는데, 의과 대학 졸업자에게 요구되는 특정 교육 결과 또는 역량의 표준화가 부재했기 때문이다.

However, the shift to CBME in UME has been slow, at least in part because of the absence of standardization of the specific educational outcomes, or competencies, required of the medical school graduate.


CBME를 중심으로 한 국제적인 노력 또한 확산되어 미국의 의학 교육 시스템의 "전환점"이 되었다. 스코틀랜드 의사의 학습 결과 5와 CanMEDS 역할 6 (의료 전문가, 커뮤니케이터, 공동 작업자, 관리자, 보건 옹호자, 학자 및 전문가)와 같은 게시 된 프레임 워크가 계속 발전했습니다. 2009 년 캐나다 메사추세츠 주립대 학교의 제이슨 프랭크 (Jason Frank)가 이끄는 캐나다 왕립 의학 전문 대학 (Royal College of Physicians and Surgeons of College)은 전 세계의 사상가들을 모아 함께 정의와 기본 원칙에 관한 합의를 도출하는 "이론 - 실천 합의 회의"를 소집했습니다. CBME.7

International efforts around CBME have also proliferated, helping drive us toward the “tipping point” in the U.S. medical education system. Published frameworks such as the Scottish doctor learning outcomes5 and the CanMEDS roles6 (medical expert, communicator, collaborator, manager, health advocate, scholar, and professional) took hold and continue to evolve. In 2009, the Royal College of Physicians and Surgeons of Canada, led by Jason Frank, MD, convened an international “theory- to-practice consensus conference” to bring thought leaders from around the world together to build consensus regarding definitions and foundational principles of CBME.7


아마도 CBME의 채택을위한 가장 강력한 촉매제는 현재의 건강 관리 시스템과 그 종사자들의 public indictment였다. IOM의 간행물인 Err Is Human에는 환자 안전에 대한 취약성과 대중의 신뢰에 대한 우려가 나타났습니다. 결과적으로 치료의 질을 강조하면서, IOM은 안전성, 효과 성, 효율성, 적시성, 환자 중심, 평등성을 요구하는 품질 지표를 발표하였다. 이 지표들은 개별 의사 뿐만 아니라 보건 의료 시스템의 성과의 gap을 강조했습니다.

Perhaps the most compelling catalyst for adoption of CBME has been the public indictment of the current health care system and its practitioners. The seminal Institute of Medicine (IOM) publication To Err Is Human—Building a Safer Health Care System9 exposed a vulnerability in patient safety and concern about a breach of the public trust. The resultant focus on the quality of care led the IOM to publish its quality indicators,10 which demand that care be safe, effective, efficient, timely, patient-centered, and equitable. These indicators underscored the gaps in the performance of both individual practitioners and the heath care system.


자율성을 가지는 전문직에게 부여 된 특권은 대중의 필요와 공공의 신뢰를 다루는 책임과 일치합니다. CBME의 특징은 인구와 의료 시스템의 건강 요구에 의해 주도된다는 것입니다 .11

As a self-regulating profession, the privilege bestowed is matched by the responsibility to address the public needs and the public trust. A hallmark of CBME is that it is driven by the health needs of populations and the health systems that serve those populations.11



현재 의학교육의 상황

Setting the Stage for the Current State of Medical Education



1970 년대와 1980 년대에 CBME로 전환하려는 시도에 대한 우리의 사전 검토는 다음의 네 단계를 제시하였다 (1) 역량 확인, (2) 역량 구성 요소와 성과 수준의 결정, (3) 역량 평가, (4) 프로세스의 전반적인 평가. 이 검토를 토대로, 우리는 지금까지 성공하지 못한 이유가 3 단계 인 역량 평가를 적절하게 다루지 못하는 것이라고 생각했습니다. 이것이 운동의 회복을 멈추지는 않았지만 여전히 중요한 도전 과제입니다.

Our prior review of the literature1 on attempts to shift to CBME in the 1970s and 1980s suggested a four-step implementation process: (1) competency identification, (2) determination of competency components and performance levels, (3) competency assessment, and (4) overall evaluation of the process. On the basis of this review, we speculated that the reason for the lack of previous success was the inability to adequately address step 3, competency assessment. Although this has not stopped the rejuvenation of the movement, it remains the major challenge.



역량을 의미있게 평가하는 도구를 개발하려는 노력은 행동 체크리스트를 사용하여 환원주의적 접근 방식을 취했다. 체크리스트는 과제 중심 활동에서 단계를 성취하는 능력을 결정하는 중요한 역할을하지만, 연수생이 환자에게 안전하고 효과적인 치료를 제공하기 위해 필요한 행동을 통합적으로 평가하기에는 부족하다. 이러한 걸림돌은 CBME가 그저 유행이라고 믿는 사람들의 입장을 재확인했다. 왜냐하면 평가로부터 CBME가 더 나은 의사를 만들어낸다는 대규모 근거가 나오지 않았기 때문이다.

The struggle to develop tools to meaningfully assess competencies resulted in a reductionist approach, using behavioral checklists.12 Although checklists serve an important role in determining one’s ability to accomplish steps in task-oriented activities, they fall short of assessing whether a trainee is capable of integrating the requisite behaviors to deliver safe and effective care to patients. This stumbling block has reaffirmed the position of those who believe that CBME is a fad, because assessment has not yielded the large-scale proof that they are demanding—namely, that CBME produces better doctors.



Lessons Learned


10 년 동안 몇 가지 근본적인 교훈이 나타났습니다.

Over the course of the decade, some fundamental lessons have emerged.


(1) 언어 표준화는 중요하지만 아직 완료되지는 않았다.

(2) 학습자에 대한 guided 직접 관찰은 능력을보다 정확하게 평가할 수있는 큰 잠재력을 가지고 있다.

(3) 의미있는 평가를 위해서는 의미있는 척도에 초점을 맞춘 연수생 성과에 대한 panoramic 전망이 필요하다.

(4) 결과는 실제로 교과 과정을 drive한다.

(5) CBME는 학습자의 전문 지식과 숙달에 대한 궤적에 관한 것이며, 성찰은 전문성 개발의 중요한 구성 요소이다.

(6) 우리는 학습에서 학습자의 역할을 표면적으로만 다루었다.

(7) Competent한 개인을 개발하려면 Competent한 시스템에서 훈련해야합니다.


(1) Standardizing language is critical but not yet complete, 

(2) guided direct observation of learners has great potential for more accurately assessing competence, 

(3) meaningful assessment requires a panoramic view of trainee performance that focuses on meaningful measures, 

(4) outcomes really do drive curriculum, 

(5) CBME is about learners on a trajectory to expertise and mastery, and reflection is a critical component of the development of expertise, 

(6) we have only scratched the surface of exploiting the role of the learner in learning, and 

(7) developing competent individuals requires that they train in competent care delivery systems.



언어의 표준화

Standardizing language


언어의 표준화는 적응적인 변화에 결정적 요소이다.

Standardization of language is critical to adaptive change.


ACGME가 능력의 여섯 가지 영역을 개발하는 것과 동시에 미국 의과 대학 협회 (Association of American Medical Colleges, AAMC)는 의학 학교 목표 프로젝트에서 지식, 숙련, 이타적인, 의무 등 네 가지 영역의 능력을 개발했습니다 .13 둘은 수렴적이 될 수 있었지만, 발산적 언어는 공유된 정신 모델의 형성을 가로막았으며, UME와 GME 고립을 더 심화시키하는 역할을 했을 수도 있습니다. 각각의 영역에 고립된 교사들은 가르치고 평가 한 내용에 대한 서로 다른 이미지를 가지고있었습니다.

At the same time that the ACGME was developing the six domains of competence, the Association of American Medical Colleges (AAMC) developed four domains of competence in the Medical School Objectives Project: knowledgeable, skillful, altruistic, and dutiful.13 Although the essences of the two may have been convergent, the divergent language prohibited formation of a shared mental model and may have served to further separate the UME and GME silos, as teachers within those two silos had different images of what they were teaching and assessing.


교육 대상 지역의 목표 도메인 주변에서 언어가 다른 것 외에도 역량 및 CBME의 특정 용어에 대한 공통된 정의로 인해 어려움을 겪고 있습니다. 페르난데스와 동료 연구원은 문헌조사를 통해 역량이 "지식, 기술 및 기타 구성 요소"로 구성되어 있지만 구성 요소에 대한 합의를 도출 할 수 없다는 합의를 이루었다.

In addition to the divergence of language around the targeted domains of compe- tence, the education community has struggled with the common definitions of the specific terminology of competence and CBME. Fernandez and colleagues17 found agreement through a search of the literature that competence is composed of “knowledge, skills and other components,” but they were unable to uncover consensus on the components.


Frank et al 18은 광범위한 문헌 검색과 주제 추출을 기반으로 다음을 추천했습니다. 

We are perhaps closer to a definition of CBME, as Frank et al18 have recommended the following on the basis of an extensive literature search and extraction of themes:


역량 기반 교육 (Competency-Based Education, CBE)은 의사가 사회와 환자 요구 분석을 통해 얻은 역량을 기반으로 졸업역량을 기르기 위해 근본적으로 지향하는 실습을 준비하는 접근법입니다. 시간 중심 교육을 덜 강조하고 책임감, 유연성 및 학습자 중심성을 약속합니다.

Competency-based education (CBE) is an approach to preparing physicians for practice that is fundamentally oriented to graduate outcome abilities and organized around competencies derived from an analysis of societal and patient needs. It de-emphasizes time-based training and promises greater accountability, flexibility, and learner-centredness.





직접 관찰

Direct observation


우리가 직접 관찰을 통해 학습자를 평가하려고 시도했을 때 두 가지 중요한 점이 나타납니다. 
There are two crucial points that have emerged as we have attempted to assess learners through direct observation. 

첫 번째는 학습자가 할 수있는 것에 대한 우리의 선입견이 기대와 성과 사이에 상당한 격차를 가져올 수 있다는 것입니다. Joorabchi and Devries (19)는 객관적으로 구조화 된 임상 시험을 개발하고 교수진과 협력하여 매 학년도에 최소 레지던트 역량을 개발했습니다. 그 결과, 첫 해의 59 %, 2 학년의 45 %, 3 년차 레지던트의 4 %만이 미리 정해진 기준을 충족한다는 결과가 나타났습니다.

The first is that our preconceived notion of what learners are capable of doing may result in a significant gap between expectations and performance. Joorabchi and Devries,19 for example, developed an objective structured clinical examination and worked with faculty members to develop minimum pass levels for residents in each year of training. Their results showed that only 59% of first-year, 45% of second-year, and 4% of third-year residents met the predetermined standard.


두 번째 요점은 "역량 평가에서 가장 큰 문제는 적절한 평가 도구의 부족이 아니라 오히려 비 숙련 교수가 사용할 수있는 일관성없는 사용 및 해석"이라고 Green and Holmboe (20)가 잘 표현한 것입니다. Kogan et al, 21은 학습자의 교수 평가에 영향을 미치는 요소에 대한 질적 연구에서 기대와 비교 표준의 폭 넓은 변동성을 보여줍니다. Holmboe22의 연구는 교수진이 학습자 성과에 대한 공통된 정신 모델을 개발할 수 있도록 3 단계 과정을 개설합니다 : 
    • (1) 일반적인 과정 (관찰을 돕기위한 준비, 연습 및 도구)을 개괄하는 행동 관찰 교육, 
    • (2) 교수진이 평가할 구체적인 행동과 평가 기준을 이해할 수 있도록 성과 차원 교육 
    • (3) 교수 그룹이 주어진 수준을 구성하는 행동에 대해 의견 일치를 이끄는 기준 프레임 워크 의 성능.

The second point is well articulated by Green and Holmboe,20 who say that “the biggest problem in evaluating competencies is … not the lack of adequate assessment instruments but, rather, the inconsistent use and interpretation of those available by unskilled faculty.” Kogan et al,21 in their qualitative study of the elements that influence faculty ratings of learners, demonstrate the wide variability in expectations and comparison standards. The work of Holmboe22 in direct observation outlines a three-step process to enable faculty to develop a shared mental model of learner performance: 

    • (1) behavioral observation training that outlines the general process (preparation, practice, and tools to aid observation), 

    • (2) performance dimension training to ensure that faculty understand the specific behaviors they are to assess and the criteria for assessing them, and 

    • (3) frame-of-reference training in which a group of faculty come to consensus about what behaviors constitute a given level of performance.



퍼포먼스에 대한 의미있는 척도

Meaningful measures of performance


그러나 의미있는 척도를 향한 진전은 여전히 ​​CBME의 아킬레스 건으로 남아 있습니다. 역량 평가의 복잡성은 앞서 언급한 환원주의적 접근 방식으로 이끌었다. 교육자들은 직접 관찰 할 수있는 작고 작은 조각으로 나누어 체크리스트를 사용하여 평가했습니다. 본질적으로 복잡한 무언가를 간단하게 만들려고 할 때 우리의 도구는 학습자가 간단한 작업을 수행 할 수 있는지 여부를 판단 할 수는 있었지만 환자를 돌보는 작업을 통합 할 수 있는지 여부는 판단 할 수 없었습니다. Van der Vleuten과 Schuwirth는 이러한 접근의 주된 함정을 강조하면서 "원자화는 단순화로 이어질 수 있고 타당성을 위협 할 수 있으므로 피해야한다"고 말했습니다.

However, progress toward those meaningful measures remains the Achilles heel of CBME. The complexity of assessing the competencies initially led to the reductionist approach noted above. Educators broke them down into smaller and smaller fragments of behaviors that could be directly observed, and assessed them using a checklist. In trying to make something simple that is inherently complex, our tools allowed us to judge whether learners could perform simple tasks but not whether they were capable of integrating those tasks to care for patients. Van der Vleuten and Schuwirth12 highlight the major pitfall of this approach, saying that “[a] tomisation may lead to trivialization and may threaten validity and, therefore, should be avoided.”


이를 위해서는 우리는 정량적평가뿐만 아니라 정성적평가도 받아 들여야하는데, 이 때 우리가 받아들일 수 있는 수준의 정신측정학적 특성을 가진 견고한 도구를 개발할 수 있는지에 대한 우려가 복합적으로 나타난다.

This will require us to accept qualitative as well as quantitative assessments, which compounds concerns about our ability to develop robust tools with acceptable psychometric properties.


Van der Vleuten24는 기존의 정신측정학적 특성을 뛰어 넘는 평가 도구의 가치를 판단하기위한 "실용 모형"을 제안했습니다. 그는 도구의 유용성은 신뢰성, 유효성, 비용, 수용성 및 교육적 영향의 산물이라고 제안합니다. 

Van der Vleuten24 has proposed a “utility model” for judging the value of assessment tools that reaches beyond the traditional psychometric properties. He suggests that the utility of a tool is the product of its reliability, validity, cost, acceptability, and educational impact. 


예를 들어, 신뢰성은 도구에 고유한 특성이 아니며, 객관성과 동일하지 않습니다. 실제로 subjective tool도 신뢰성이 높을 수 있습니다 .12 번거롭고 값 비싼 도구가 사용되지 않아 불충분 한 샘플링을 통해 신뢰성에 부정적인 영향을 미칩니다.

For example, reliability is not inherent to a tool, nor does it equate with objectivity; in fact, subjective tools can be reliable.12 Cumbersome and costly tools will not be used and thus negatively influence reliability through insufficient sampling.


그러나 도구의 수용가능성은 특히 CBME 로의 전환으로 인해 평가할 기술 영역이 확장되면서 WBA에 교수진이 동의하는지에 중요한 영향을 미칩니다. 실제 환경에서 평가 도구의 구현을 연구하면 (도구를 사용할 교수자들이 받아들일 것은 무엇이고 그렇지 않은 것은 무엇인가) 따라서 신뢰성과 타당성을 입증하는 것만 큼 중요합니다.

Importantly, however, acceptability of a tool has a critical impact on faculty buy-in of workplace-based assessment, particularly as the shift to CBME has expanded the domains of skills to be assessed. Studying the implementation of assessment tools in real-world settings— what works and what doesn’t for the faculty using the tool—thus becomes as critical as demonstrating its reliability and validity.


마지막으로, 우리는 평가 도구의 가치에 대한 교육적 영향의 중요성을 강조하고자합니다. 신뢰성이나 타당성이 약간 희생 될 수 있지만, impact가 큰 도구는 학습에 더 많은 영향을 줄 수 있습니다. 포트폴리오는 신뢰할 수있는 평가가 어렵 기 때문에 많은 비판을 받았습니다. 그러나 이러한 우려를 해소 할 수있는 방법이 있으며, 신뢰성이 낮아지더라도, 오히려 학습자가 학습과 평가에 적극적으로 참여하는 교육적 영향이 높아질 수 있다고 주장 할 수 있습니다 .26,27 Friedman Ben-David, 28 " 평가 운동 [자체]은 가르 칠 수있는 순간이됩니다. "

Finally, we want to underscore the importance of the educational impact to the value of an assessment tool. Tools that may sacrifice a bit on reliability or validity but score high on impact may do more to advance learning. Portfolios have received much criticism because of the difficulty of reliably assessing them. There are ways to address the concerns, however, and one could argue that what is lost in reliability is gained in the educational impact of actively engaging learners in their learning and assessment.26,27 In the words of Friedman Ben-David,28 “The assessment exercise [itself] becomes the teachable moment.”


요약하면, CBME에서의 평가에 대한 도전은 현실이지만, 우리는

(1) 자주 샘플링하여 신뢰성 향상,

(2) 일상 업무에 대한 평가를 구축하고 구현의 문제를 연구함으로써 비용을 줄이고 수용 가능성을 높이는 것,

(3) 평가를 실제 임상 환경으로 가져 와서 측정 한 것을 실제로 하는 것과 일치시킴으로써 타당성을 높인다.

(4) 평가를 학습자와 평가자를 위한 "팀 스포츠"로 만들어 impact를 높인다.

In summary, the challenges to assessment in CBME are real, but we can address them by 

(1) improving reliability through frequent sampling, 

(2) reducing cost and increasing acceptability by building assessment into our daily work and studying the issues in implementation, 

(3) providing validity by bringing those assessments to the authentic clinical environment and aligning what we measure with what we do, and 

(4) adding impact by making assessment a “team sport” for learners and their evaluators. 



예를 들어 스마트 폰 응용 프로그램을 사용하는 호스피탈리스트가 학습자의 평가를 담당하는 교수팀은 물론 학습자 성과를 실시간으로 직접 평가할 수 있다고 상상해보십시오.

Imagine, for example, a hospitalist with a smartphone application that allows direct and real-time assessment of learner performance that is electronically delivered to that learner as well as to the team of faculty responsible for that learner’s assessment in real time.


성과가 교육과정을 유도한다.

Outcomes drive curriculum


지난 10 년 동안 커리큘럼을 주도할 성과를 정의하는 것이 중요하다는 사실이 강조되었습니다. 한 예로 UME 및 GME 수준에서의 품질 및 안전 교육 과정에서의 역량의 결과로서의 PBLI의 묘사와 MCC에 제 2 부 및 제 4 부의 추가가있다.

The past decade has underscored the importance of defining the outcomes that should drive curriculum. One example is the delineation of PBLI as a domain of competence and the resultant explosion in quality and safety curricula at the UME and GME levels and the addition of Parts 2 and 4 to MOC.3



전문성의 궁극의 목표이며, 성찰적 실천이 필요하다.

Expertise is the ultimate goal of CBME and requires reflective practice


역설적으로 CBME의 목표는 반드시 "역량"그 자체가 아니라 전문 지식이나 숙달에 대한 궤적에 대한 지속적인 추구이며, 역량은 일정 수준의 경험에 대한 기대되는 성과로 정의됩니다.

Paradoxically, the goal of CBME is not necessarily “competence” per se but, rather, the continual pursuit on a trajectory toward expertise or mastery, with competence defined as demonstrating the expected performance for a given level of experience.


개선을 위한 학습에 대한 지속적인 투자는 Epstein31에서 "주의 깊은 연습"으로, Ericsson32는 "고의적 인 연습"으로 설명되었습니다. Reflect in action과 Reflect on action이 없으면 "경험만 갖춘 비 전문가"가 될 것이다. 사람은 자신이 하는 일의 결과에 대한 지속적인 분석을 통해서만 진정한 전문가가 될 수 있습니다.

The continual investment in learning for the sake of improvement has been described by Epstein31 as “mindful practice” and Ericsson32 as “deliberate practice.” If one does not engage in reflection for, in, and on practice, one will become what Bereiter and Scardemalia33 describe as an “experienced non-expert.” Only through continuous analysis of what one does and what happens as a result of the doing can one become a true expert.


학습에서 학습자의 역할을 강조

Exploiting the role of learners in learning


(학습자가) 학습에 능동적으로 참여하는 것은 CBME의 기본 원칙입니다.

Active engagement in learning is a foundational principle of CBME.1


자기 주도 학습의 구성은 교육의 패러다임으로 많은 관심과 논쟁을 불러 일으켰다. 학생이 자기주도적이 될 수 있는지에 대한 많은 논쟁은 (자기주도성의) 기본 요소인 외부 입력에 대한 Knowles의 요구를 무시하고 원래 정의를 좁게 해석한 결과입니다. 외부 입력이 없다면 자신의 학습을 지도 할 수 있는 능력은, 사람이 정확하게 자기 평가를 할 수 있는 능력에 결함이 있는 것과 마찬가지로, 형편 없다.

The construct of self-directed learning has received much attention and debate as the paradigm of education shifts. Much of the debate about whether one can be self-directed results from a narrow interpretation of Knowles’38 original definition, ignoring his call for external input as a fundamental element. Without external input, our capability to direct our own learning is poor as a result of our flawed ability to accurately self-assess.39


학습 이론 자체를 검토하는 것이 우리의 범위를 넘어서는 것이지만, 자기결정이론은 CBME와의 관련성 때문에 간략한 언급을해야합니다. 이 이론은 능력, 자율성, 관련성에 대한 타고난 필요가 학습 욕구를 몰고 간다는 것을 말해줍니다 .35,41이 소망은 교수진과 학습 환경에 의해 점화되거나 좌절 될 수 있습니다. 우리는 배움의 욕구를 불어 넣어 능력, 자율성 및 관련성에 대한 타고난 필요성을 각각

(1) 능력: 학습 역량을 장려하고 역량을 향상시키는 형성적인 피드백을 제공하기 위하여 (간단한 것에서 복잡한 것으로) 학습 활동을 배열하는 것 

(2) 자율성: 학습자의 능력의 정도에 따라 감독의 정도를 조정하고, 안전한 치료 보장과 학습자의 전문성 개발 장려라는 이중 역할을 수행하며,

(3) 관련성: 학습자와 환자, 교수 및 전문 직업인 간의 관계 구축.


Although it is beyond our scope to review learning theories per se, self- determination theory warrants brief mention because of its relevance to CBME. This theory speaks to the innate need for competence, autonomy, and relatedness as driving the desire to learn.35,41 This desire can be kindled or thwarted by faculty and the learning environment. We kindle the desire to learn, addressing the innate need for competence, autonomy, and relatedness, respectively, by 

(1) sequencing learning activities (simple to complex) to encourage learning capacity and then providing formative feedback that enhances competence, 

(2) adjusting the degree of supervision to align with the degree of learner competence, serving the dual role of ensuring safe care and encouraging learners’ professional development, and 

(3) building relationships between learners and their patients, faculty, and interprofessional team members.



사람이 가진 관련성에 대한 내재적 요구는 두 번 강조해도 지나치지 않다. 최근의 증거는 전문직 정체성 형성시에 피드백을 받아들이고 통합하는 것이 giver에 대한 receiver의 인식에 달려 있음을 시사한다. 42,43 이는 의대생의 임상실습과 레지던트 교육 프로그램의 전형적인 블록 구조로 인한 관계 분열에 의문을 제기한다. 장기간의 경험을 제공하는 훈련 모델은 학생들이 교수진과 환자들과 1 년의 의미있는 관계를 가질 때 의과 대학 3 학년 동안 발생하는 전형적인 전문직업성의 침식erosion of professionalism이 현저히 감소됨을 보여줍니다.

The innate need for relatedness cannot be overemphasized. Recent evidence suggests that acceptance and incorporation of feedback are dependent on the receiver’s perceptions of the giver’s investment in their professional formation,42,43 calling into question the fragmentation of relationships resulting from the typical block structure of medical school clerkships and residency training programs.44 Training models that provide longitudinal experiences have demonstrated that the typical erosion in professionalism that occurs during the third year of medical school is significantly reduced when students have yearlong meaningful relationships with faculty and patients.45


유능한 시스템이 유능한 의사의 전제조건이다.

Competent systems are a prerequisite for training competent practitioners


ACGME 역량은 context-independent하지만, 역량 기반 교육의 프레임 워크는 교육을받는 임상 마이크로 시스템의 중요성을 포함하여 context의 역할을 강조합니다. Asch 등은 1992 년과 2007 년 사이에 New York과 Florida에서 4,906,169 건의 배달을 후 향적으로 분석했다. 107 건의 미국 교육 프로그램을 대표하는 총 4,124 명의 산과 전문의가 배달을 수행했다. 모성 합병증에 대한 9 가지 측정법을 사용하여, 주요 모성 합병증에 있어서, 하위 20% 프로그램에서 수련을 받은 산과 전문의의 합병증 비율이 상위 20% 프로그램에서 수련을 받은 전문의보다 높다는 것을 발견했습니다.

Although the ACGME competencies are context-independent, the framework of competency-based education underscores the critical role that context plays, including the importance of the clinical microsystem in which one trains. In a seminal study, Asch et al46 retrospectively analyzed the 4,906,169 deliveries in New York and Florida between the years 1992 and 2007. A total of 4,124 obstetricians, representing 107 U.S. training programs, performed the deliveries. Using nine measures of maternal complications, they found that obstetricians from training programs that were in the bottom quintile for risk-standardized major maternal complications had an adjusted complication rate that was one-third higher than those from programs in the top quintile.


이 연구의 결과는 수련을 받는 임상 환경의 "능력"이 연수생의 능력에 영향을 미치고 전문직 형성의 중요한 단계에서 각인에 비유 될 수 있음을 분명히 보여줍니다. Asch와 동료들의 연구는 부적절한 임상 환경이 가장 유능한 역량 기반 교육 시스템에서도 연수생의 전문성 개발을 저해 할 수 있음을 시사합니다.

The outcome of this work clearly demonstrates that the “competence” of the clinical environment in which one trains affects the competence of the trainee and can be likened to imprinting during a critical phase of professional formation. Asch and colleagues’ work suggests that an inadequate clinical environment can thwart the professional development of its trainees even in the most well-fashioned competency-based education systems.



최근의 발전: 마일스톤과 EPA

Recent Advances: The Milestone Project and Entrustable Professional Activities


2009 년 ACGME는 마일스톤 프로젝트를 시작하기 위해 ABMS 회원위원회와 다시 협조했습니다 .47 모든 전문 분야는 2013 년 7 월부터 단계적으로 시작된 "차기 인증 시스템"의 출현으로 연수생의 마일스톤 평가를 시작해야합니다 .48

In 2009, the ACGME again partnered with member boards of the ABMS in initiating the Milestone Project47 All specialties will be required to begin assessing milestones of trainees with the advent of “the next accreditation system,” which began its phase-in effective July 2013.48



우리는 ACGME 도메인 내의 각 역량에 대한 일련의 이정표를 만들었습니다. 최종 제품은 특정 역량을 위해 의학 실습생을 통해 의대생 진입 발달 연속체 전반에 걸친 각 성과 수준 또는 중요 시점에서의 행동을 설명하는 일련의 간략한 서술입니다. 이정표의 가치는

(1) 교수 및 학습자에게 이해할 수 있는 관찰 가능한 행동 측면에서 역량에 대한 설명,

(2) 그들이 훈련생에게 제공하는 학습 로드맵

(3) 형성 피드백과 평가를위한 토대를 만드는 구체적인 내용.

We created a series of milestones for each competency within the ACGME domains, The end product is a series of brief narratives describing behaviors at each performance level or milestone, across the developmental continuum from entering medical student through expert practitioner, for a given competency.49 The value of milestones is related to 

(1) the descriptions of the competencies in terms of observable behaviors that make sense to faculty and learners, 

(2) the learning road map they provide to trainees, and 

(3) the specific content that creates a foundation for formative feedback and assessment.



그러나 마일스톤은 도메인 간 역량의 통합을 다루지 않는다. 아마도 Regehr가 가장 잘 묘사했다.

What the milestones do not address is the integration of competencies across domains, which is requisite for unsupervised care delivery, Perhaps Regehr et al50 state the challenge best:



... 평가 개선에 대한 해결책은 교수진이 관찰하고 문서화하거나 기존 도구 및 척도를 사소하게 수정하는 것이 아닙니다. 오히려 ... 임상 수행능력 측정법을 개선하려면 우리가 사용하고 있는 도구의 구조를 근본적으로 다시 생각해야 하며, 교수가 일상적으로 레지던트의 임상적 능력을 기능적으로 개념화하는 방식을 확실하게 나타낼 수 있도록하는 데 더 많은 이익을 줄 수 있습니다 기초. 현재 필요한 것은 교수진의 주관적 표현이 레지던트의 성과에 대해 어떤 형태의 문서로 원활하게 변환 될 수있게하는 방법의 개발입니다.


… the solution to improving evaluations may not lie in training faculty to observe and document better or to make minor modifications to existing tools and scales. Rather … efforts at improving clinical performance measures might more profitably focus on fundamentally rethinking the structure of the tools we are using, to ensure that the instruments authentically represent the way in which faculty functionally conceptualize their residents’ clinical competence on a day-to-day basis. What is needed now is the development of methods that will allow faculty members’ subjective representations of their residents’ performance to be smoothly translated into some form of documentation.


마일스톤의 사용은 전문가의 판단을 알리기 위해 성능의 공유 정신 모델에 대한 scaffolding을 제공합니다. 마찬가지로, 마일스톤을 의미있는 클러스터에 넣고 임상 적 맥락에 포함시킬 때만, 신뢰할 수있는 전문 활동 (EPA)에서 가능한 것처럼, 53 학습자 평가에 대한 holistic한 관점을 제공 할 수 있다.

the use of milestones provides the scaffolding for a shared mental model of performance to inform expert judgment. Similarly, only when the milestones are put into meaningful clusters and embedded in a clinical context, as is possible with entrustable professional activities (EPAs),53 can they provide a holistic perspective on learner assessment.


Cate와 Scheele에 의해 소개 된 EPAs는 학습자의 holistic 평가에서 임상적 맥락의 중요성을 다루는 하나의 잠재적 인 해결책을 제공한다. EPA는 직업을 정의하고 임상 적 맥락에서 상황에 독립적 인 역량과 이정표를 삽입하는 일상적인 작업 단위이다. 소아과에서의 EPA의 예는 "신생아를 돌보는"일 것이다. 이 경우 위임은 감독없이 효과적인 관행으로 정의됩니다. 표 1에 제시된 바와 같이 일단 매핑이 완료되면 역량 (행으로 표시)과 EPA (열로 표시)를 나란히 배치하여 매트릭스를 작성하면 학습자에 대한 의미있는 평가에 대한 우리의 생각을 향상시키는 데 도움이됩니다.

EPAs, introduced by ten Cate and Scheele,53 provide one potential solution to addressing the importance of clinical context to a holistic assessment of learners. EPAs are the routine units of work that define a profession and thus embed the context-independent competencies and their milestones in a clinical context.53,54 An example EPA in pediatrics would be “care for the well newborn,” which would require an integration of competencies across the ACGME domains.54,55 In this case, entrustment is defined as effective practice without supervision. As presented in Table 1, once mapping is completed, creating a matrix by juxtaposing the competencies (represented by the rows) and the EPAs (represented by the columns) helps to advance our thinking about meaningful assessment of learners.


EPA는 도메인 간 역량을 통합하여 치료를 제공함으로써 학습 목표를 정교하게 평가할 수 있도록 학습자에 대한 전체적인 시각을 제공합니다. 역량 기반 평가에는 두 가지 관점에서 학습자를 보는 것이 중요합니다. 우리는 학습자가 지속적으로 향상 될 수 있도록 통합 된 성과 (EPA)와 성과 곤란의 근본 원인 (역량 및 해당 이정표)을 진단 할 수 있어야합니다.

The EPAs provide a holistic view of learners as they integrate competencies across domains to deliver care and thus complement the granular lens of milestones assessment. Seeing a learner from both vantage points is critical to competency-based assessment. We must be able to both see integrated performance (the EPA) and diagnose the underlying root cause of performance difficulties (the competencies and their respective milestones) to help our learners continually improve.



지평

The Horizon


CBME가 널리 퍼져서 보급되면 무엇이 다를 것인가?

What is and will be different this time in the widespread adoption of CBME?


CBME가 널리 보급 될 가능성을 높이기 위해 여러 가지 요인들이 작용합니다. 

  • 첫째, 인정 기관과 인증 기관, 혁신가와 얼리 어답터 인 지도자, 건강 관리의 개선 된 품질에 대한 대중의 요구가 이미 CBME의 20 세기 진보를 넘어 우리를 회귀 시켰습니다. 

  • 둘째, 우리는 역량 및 CBME가 GME를 넘어 UME 및 MOC 분야로 확산되고 있음을 널리 알 수 있습니다.

a number of factors serve to improve the likelihood that CBME is on the verge of widespread adoption. First, regulators from accrediting and certifying bodies, leaders that are innovators and early adopters, and public demand for improved quality in health care have already led us far beyond the 20th-century advances in CBME and will not allow us to regress. Second, we are seeing the widespread support of the competencies and CBME spreading beyond GME to the UME and MOC arenas. 



우리는 전통적인 사일로를 무너 뜨리기 시작하여 커리큘럼을 전달할 때 효능과 효율성을 모두 해결할 수있었습니다. 


  • 셋째, 의사의 바람직한 성과에 대한 더 나은 합의를 통해 GME, UME 및 대학 수준에서 학습자가 원하는 역량을보다 잘 묘사 할 수있는 역방향 비전 프로세스를 시작했습니다.

We have begun to break down the traditional silos, allowing us to address both efficacy and efficiency in delivering curricula. Third, through better agreement on the desired outcomes of the practicing physician, we have begun a process of backwards visioning to better delineate the desired competencies of the learner at the GME, UME, and even college levels.


성공적인 CBME는 어떤 모습일까?

What will successful adoption of CBME look like?


First, we will have standardized the language and the desired outcomes so that we share a clear mental model of the trajectory to becoming the “expert” physician. Training will occur in competent institutions that have high-quality outcomes and the capacity to train competent learners who will continually work to improve the care they deliver to patients. Focused on the desired outcomes of the practicing physician, we will backwards-vision the most effective and efficient path for curriculum and equip ourselves with the evidence-based learning strategies that are emerging to take us where we need to go, each step along the educational trajectory building on the previous one. We will travel with our learners as part of an interprofessional team, with all team members being responsible and accountable for their learning. We will have built in “rest stops” along the way for assessment and guided reflection that will take us all toward expertise and mastery. The assessment tools that we use will embrace the complexity of care delivery and focus on what is meaningful and not just what is easily measurable. These tools will be useful by van der Vleuten’s24 standards, some qualitative and some quantitative, most targeted for formative assessment. The journey will be long so that we will have ample time to directly observe learners. From early in the process, learners will develop relationships with patients, mentors, and health care team members. These relationships will help to thwart the typical erosion of professionalism and personal accountability that occurs when there is no sense of belonging. Everyone will walk this journey at their own pace, some arriving sooner than others. We have to be prepared for and take advantage of this variation among learners, and model how to help them help their colleagues along the way who may be struggling.



이 여정의 mantra는 "환자에게 더 나은 치료를 제공하기 위해 의학 교육을 어떻게 개선 할 것인가?"입니다. 이것이 우리가 묻고 답하는 책임이있는 근본적인 질문이다.

The mantra for the journey will be “How do we improve medical education to provide better care to patients?” This is the fundamental question that we are responsible for asking and answering.







 2013 Aug;88(8):1067-73. doi: 10.1097/ACM.0b013e318299396f.

From Flexner to competenciesreflections on a decade and the journey ahead.

Author information

1
American Board of Pediatrics, Chapel Hill, North Carolina 27514, USA. ccarraccio@abpeds.org

Abstract

This article is a sequel to one published in 2002 only a few years after the initiation of the shift to competency-based medical education (CBME). The authors reflect on the major forces that have influenced the movement and tipped the balance toward widespread adoption of CBME in the United States, primarily in graduate medical education. These forces include regulatory bodies, international counterparts, and the general public. The authors highlight the most important lessons learned over the decade. These include (1) the need for standardization of language to develop a shared vision of the path ahead, (2) the power of direct observation in assessment, (3) the challenge of developing meaningful measures of performance, (4) desired outcomes as the starting point for curriculum development, (5) dependence on reflection in the development of expertise, (6) the need for exploiting the role of learners in their learning, and (7) competent clinical systems as the required learning environment for producing competent physicians.The authors speculate on why this most recent attempt to shift to CBME differs from previous aborted attempts. They conclude by explaining how the recent lessons learned inform the vision of what successful implementation of CBME would look like, and discussing the importance of milestones, entrustable professional activities, and an integrated, rather than a reductionist, approach to assessment of competence. The fundamental question at each step along the way in implementing CBME should be "How do we improve medical education to provide better care for patients?"

PMID:
 
23807096
 
DOI:
 
10.1097/ACM.0b013e318299396f


패러다임의 전환: 플렉스너에서 역량으로 (Acad Med, 2002)

Shifting Paradigms: From Flexner to Competencies

Carol Carraccio, MD, Susan D. Wolfsthal, MD, Robert Englander, MD, MPH,

Kevin Ferentz, MD, and Christine Martin, PhD





20 세기로 접어 들면서 의학 교육에 대한 도전은 플렉스너 혁명의 형태를 취했습니다 .1 1900 년대 초에 저질의 교육 내용과 프로세스에 노출되면 대중의 관심과 관심이 점차 커져서 막대한 개혁을 낳았습니다.
The challenge to medical education at the turn of the 20th century took the form of the Flexnerian revolution.1 Exposure of poor educational content and processes in the early 1900s captured public attention and concern, precipitating a chain of events that led to drastic reform.

현재의 구조 및 프로세스 기반 커리큘럼에서 역량 기반 커리큘럼 및 결과 평가에 이르는 패러다임 전환은 21 세기의 플렉스너 (Flexnerian) 혁명입니다.
The paradigm shift from the current structure- and process-based curriculum to a competency-based curriculum and evaluation of outcomes is the Flexnerian revolution of the 21st century.


검색 전략
SEARCH STRATEGIES

역량을 갖추었다는 것은 무엇을 의미하는가?
What Does It Mean to Be Competent?

그러나 1970 년대부터 의료계에서 역량에 대한 많은 정의가 나왔다 .2-8 그러나 본질적으로 이러한 정의의 합성과 단순화는 우리가 '역량'을 지식, 기술, 태도의 구성 요소 및 개인의 능력으로서의 '역량'을 포함하는 복잡한 일련의 행동으로 설명하게 만들었다 (이 정의는 교육 환경에서 일반적으로 사용되는 언어를 반영하도록 수정되었습니다.)
Many definitions of competency emerged in the medical lit- erature beginning in the 1970s.2–8 Essentially, however, syn- thesis and simplification of these definitions led us to de- scribe ‘‘competency’’ as a complex set of behaviors built on the components of knowledge, skills, attitudes, and ‘‘com- petence’’ as personal ability. (These definitions are adapted to reflect language commonly used in educational settings.)


1970년대와 1980년대에 역량구조의 등장
THE EMERGENCE OF THE COMPETENCY CONSTRUCT IN THE 1970SAND1980S

역량 기반 교육을 정의하는 것 외에도 초기 출판물은 패러다임 전환 및 커리큘럼 개발 과정의 핵심 요소에 중점을 둡니다. 1960 년대와 1970 년대 초반의 문화 환경은 커리큘럼을 심각하게 파 괴하고 기본 성취도를 낮추어 학생 성취도 테스트 및 교실 시험과 같은 교육적 효과에 대한 지표 점수가 하락했습니다. 이러한 점수 하락은 모든 교육 수준에서 최소한의 표준과 성과 역량에 중점을 두어 '기본으로 회귀(back-to-basics)'운동을 촉발시켰다 .9) 동시에 대중은 '직업' '이전에는 소비주의가 없었다. 공중 보건 지도자들은 또한 역량 기반 훈련을 요구하고, 실무 환경의 맥락에서 역량을 강조함으로써 인구의 요구를 처리 할 수있는 인력을 모색했다 .10 미국 영양사 협회 (DDA) 11 및 주 교육위원회 일리노이 주립 대학 고등 교육 기관 (University of Illinois of Highest Education of Illinois)은이 운동에 일찌감치 동참하여 가이드 라인을 수립하고 그들이 운영하는 교육 기관에서의 패러다임 전환에 대한 명령을 내 렸습니다.
In addition to defining competency-based education, early publications focused on the forces behind the paradigm shift and the process of curriculum development. The cultural cli- mate of the 1960s and early 1970s caused a significant frag- mentation of curricula and a de-emphasis on basic skills, with a concomitant decline in scores of indicators of edu- cational effectiveness such as Student Achievement Tests and classroom examinations. This deterioration in scores prompted a ‘‘back-to-basics’’ movement with emphasis on minimum standards and performance competencies at all ed- ucational levels.9 At the same time, the public demanded increased competence, even in the ‘‘professions’’ previously immune to consumerism. Public health leaders also called for competency-based training, and sought a workforce equipped to handle the population’s needs by emphasizing competence in the context of the practice setting.10 Profes- sional organizations, such as the American Dietetic Associ- ation11 and the State Board of Higher Education of the Uni- versity of Illinois, joined this movement early, establishing guidelines and even edicts for the paradigm shift in the ed- ucational institutions over which they presided.12

역량 기반 교육이 발전할 맥락에서 무대를 마련한 교육 과정 설계에 대한 단계적 접근 방식은 문헌 전체에서 일관된 주제로 떠올랐다. 네 단계는 
(1) 역량 확인, 
(2) 역량 구성 요소 및 성능 수준 결정, 
(3) 역량 평가, 
(4) 프로세스의 전반적인 평가입니다. 

Having set the stage for the context in which compe- tency-based education developed, the stepwise approach to curricular design emerged as a consistent theme throughout the literature. The four steps are 
(1) competency identifi- cation, 
(2) determination of competency components and performance levels, 
(3) competency evaluation, and 
(4) overall assessment of the process. 

역량을 식별 할 수있는 가능한 방법 (1 단계)은 개별 전문가의 합의를 사용하는 델파이 기법 18)과 그룹의 의견에 의존하는 명목상 그룹 기법 19)을 포함한다. 업무 분석 : 연구원이 일정 기간 동안 모든 활동을 문서화하기 위해 의사와 동행합니다. 자격을 갖춘 종사자가 좋은 또는 나쁜 사안을 반영하는 관찰 된 사건을 묘사하는 중요 인시던트 조사 10,19; 스타 퍼포먼스가 훌륭한 의사의 중요한 임상 상황과 특성을 묘사하는 행동 - 이벤트 인터뷰 10; 그리고 가장 간단한 방법 - 종사자 설문 조사 6 역량의 확인은 그 과정의 다른 단계보다 더 많은 관심을 받았다.
Possible methods for iden- tifying competencies (step one) include 
  • the Delphi technique, which uses a consensus of individual experts,18 and the nominal group technique, which relies on group consen- sus19; 
  • task analysis, in which a researcher accompanies a phy- sician to document all activities over a period of time18; 
  • the critical-incident survey, in which qualified practitioners de- scribe observed incidents that reflect good or bad prac- tice10,19; 
  • the behavioral-event interview, in which star per- formers describe critical clinical situations and characteristics of a good doctor10; and 
  • the simplest method—practitioner surveys.6 The identification of competencies received more attention than the other steps in the process.

두 번째 단계는 역량 구성 요소와 성과 수준을 결정하는 것입니다. 전자는 순차적으로 또는 합계로 역량을 구성하는 'tasks'을 포함합니다. 이러한 'tasks'은 흔히 벤치 마크 또는 성과 지표라고합니다. 그것들은 측정 가능해야하고, 그것들을 합하여서 특정 역량의 성취도를 결정할 수 있어야 한다. 성과 기준은 역량을 입증하기위한 기준점을 설정합니다 .2 각 벤치 마크의 예상 성과 수준은 역량이 달성되었는지 여부를 판단하기 위해 명확하게 정의되어야합니다. 교육자는 교훈 학습, 소그룹 토론, 현장 경험 또는 정보 기술을 통해 역량을 획득 할 수있는 방법을 결정해야합니다.
The second step involves determining competency com- ponents and performance levels. The former includes ‘‘tasks’’ that, either sequentially or in sum, make up the competency. These ‘‘tasks’’ are often referred to as benchmarks or perfor- mance indicators. They must be measurable and in the ag- gregate determine achievement of the specific competency. Performance criteria set the threshold for demonstrating competence.2 The expected performance level for each benchmark must be clearly defined to determine whether competence has been achieved. The educator must then de- termine the methods by which the competency might be attained, such as through didactic learning, small-group dis- cussions, or on-site experiences, or via information technol- ogy.14


세 번째 단계는 적합성 평가 방법을 결정합니다. 표준과 임계치를 비교하여 기준과 비교하는 기준 참조 측정이 선호되는 방법입니다 .2 구조 및 프로세스 기반 커리큘럼의 전형 인 규범 기반 평가는 학생의 성과와 동료 집단의 성과를 비교합니다. 그러나 이 평가는 학생이 할 수있는 일과 할 수없는 일에 대한 명확한 이해를 제공하지 못하며 벤치 마크 또는 성과 지표가있는 경우 어떤 기준이 충족되는지를 결정할 수 없습니다 .20 

마지막 단계로서, attainment 절차 및 평가 시스템의 유효성이 입증됩니다 .2
The third step determines how the attainment of com- petence will be assessed. Criterion-referenced measures that compare performance against a set standard or threshold are the preferred methods.2 The normative-based assessment, typical of the structure- and process-based curriculum, com- pares the student’s performance with that of a peer group. However, this assessment fails to provide a clear understand- ing of what a student can or cannot do, and cannot deter- mine which, if any, benchmarks or performance indicators have been met.20 As the final step, the competencies, at- tainment procedures, and assessment system are validated.2

1970 년대의 의학 교육 과정에는 일반적으로 정의 된 역량이 포함되었지만 역량을 설명하는 해당 목표 또는 벤치 마크는 부적절했습니다. 레지던트 프로그램은 기대되는 역량에 대한 명확한 정의없이 표면적 인 커리큘럼 가이드 라인을 전통적으로 포함했다. Dunn et al의 예측에도 불구하고, 역량 기반 교육의 시간은 지나간 것 같았다. "이 시대의 역량 운동은 점차 줄어 들었습니다 .18 원하는 역량과 커리큘럼 목표 사이의 직접적인 연관성 부족, 역량을 평가할 부적절한 평가 도구 등이 그 죽음에 기여했을지도 모른다
Although the medical education process during the 1970s included generally defined competencies, corresponding cur- ricular objectives or benchmarks to describe the competen- cies were inadequate. Residency programs classically con- tained superficial curriculum guidelines without clear definitions of expected competencies.24 Despite the predic- tion of Dunn et al. that competency-based education was an ‘‘idea whose time seems to have come,’’ the competency movement of this era dwindled.18 The lack of a direct link between the desired competencies and curricular objectives, as well as inadequate assessment tools to evaluate compe- tence, may have contributed to its demise.


최근 10년
THE LAST DECADE

약 10년 전 수련 후기 검토위원회 (RRC)의 가정 의학 교육의 필수 요건에 대한 개정과 동시에 가정 의학 교사회 (Society of Teachers of Family Medicine)는 새로운 교과 과정을 발표했으며, 여기에는 역량 중심의 커리큘럼을 개발하고 각 로테이션을위한 역량의 객관적인 척도를 제공한다는 비전 제시가 포함되어있다.
At the beginning of the decade, and coincidentally with revisions in the Essential Requirements for Residency Train- ing in Family Medicine by its residency review committee (RRC), the Society of Teachers of Family Medicine promul- gated a new curriculum, entitled ‘‘Essentials for Family Practice.’’25 It contained a visionary proposal to develop competency-based curricula and provide objective measure- ments of competence for each rotation.


Brown University School of Medicine은 최근 MD2000 프로젝트를 통해 역량 기반 교육에 패러다임 이동을 채택한 기관의 모델로 제공됩니다 .29 학부는 졸업반 이전에 모든 학생들이 달성해야하는 9 가지 능력을 정의하는 과정에 깊이 관여했습니다. 각 역량을 3 단계의 역량 (시작, 중급, 고급)으로 평가 된 관찰 가능한 행동으로 번역했습니다.
Brown University School of Medicine serves as a model of an institution that has recently adopted the paradigmshift to competency-based education through the MD2000 proj- ect.29 Faculty were intimately involved in the process of defining nine abilities all students must attain prior to grad- uation and translated each ability into observable behaviors rated at three levels of competence: beginning, intermediate, and advanced.

Baylor College of Dentistry는 MD2000 프로젝트와 유사한 커리큘럼 개혁 과정을 거쳤습니다. 저자는 학교의 전략 계획의 필수적인 부분으로 경쟁력 기반 커리큘럼을 개발하고 변경을 용이하게하기 위해 새로운 인증 요구 사항을 활용하는 것이 중요하다는 점을 지적했습니다.
The Baylor College of Dentistry undertook an extensive process of curriculum reform similar to the MD2000 project. The authors noted the importance of developing a compe- tency-based curriculum as an integral part of the school’s strategic plan, as well as capitalizing on new accreditation requirements to facilitate change.

규모가 더 작 으면 추가의 연구가 일부 의과 대학 로테이션 및 레지던트 프로그램에 대한 역량 기반 프로그램의 효과를 탐구했습니다.
On a smaller scale, additional studies have explored the effect of a competency-based program for selected medical school rotations and residency programs.

의학 전문 분야 중 일부는 역량 기반 모델로 커리큘럼을 완전히 재구성했습니다. Brown MD2000의 일환으로 교수진은 예방 의학에 커리큘럼 기반 커리큘럼을 개발했습니다 .37
Few specialties in medicine have undertaken total restruc- turing of their curricula into a competency-based model. As part of the Brown MD2000, the faculty developed a com- petency-based curriculum in preventive medicine.37



1990 년대를 통해 많은 문헌들이 역량 평가를 둘러싼 논쟁에 집중했다. 자격 미달을 정의할 수 있는 최소 한계점이 존재합니까? Chambers와 Glassman은 초보자부터 시작하여 5 단계를 제안했습니다. 유능하고 능숙한 초급자를 통해 진보. 초심자들에게 초점은 시험이 평가할 수있는 고립 된 사실에 관한 것이다. 초보자에게는 세미나, 실험실 및 숙제를 통해 습득 한 정보의 통합 및 통합이 시뮬레이션을 통해 평가됩니다. 유능한 개인은 독립적 인 학습자로서의 기능을 수행하며 실제 작업 환경에서 실행합니다. 평가는 실제적이고 감독자, 예외 제품 및 테스트 케이스의 등급이 포함 된 포트폴리오를 포함합니다. 직업적 정체성과 규범은 사회화와 전문 교육에 의해 성취되고 업무 관련 마커에 의해 평가되는 숙련도를 특징 짓는다. 전문가는 최고 수준의 보상을받으며 환자 중심의 내면화 된 초점을 가지며 자기 방향을 통해 학습하고 자체 평가 및 내부 평가 표준에 의존합니다.
Through the 1990s much of the literature focused on the debate surrounding the evaluation of competence. Does a minimum threshold exist that defines one as competent ver- sus incompetent? Chambers and Glassman suggested five stages, beginning with novice; progressing through beginner, competent, and proficient; and culminating in expert.41 
  • For the novice, the focus concerns isolated facts that tests can evaluate. 
  • For the beginner, synthesis and integration of in- formation learned in seminars, in labs, and through super- vised work are evaluated via simulations. 
  • The competent individual functions as an independent learner and practices in a realistic work setting. Evaluation is authentic and com- prises portfolios that contain ratings of supervisors, exem- plary products, and test cases. 
  • Professional identity and norms characterize proficiency, which is achieved by social- ization and specialized training and evaluated by work-related markers. 
  • The expert—at the highest level of compe- tence—has an internalized, patient-centered focus, learns through self-direction, and relies on self-assessment and in- ternalized standards of evaluation.


간호학 문헌은 노련한 간호사 평가에서 실제적인 관찰의 필요성을 언급하면서 현재 방법이 일반적으로 초보자에게 맞춰져 있음을 지적했다 .26 감독자가 간호 기술을 적절하게 평가하고 치료가 필요한 영역을 확인하는 데 필요한 역량이 필요하다 역량 기반 교육은 학습자가 자기주도적이고, 학습 과정에서 책임을 지고자 하는 성인 학습자에게 선호된다 .44,45
The nursing literature also addressed the need for real- world observation in the evaluation of seasoned nurses, pointing out that current methods are typically geared to beginners.26 Defined competencies are needed for supervisors to assess staff nursing skills adequately and identify areas re- quiring remediation.42,43 Competency-based instruction is preferred for adult learners, who tend to be self-directed and willing to assume responsibility in the learning process.44,45


국제적 노력
INTERNATIONAL EFFORTS


역량 운동은 또한 국제 무대에서 일부 주목을 받았다. 예를 들어, 
  • 캐나다에서의 의학 교육에 대한 진화하는 교과 과정 개혁의 10 년은 역량 기반 교육의 경우 학부 프로그램에서 인증 유지까지의 전례를 설정했습니다. 50,51 
  • Royal College of Physicians and Surgeons 대학원 의학 교육에 뿐만 아니라 인증 프로그램의 유지 관리에도 역량에 중점을 둡니다 .52 
  • 외국의 의학 졸업생을위한 교육위원회는 교육을 찾고자하는 국제 의학 생에 대해 임상 기술 평가를 요구합니다 표준화 된 환자의 사용을 통한 역량 평가에 최근 초점을 맞춘 미국도 마찬가지이다.
The competency movement has also received some atten- tion in the international arena. For example, 
  • a decade of evolving curricular reform of medical education in Canada has set the precedent for competency-based education from undergraduate programs through the maintenance of certi- fication.50,51 
  • The Web site of the Royal College of Physicians and Surgeons not only focuses on competency-based gradu- ate medical education but places a major emphasis on com- petence in practice through the maintenance of certification programs.52 
  • The Educational Commission for Foreign Med- ical Graduates requires the Clinical Skills Assessment for international medical students seeking training in the United States, which likewise demonstrates the recent focus on evaluation of competence through the use of standardized patients.53

여러 다른 국가에서는 의대생, 54-57 레지던트, 58,59 및 실무 의사에게 역량 기반 훈련 및 평가를 통합하는 데 다양한 노력을보고했다. 호주의 간호 전문직은 역량 기반 학습을 1982 년에 시작했다. 불행히도 이러한 보고서는 표준화 된 용어가 부족하여 방해를 받았다. 이러한 '각 역량'의 평가와 향상이 각 간행물의 목표로 언급되었지만 진정한 역량 기반 학습 목표가 제정 된 범위는 매우 다양합니다.
Several other countries have reported various efforts at incorporating competency-based training and evaluation for medical students,54–57 residents,58,59 and practicing physi- cians.7,60,61 The nursing profession in Australia undertook a review of the literature on competency-based learning as early as 1982.62 Unfortunately, these reports were hampered by a lack of standardized terminology. While assessing and enhancing ‘‘competence’’ is mentioned as the goal in each of these publications, wide variation exists in the extents to which true competency-based learning objectives were in- stituted.


새로운 천년
THE NEW MILLENNIUM

지난 30 년 동안의 문헌 검토는 역량 기반 커리큘럼 및 성과 평가에 대한 defined movement를 반영합니다. 의료 전문가들 사이의 문서화 된 능력에 대한 사회적 세력에도 불구하고, 광범위한 보급은 아직 현실이 아닙니다. 또한, 우리의 검토는 역량 기반 교육의 결과를 평가하는 약간의 과학적 증거를 보여주었습니다. 현재 존재하는 증거는 현재의 구조 및 프로세스 기반 모델에 대한 역량 기반 교육에 분명히 유리합니다. 그럼에도 불구하고 이용 가능한 증거로부터 몇 가지 교훈을 얻을 수 있습니다. 
  • 특히 중요한 것은 전문적인 실무에 필요한 역량을 확인하고 정의하는 전략적 계획 단계입니다. 
  • 각 역량마다 기대성과를 설명하는 일련의 벤치 마크 또는 성과 지표가 요약되어야합니다 .65 
  • 각 역량을 뒷받침하는 지식, 기술 및 태도는 명확하고, 측정가능해야하며, 그것을 합하면 역량의 달성을 반영해야 한다. 
  • 역량 달성의 기준은 미리 결정되어야합니다. 
  • 결과를 효과적으로 평가하기 위해서는 평가 도구와 역량이 구체적으로 일치시켜야합니다. 
  • 평가는 실제 관찰을 반영하고 평가 도구의 포트폴리오 ''로 구성되어야합니다. 
  • 공감대 형성과 강력한 행정 지원을 통한 교수와 학습자의 buy-in는 모든 단계에서 중요합니다. 
  • 성공적인 실행을 달성하기위한 마지막 단계는 이 과정에 긴밀히 연루된 사람들이 우리 연수생을 가르치는 임상의 편집자를 위한 교수 개발 프로그램 작성에 대한 책임을 지도록 보장하는 것입니다.

Review of the literature over the last three decades reflects a defined movement toward competency-based curricula and outcomes evaluation. Despite societal forces for documented competence among medical professionals, widespread adop- tion is not yet a reality. In addition, our review revealed little scientific evidence evaluating the outcomes of competency- based education. What evidence does exist clearly favors competency-based education over the current structure- and process-based model. Nonetheless, several lessons may be learned from the available evidence. 
  • Of critical importance is the strategic planning phase of identifying and defining competencies needed for professional practice. 
  • A series of benchmarks or performance indicators describing the out- come expectancy of each competency must be outlined.66 
  • The knowledge, skills, and attitudes underpinning each com- petency need to be clearly written, measurable, and in sum- mation reflect the achievement of that competency. 
  • The threshold for achieving competence must be predetermined. 
  • Assessment tools must be specifically matched to the com- petency to effectively evaluate outcomes. 
  • Evaluation should reflect real-world observation and consist of a ‘‘portfolio’’ of assessment tools. 
  • Faculty and learner buy-in with consensus building and coupling with strong administrative support are crucial every step of the way. 
  • The final step in achieving successful implementation is to ensure that those intimately involved with this process assume responsibility for the cre- ation of faculty development programs for the clinician ed- ucators who teach our trainees.

CHALLENGES

Federalated Internal Medicine Council of Residency Editing의 결론에서 확인 된 어려움은 의과대학생 및 레지던트 교육 과정 조정, 교수진 개발 프로그램 확대, 더 나은 평가 시스템 구축 및 개발 자원 확보, 학습자 중심의 레지던트 프로그램 등의 과제를 포함합니다

The challenges identified in the conclusion of The Federated Council of Internal Medicine’s Resource Guide for Residency Ed- ucation include coordinating medical student and residency curricula, expanding programs for faculty development, cre- ating better systems of evaluation, and garnering the re- sources to develop learner-centered residency programs.67

PRESCRIPTION FOR THE FUTURE HEALTH AND WELL-BEING OF MEDICAL EDUCATION






 2002 May;77(5):361-7.

Shifting paradigms: from Flexner to competencies.

Author information

1
Department of Pediatrics, University of Maryland, Baltimore, 21201, USA. ccarraccio@peds.umaryland.edu

Abstract

Realizing medical education is on the brink of a major paradigm shift from structure- and process-based to competency-based education and measurement of outcomes, the authors reviewed the existing medical literature to provide practical insight into how to accomplish full implementation and evaluation of this new paradigm. They searched Medline and the Educational Resource Information Clearinghouse from the 1960s until the present, reviewed the titles and abstracts of the 469 articles the search produced, and chose 68 relevant articles for full review. The authors found that in the 1970s and 1980s much attention was given to the need for and the development of professional competencies for many medical disciplines. Little attention, however, was devoted to defining the benchmarks of specific competencies, how to attain them, or the evaluation of competence. Lack of evaluation strategies was likely one of the forces responsible for the three-decade lag between initiation of the movement and wide-spread adoption. Lessons learned from past experiences include the importance of strategic planning and faculty and learner buy-in for defining competencies. In addition, the benchmarks for defining competency and the thresholds for attaining competence must be clearly delineated. The development of appropriate assessment tools to measure competence remains the challenge of this decade, and educators must be responsible for studying the impact of this paradigm shift to determine whether its ultimate effect is the production of more competent physicians.

PMID:
 
12010689



밀러의 피라미드에 대한 새로운 관점: Is와 Do 레벨의 평가 (Med Educ, 2016)

A fresh look at Miller’s pyramid: assessment at the ‘Is’ and ‘Do’ levels

Mohamed Al-Eraky1,2 & Hesham Marei3,4






도입

INTRODUCTION


조지 밀러 (George Miller)의 획기적인 피라미드는 지난 20 년간 보건 전문 교육 분야의 평가 실무를 이끌 기위한 프레임 워크로 사용되었습니다.

The ground-breaking pyramid of George Miller1 has been used as a framework to guide assessment practice in health professions edu- cation over the past two decades.


피라미드 구조에 대한 가정들

ASSUMPTIONS OF PYRAMIDAL STRUCTURES


피라미드는 많은 문명에 의해 만들어졌습니다. 건축 관점에서 피라미드 구조의 레벨 구성은 계층 구조와 테이퍼링이라는 두 가지 가정을 의미합니다. 

  • '계층 구조'는 레벨 2가 레벨 1보다 뛰어나다는 것을 의미합니다. 

  • '테이퍼링'은 정점쪽으로의 높이가 바닥에있는 것보다 표면적이 작음을 의미합니다. 

실무 (Does 수준)에서 독립적인 전문가를 평가할 때, 정확하고 신뢰성있게 측정하는 것이 가장 어렵습니다. 피라미드에서 테스트되는 스킬이 높을수록 임상 적으로 더 authentic한 평가가 필요합니다 .2 그러나 Miller 피라미드의 계층 구조에 대한 오해의 여지가 있다. 왜냐하면, 그 어떤 단계도 quality, validity, reliability, authenticity에 관하여 특별히 더 우위에 있지 않기 때문이다. 따라서 우리는 Miller의 레벨이 세그먼트 화 된 피라미드 (그림 1b)의 방식으로 재구성 될 수 있다고 상상할 수있다. 왜냐하면 높은 상위 단계가 반드시 더 높은 품질의 평가를 보증하지 않으며, 대신 점증하는 요구와 더 많은 자원의 필요성을 나타 내기 때문이다.

Pyramids have been built by many civilisations. From an architectural perspective, the organisation of levels in a pyramidal construction implies two assumptions: hierarchy and tapering. ‘Hierarchy’meansthat Level 2 is superior to Level 1 and so on. ‘Tapering’ means that higher levels towards the apex are smaller in surface area than those at the base. Assessment of independent professionals in real practice (at the Does level) is clearly the most diffi- cult to measure accurately and reli- ably. The higher the skills being tested in the pyramid, the more clinically authentic the assessment needs to be.2 Yet the hierarchy in Miller’s pyramid could be mislead- ing, because no level is (actually) superior with regard to quality, validity, reliability and authenticity.2 We therefore, can imagine that Mill-er’s levels can be reconfigured in a segmented pyramid (Fig. 1b), because the higher levels do not promise higher quality of assessment, but instead represent escalating demands and the need for more resources. 


두 번째 특징은 테이퍼링이며, 레벨이 정점쪽으로 갈수록 작아지는 데 이는 두 가지 가설로 해석 할 수 있습니다. 

  • 첫째, 아마도 더 적은 수의 학생들이 'narrow'top에 도달 할 것으로 예상됩니다. 밀러의 피라미드는 결과가 아닌 평가를 위한 영역을 묘사하기 때문에이 가설은 무효화됩니다. 

  • 둘째, 역량과 성과 (apex)를 평가할 수있는 도구가 지식을 평가할 수있는 도구 (base)보다 적다. 이것은 또한 평가자가 피라미드를 자신있게 올라갈 수있게 해주는 WPBA (workplace-based assessment) 도구가 점점 더 많아짐에 따라 무효화됩니다. 

다시 말하지만, 우리는 밀러 피라미드의 tapering이 두 가지 이유에서 기만적인 것으로 생각할 수 있습니다. 

  • (i) 학생들은 이제 정보에 쉽게 액세스 할 수 있어서, 단순한 지식 평가의 가치가 낮아졌다. 

  • (ii) WPBA에 대한 현대 연구의 관심과 본질은 더 높은 차원의 중요성을 강화시키고, 위쪽으로 넓어 지도록 제안한다. 

그렇다면 실제로 피라미드를 뒤바꿀 수 있으며 실제 사례에서 평가를 위해 더 많은 공간 (가치)을 제공 할 수 있습니다 (그림 1c).

The second feature is tapering, as the levels are getting smaller towards the apex, which can be interpreted by two hypotheses. First, perhaps fewer students are expected to reach the ‘narrow’ top. This hypothesis is nullified, because Miller’s pyramid depicts domains for assessment, not results. Second, fewer instruments are available to assess competence and performance (at the apex) than those available to assess knowledge (at the base). This too is nullified by the growing num- ber of workplace-based assessment (WPBA)3 instruments that enable assessors to more confidently climb the pyramid. Again, we think that tapering in Miller’s pyramid could be deceptive for two reasons: (i) students now can easily access information, which minimises the value of assessment of mere knowledge; and (ii) the mounting interest and body of modern research in WPBA reinforce the significance of higher levels and suggest broadening (not tapering) towards the top. Then, perhaps we may invert the pyramid, to offer more space (value) for assessment in real practice (Fig. 1c).


계층 구조와 테이퍼링 외에도 Miller의 모델에는 실제 피라미드에없는 세 번째 가정이 있습니다. 학습자가 실제로 잘 수행하면 Knows와 Knows는 어느 정도의 수준을 얻었지만 그 역reverse은 확실하지 않은 것으로 추측되며 이는 평가 도메인의 중첩을 제안합니다 (그림 1d).

In addition to hierarchy and taper- ing, there is a third assumption in Miller’s model, which is absent in real pyramids. If learners perform well in practice it is presumed that they attain the Knows and Knows how levels, but the reverse is uncer- tain, which suggests nesting of assessment domains (Fig. 1d).


그러나이 중첩 개념은 도전받을 수 있습니다. 의사가 적절한 인지 기반없이 특정 작업을 수행할 수 있습니까? 때로는 그렇다. 주기적으로 테스트하지 않으면 지식이 쇠퇴하지만, 퍼포먼스는 시간이 지남에 따라 향상될 수 있다. 숙련 된 기술자, 간호사 및 외과 의사조차도 유능한 사람 일 수 있지만 지식이없는 사람도있을 수 있습니다. 일부 절차의 이론적 근거를 잊을 수 있기 때문입니다. 이러한 결과는 평가자에게 지식이 지원되지 않는 교수형 다락방(hanging attic)  (그림 1e)의 가능성을 경고합니다.

Yet, this concept of nesting can be challenged. Can practitioners mas-ter particular tasks without a proper cognitive base? Answer: Yes, sometimes. Knowledge decays if not tested periodically and per- formance is enhanced by practice over time. Seasoned technicians, nurses and even surgeons may be competent, but not necessarily knowledgeable, because they may forget the theoretical basis of some procedures. These findings alert assessors to the possibility of a hanging attic (Fig. 1e), where performance is not supported by knowledge.


Fig. 1은 코스의 성격, 교육의 단계, 평가 시스템의 통합 정도 및 성숙도와 관련된 변수를 고려하여 결정될 수있다. 예를 들어, 

  • 원래 모델 (그림 1a)은 지식에 중점을 둔 기초과목 (해부학과 같은)의 학부의학교육에서 평가에 적합하지만 

  • 반전 된 피라미드 (그림 1c)는 외과 레지던트 프로그램에서 WPBA의 가치를 보여주고, 

  • 매달린 다락방 (그림 1e)은 분석가에게 WPBA의 기본 지식을 경계해야한다고 경고합니다.

Selecting a particular arrangement in Fig. 1 can be decided in view of variables related to: the nature of the course, stage of education, extent of integration and maturity of the assessment system. For instance, the original model (Fig. 1a) suits assessment of under- graduate students in pure-content subjects (like anatomy) with more emphasis on knowledge, whereas the inverted pyramid (Fig. 1c) sig- nifies the value of WPBA in surgi- cal residency programmes. The hanging attic (Fig. 1e) alerts asses- sors to be vigilant to the baseline knowledge in WPBA.





새롭게 등장한 평가영역

EMERGING DOMAINS FOR ASSESSMENT


밀러의 피라미드는 평가를 이끌어내는 이정표이지만, 현대 평가에서 진화하는 구조를 수용 할 수있을 정도로 포괄적입니까? 직업 교육, 감성 지능, 양심, 공감, 반성, 메타인지, 팀워크, 리더십, 문화적 경쟁력, 직업적 정체성  등의 의학 커리큘럼에서 검색 및 평가하고자하는인지 적 및 비인지 적 구성 요소의 목록이 많이 있습니다.  밀러의 피라미드의 네 층은 위의 진화하는 구조를 포함하고 있는가?

Miller’s pyramid is a milestone to guide assessment, but we ask: is it still comprehensive enough to accommodate the evolving constructs in modern assessment? There is a long list of cognitive and non-cognitive components that medical curricula seek to deli- ver and assess, such as: profession- alism,4 emotional intelligence,5 conscientiousness,6 empathy,7 reflection,8 metacognition,9 team- work,10 leadership,11 cultural com- petence12 and professional identity.13 Do the four layers of Miller’s pyramid encompass the above evolving constructs?


'Is'수준에서의 평가

ASSESSMENT AT THE ‘IS’ LEVEL


밀러의 피라미드는 학습자가 know and does하는 것을 평가하지만, 그거 실제로 누구인가(is)를 평가하지는 않는다. Jarvis-Selinger et al.는 의사의 직무 뿐만 아니라, '의사가 되기 위해서 필요한 것'들에 대해 더 광범위한 관점을 가져야 한다고 주장했다. 전문직업성의 평가는 관찰 가능한 행동을 넘어서서 개인의 근본적인 태도, 가치 및 신념을 탐구하기 위해 확대되어야합니다. 이것이 바로 Cruess와 동료들이 졸업생의 전문성을 평가하기 위해 Miller의 피라미드에 다섯 번째 레벨을 추가 한 이유입니다.

Miller’s pyramid assesses what a learner knows and does, but not what he or she really is. Jarvis- Selinger et al. inspired a move away from the exclusive focus on doing the work of a physician toward a broader one that also includes being a physician.14 Assessment of professionalism should extend beyond observable behaviours to explore the individ- ual’s underlying attitudes, values and beliefs that drive (un)profes- sional behaviours. That is why Cruess and colleagues have recently added a fifth level (Is)to Miller’s pyramid to assess profes- sional identity of graduates.15


평가가 학생의 행동이 아니라 학생 개인을 tagging하지 않도록 유념해야 하지만, 자신의 직업적 정체성 획득에 대한 각 개인의 발전 상황을 모니터링하는 것이, 의학 교육을 받는 첫 번째 날부터 주된 목표가되어야합니다. 

Monitoring the progress of each individual toward the acquisition of their professional identity should be the principal objective of medical education from day one, even as we must be careful to not fuel a judgemental ambiance of assessment that results in tagging students them- selves instead of their behaviours.


'Do'수준에서의 평가

ASSESSMENT AT THE ‘DO’ (TOGETHER) LEVEL


즉 의학 교육에서의 근본적인 딜레마는 Cruess 등이 최근에 Miller 's 피라미드에 추가 한 것 이상의 수준을 추가하게 할 것입니다. 대학은 개인의 능력에 따라 학위를 수여하지만, 졸업 후 의사는 다기능 팀의 일원으로 일하고, 유능한 의사가 무능한 팀을 창출 할 수 있습니다 .17 환자 진료의 제공은 intraprofessional에서 interprofessional로 이동했습니다. 이는 집단 역량에 초점을 둔 평가 결과를 강조합니다 .18 따라서 우리는 'Do'(together) 수준에서 학습자를 팀으로서 평가할 필요성을 인식했습니다.

That said, there is a fundamental dilemma in medical education that would prompt us to add a level beyond Cruess et al.’s recent addi- tion to Miller’s pyramid. Universities award degrees based on an individ- ual’s ability.16 Then, after gradua- tion, doctors work as members of multiprofessional teams and individ- ually competent physicians can cre- ate incompetent teams.17 The delivery of patient care has moved fromintraprofessional to interpro- fessional practice, which highlights the consequence of assessment that focuses on collective competence.18 We, therefore, recognised the neces- sity to assess learners in teams at the ‘Do’ (together) level.


팀 기반 학습, 다중 전문 교육 및 직업 간 교육과 같은 현대 교육 전략은 팀원에 대한 새로운 패러다임 평가를 채택해야합니다.

Modern educational strategies, such as team-based learning, multi- professional education and inter- professional education, require adopting a new paradigmof assess- ment of teammembers.


팀의 평가는 여러 가지 이유로 어려움을 겪었지만, 'Does' 수준의 평가는 밀러가 펜을 종이에 넣었을 때의 꿈일뿐입니다. 평가자는 집단역동성 (과정)과 제품 (결과)에 대한 평가 기준을 명확히 정의해야합니다. 그러나 'Do'수준에서의 평가의 어려움은 그룹 성과를 개별 성적으로 변환하여 공정성과 형평성에 대한 우려를 불러 일으키는 것입니다. Miller의 피라미드에 'Is'와 'Do'레벨을 통합하여 Miller가 자신의 원래 개념으로 할 수 있었던 방식으로 우리 분야를 이끌 수 있을지도 또 다른 과제입니다.

Assessment of teams is challenging for a number of reasons, but assessment at the ‘Does’ level was just a dreamwhen Miller put pen to paper. Assessors have to define clear criteria for eval- uation of group dynamics (process) and the product (outcome). The daunting task of assessment at the ‘Do’ level, however, is to translate group performance into individual grades, which raises concerns for fairness and equity. Just as daunting is how we incorporate the ‘Is’ and ‘Do’ levels into Miller’s pyramid in a way that has the potential to steer our field the way Miller was able to do with his original conception.




피라미드 바깥에서 생각하기: 평가 '궤도'

THINKING OUTSIDE THE PYRAMID: THE ASSESSMENT ‘ORBITS’


그러나 우리는 피라미드 밖에서 생각하고 새로운 프레임 워크를 제안하고자합니다. 즉, 학생들 사이를 중심으로 회전하는 Five Assessment 'Orbits'를 제안합니다.

Yet, we yearn to think outside the pyramid and suggest a novel framework, namely the Five Assess- ment ‘ Orbits’, revolving around and between students.


Fig. 그림 2에서 볼 수 있듯이 '궤도'는 학생 A의 근원을 중심으로 자신의 개인적 특성을 평가합니다. 실제로 학습 및 스타일에 대한 접근 방식을 유도합니다. '수준'에서의 학습 평가는 학생들이 왜 특정한 방식으로 행동 하는지를 해석하고 교사가 자신의 행동을 합리화하고 더 많은 지침, 정보 피드백 및 상담 판매를 제공 할 수 있도록 도와줍니다. 'Do' 궤도는 한 팀에서 (함께) 함께 일할 때 학생 A, B, C의 수행 능력을 나타냅니다. 필기 시험에서 평가할 수있는 모든인지 능력을 포용하기 위해 두 가지 수준의 Miller를 하나의 궤도 (Knows)로 병합했습니다. 'Shows'및 'Does'궤도는 Miller 모델의 최상위 계층과 동일한 기능을 수행합니다.

As in Fig. 2, the ‘Is’ orbit revolves proximal to student A to assess his or her per- sonal qualities, which actually drive his or her approach to learning and style of performance. Assess- ment for learning at the ‘Is’ level can be used to interpret why stu- dents act in a specific manner and assists teachers to rationalise their behaviours and provide more guid- ance, informed feedback and coun- selling. The ‘Do’ orbit addresses performance of students A, B and C when they work (together) in a team. We merged two levels of Mill- er’s into one orbit (Knows)to embrace all cognitive abilities that can be assessed in written exams. The ‘Shows’ and ‘Does’ orbits serve the same functions as in the top lay- ers in Miller’s model.


예를 들어, 

  • 노드 1 (Is 9 Do)은 팀의 대인 관계에 영향을 미치는 개인의 특성 (예 : 외향성, 개방성, 동등성 및 첨부 스타일)을 표시합니다. 

  • 노드 2 (Knows 9 Do)는 그룹 역학의 인지 기반과 팀 구성원이 다양한 역할을 채택하는 방법을 나타냅니다. (Belbin (공장, 코디네이터, 셰이퍼, 모니터, 구현 자 및 마무리 자 등)에 설명 된대로) 

  • 노드 3 및 4는 시뮬레이션 및 실제 연습에서 팀의 성과를 평가한다.

For instance, 

  • Node 1 (Is - Do) marks the personal qualities that impact the interpersonal dynamic of teams, such as: extraversion, open- ness, agreeableness and attach- ment styles. 

  • Node 2 (Knows - Do) indicates the cognitive base behind group dynamics and how team members embrace different roles, as described by Belbin (such as plant, coordinator, shaper, moni- tor, implementer and finisher).20 Nodes 3 and 4 assess performance of teams in simulations and in real practice, respectively.


평가 궤도는 세계적으로 유명한 역량 프레임 워크의 간과 된 요구를 충족시킵니다. 예를 들어, 'Is'궤도는 감정적 인 개인적 지능에 관련된 Dundee Three-Circle Model의 외층에 나타난 결과를 평가할 수있는 공간을 제공한다. 21) 'Do'궤도는 전통적 역할에 대한 평가를 포용한다 CanMEDS.22의 공동 작업자이자 관리자 / 리더

The Assessment Orbit fulfils the overlooked needs of world- renowned competency frameworks. For instance, the ‘Is’ trajectory offers a space to assess the out- comes indicated in the outer layer of the Dundee Three-Circle Model related to emotional and personal intelligences.21 The ‘Do’ orbit embraces assessment of the tradi- tional roles of collaborator and manager/leader in CanMEDS.22



결론

CONCLUSION


평가 궤도 프레임 워크는 교육자에게 피라미드 구조에 뿌리 내린 계층 구조 또는 테이퍼링과 같은 기능을 암시하지 않으면서 새로운인지 및 비인지 구조를 평가할 필요성을 경고합니다. 

  • 'Is'궤도는 우리가 의사가 될 수 있는 (또는 되지 않을 수도있는) 졸업생들의 개인적 특성에 영향을 미친다. 

  • 'Do'(together) 수준의 팀 평가는 학생들 사이의 경쟁력 순위 결정 (storming)에서 팀으로의 규범 수행 및 수행에 이르는 패러다임 변화를 제공합니다.


The Assessment Orbits framework alerts educators to the need to assess emerging cognitive and non-cognitive constructs without implying features such as hierar- chy or tapering that are ingrained in pyramidal structures. 

  • The ‘Is’ orbit attends to the per- sonal qualities of graduates ‘who’ we may (or may not) trust to be our physicians. 

  • Assessment of teams at the ‘Do’ (together) level offers a paradigm shift in assess- ment from competitive ranking (storming) among students toward norming and performing as teams.




1 Miller GE. The assessment of clinical skills/competence/ performance. Acad Med 1990; S63–7. :65 


14 Jarvis-Selinger S, Pratt DD, Regehr G. Competency is not enough: integrating identity formation into the medical education discourse. Acad Med:1185–90. 2012; 87 


15 Cruess RL, Cruess SR, Steinert Y.Amending Miller’s pyramid to include professional identity formation. Acad Med 2015; :1. 90 







 2016 Dec;50(12):1253-1257. doi: 10.1111/medu.13101.

fresh look at Miller's pyramidassessment at the 'Is' and 'Do' levels.

Author information

1
Medical Education Department, College of Medicine, University of Dammam, Saudi Arabia.
2
Faculty of Medicine, Zagazig University, Egypt.
3
College of Dentistry, University of Dammam, Saudi Arabia.
4
Faculty of Dentistry, Suez Canal University, Egypt.

Abstract

In its silver jubilee, we celebrate the ground-breaking pyramid of George Miller by submitting a fresh look at it. We discuss two questions. (i) Does the classical pyramidal structure perfectly portray the relationships of the four levels that were described by Miller? (ii) Can the model of Miller fulfill the unmet needs of assessors to measure evolving essential constructs and accommodate the increasingly sophisticated practice of assessment of health professionals? In response to the first question, Miller's pyramid is revisited in view of two assumptions for pyramidal structures, namely: hierarchy and tapering. Then we suggest different configurations for the same classical four levels and indicate when to use each one. With regard to the second question, we provide a rationale for amending the pyramid with two further dimensions to assess personal qualities of students at the 'Is' level and their performance in teams at the 'Do' (together) level. At the end of the article, we yearn to think outside the pyramid and suggest the Assessment Orbits framework to assess students as individuals and in teams. The five Assessment Orbits alert educators to assess the emerging cognitive and non-cognitive constructs, without implying features such as hierarchy or tapering that are ingrained in pyramidal structures. The 'Is' orbit attends to the personal qualities of graduates 'who' we may (or may not) trust to be our physicians. Assessment of teams at the 'Do' level (together) offers a paradigm shift in assessment from competitive ranking (storming) among students toward norming and performing as teams.

PMID:
 
27873421
 
DOI:
 
10.1111/medu.13101


형성평가에 집중하기: 학생의 성장과 발달을 목적으로 하는 평가시스템 (Acad Med, 2016)

Focusing on the Formative: Building an Assessment System Aimed at Student Growth and Development

Lyuba Konopasek, MD, John Norcini, PhD, and Edward Krupat, PhD





학생들에게 피드백과 지침을 제공함으로써 형성 평가는 학습과 성과에 긍정적 인 영향을 미친다. 2,3 형성평가는 자기 조절 학습과 informed-자기 평가의 필수적인 요소이다.

By providing feedback and guidance to students, formative assessment has positive effects on learning and performance.2,3 It is an essential element of self-regulated learning4,5 and informed self-assessment.6


총괄 평가를 수행 할 때 우리는 교육자보다는 규제자regulator로서의 역할을 하게 된다. 포괄적인 평가가 반드시 필요한 것은 사실이지만, 우리의 평가 초점은 훨씬 더 넓어 져야합니다. 교육자는 형성평가를 통해 정보를 전달하고, 가치를 심어주고, 우수성과 지속적인 학습을 유도하게 된다.

when practicing summative assessment, we are acting far more as regulators than educators. Although summative assessment is certainly necessary, our assessment focus must be far broader. The educator’s role, accomplished via formative assessment, is to impart information, instill values, and inspire excellence and ongoing learning.


현재 교육트렌드에서의 형성평가

Formative Assessment in Light of Current Educational Trends


학습 결과와 특정 학습 목표를 연결하는 역량 기반 평가에서는 지속적이고 빈번한 평가가 필요합니다 .11,12 자기 주도적 평가 추구 행동 (self-directed assessment-seeking behavior)과 같은 활동을 통해 학습자를 적극적으로 참여시키는 것이 역량 기반 의학 교육의 필수 구성 요소로 간주됩니다.

Competency-based assessment that links learning outcomes with specific learning objectives requires continuous and frequent assessment.11,12 Actively engaging the learner, through activities such as self-directed assessment- seeking behavior,13 in which students actively seek feedback on performance for the purpose of improvement, is considered an essential component of competency-based medical education.12


학부 의학 교육에서의 형식 중심 평가 시스템의 사례

The Case for a Formatively Focused Assessment System in Undergraduate Medical Education


LCME는 학부 의학 교육 (UME)의 요구 사항으로서 형성 평가를 요구했으며, 이는 학생들로부터 재교육을 목적으로 midclerkship 또는 midcourse 피드백을 주는 것이다.

The Liaison Committee on Medical Education (LCME) has mandated formative assessment as a requirement in undergraduate medical education (UME) through midclerkship and/ or midcourse feedback to students for remediation purposes.14


피드백이 예상되고 존중되며 모든 학습자에게 정기적으로 주어지는 음악 및 스포츠와 같은 다른 전문 교육 문화와는 달리, 의학 교육에서는 진정한 피드백 문화를 육성하지 못했습니다 .15,16

Unlike other professional training cultures such as music and sports, in which feedback is expected, respected, and given regularly to all learners, we have not yet cultivated a true feedback culture in medical education.15,16


오늘날 일반적으로 사용되는 형성평가는 서로 의사 소통을하지 않는 의사들이 각자 독립적으로 수행하는 일련의 펀치 생검에 비유 될 수 있습니다. 이러한 평가는 context-dependent하며, 종종 대충대충 이루어지고, 학습자가 잘 지내고 있는지 확인하는 데 중점을 둡니다. 이러한 평가는 매우 심각하지 않으며 학생들이 "학점에 반영되지"않기 때문에 진정으로 가치를 평가받지 못합니다. 잠재적 인 문제를 발견하는데 도움이 되지만, 대개 remedial 과정은 교사의 수업 시간으로 제한됩니다. 부정적이든 긍정적이든 정보는 후속 강좌 및 강사에게 거의 전달되지 않습니다.

Formative assessments typically used today could be likened to a series of punch biopsies performed by independent physicians who do not communicate with each other. They are highly context dependent, often done on the fly, and focused on ensuring that the learner is doing well. These assessments do not go very deep, nor are they truly valued by the students because they do not “count for a grade.” They may uncover a potential problem, but remediation efforts are usually limited to the time of that teacher’s course. Information, negative or positive, is rarely passed on to future courses and instructors.


평가는 서로 무관한 일련의 사건이기보다 조직적이고 지속적인 프로세스의 일부일 때 가장 유용하다고 제안합니다. 평가과정은 다음과 같은 정보를 만들어야 한다.

  • (1) 학생들에게 그들의 성과에 대해 알리는 상세한 피드백으로 체계적으로 번역되는 정보 

  • (2) 교수가 지원하고지도하는 개선을위한 특정 계획을 개발하게 하는 정보

  • (3) 학생들은 진도의 증거를 제시해주는 정보

  • (4) 시간이 지남에 따라 계속되는 주기의 일부로서의 정보. 

We suggest that assessment is most useful when it is part of an organized and ongoing process rather than a set of unrelated events. The process should generate information that 

(1) is systematically translated into detailed feedback that informs students about their performance, 

(2) leads to the development of specific plans for improvement supported and guided by faculty, 

(3) is subject to follow- through whereby students present evidence of progress, and 

(4) is part of a continuous cycle over time. 


그러한 과정은 학습자가 의학의 질적 향상에 일반적으로 사용되는 체계 인 개인적이고 교육적인 PDSA주기 (그림 1 참조)에 참여하도록 권장합니다.

Such a process would encourage the learner to engage in a personal, educational plan–do–study–act (PDSA) cycle (see Figure 1), a commonly used framework in quality improvement in medicine,17





대학원 의학 교육 (GME)의 차세대 인증 시스템은 형성 및 총괄 평가를  단일 시스템으로 통합하여 체계적으로 모아서 학습자와 의도적으로 공유함으로써 궁극적으로 최종 합계 결정을 알려줍니다.

The Next Accreditation System18,19 in graduate medical education (GME) integrates formative and summative assessments into one system, with formative data gathered systematically and shared deliberately with the learner over time, ultimately informing the final summative decision.



마일스톤은 형성평가를 위한 틀을 제공하고, 수련 프로그램 과정에서 레지던트가 역량을 달성하고 독립적 인 진료행위를 준비해갈 수 있도록 종적, 발달 적 접근을 촉진하기위한 것입니다. 이 새로운 평가 시스템은 performance가 아니라 learning에 관심을 가지게 하며, 이는 UME 평가를 지지하는 것과 거의 같은 방식이다.

Milestones are intended to serve as a framework for formative assessment20 and to promote a longitudinal, developmental approach, over the course of a residency program, to achieving competence and becoming ready for independent practice. This new assessment system shifts attention away from performance and instead emphasizes learning in much the same way that we are advocating for UME assessment.


UME에 집중적으로 집중 한 평가 시스템 구축에 대한 도전

Challenges to Building a Formatively Focused Assessment System in UME


대조적으로, UME에서의 평가에 대한 도전 과제는 상당히 다양합니다. 교수들은 기대역량에 대한 명확한 기준이 없으며, 잠재적으로 자신의 분야에 들어올 가능성이 낮은 학습자에게 투자를 덜 한다. 더욱이 학생들은 개인적인 성취도와 경쟁 우위에 초점을 둔 문화에서 의대에서 건설적인 피드백을 받거나 신뢰할 준비가 되어있지 않다. 긍정적인 피드백이 아닌 모든 것은 학생들을 "경쟁에서 뒤떨어지게"한다고 여긴다. UME의 교수들은 종종 자신을 지식의 전달자로 간주하여 평가를 다른 사람들에게 넘긴다. 더우기 교수들이 학생들을 만나는 시간이 일반적으로 짧기 때문에 교사들은 어떤 형태의 평가를 통해 학생들의 강점과 단점을 알게 되는 순간, 학생은 이미 다른 교수에게 가 있다.

In contrast, the challenges for assessment in UME are considerably more diverse; faculty might be uncertain about expected standards of competence and potentially less invested in learners who are not entering their field. Further, students often come to medical school from a culture that focuses on individual achievement and competitive advantage,21,22 and they may not be prepared to accept constructive feedback or to trust that anything but positive feedback will somehow put them at a “competitive disadvantage.” They may not see the value of formative assessment if it does not “count towards the grade.” Teachers in UME often view themselves narrowly as imparters of knowledge, leaving assessment to others. Compounding the problem, their exposure to students is typically brief, so that by the time teachers come to know their students’ strengths and shortcomings through some form of assessment, the students become someone else’s “gift,” if they are strong—or “burden,” if they have challenges.



형성평가 중심적 시스템의 개념적 토대

Conceptual Underpinnings of a Formatively Focused Assessment System


형성평가를 강조하는 평가 시스템은 개선을 포용하고 지원하는 문화에서만 번성 할 수 있습니. 대부분 개인의 방향을 언급하면서, 심리학자 캐롤 드벡 (Carol Dweck)은 "수행"오리엔테이션 과 "학습"오리엔테이션을 구별했다. 23,24 

  • 전자를 평가하는 시스템에서 학생들은 잘 보이기 위해, 다른 사람에게 호감을 얻고자 한다. 이러한 방향으로 학생들은 오류를 숨기고, 불확실성을 숨기거나 거부하며, 피드백을 징벌 적으로보고 일반적으로 피해야합니다. 

  • 대조적으로 학습 오리엔테이션은 학생의 목표가 향상되는 것인데, 당면 과제 또는 기술에 대한 숙달을 얻는 것입니다. 학습 오리엔테이션을 통해 학생들은 조언을 얻기 위해 자유롭게 불확실성을 인정합니다. 의견은 향상시킬 수있는 방법과 방법을 확인하는 방법으로 환영받을 것입니다.

An assessment system that emphasizes the formative can only thrive in a culture that embraces and supports improvement. Referring largely to individual orientations, psychologist Carol Dweck has distinguished between a “performance” orientation versus a “learning” or “mastery” orientation.23,24 In the system that values the former, students have the goal of looking good, to make others think favorably of them. With such an orientation, students are prone to hide errors, mask or deny any uncertainty, and view feedback as punitive and generally to be avoided. In contrast, a learning orientation is one in which the student’s goal is to improve—to gain mastery over the subject or skill at hand. With a learning orientation, students would freely admit uncertainty in order to gain advice and counsel. Feedback would be welcomed as a way of ascertaining where and how to improve.


형성 평가가 효과적이기 위해서는 의대에서 학습 오리엔테이션이 번창 할 수있는 문화를 창조 할 수 있어야합니다. 이것은 의과 대학의 첫 날에 학생들이 위험을 감수하고 자신의 강점과 도전을 드러낼 수 있다고 들을 때 시작되며 교과 과정 전반에 걸쳐 그 원칙이 강화됩니다.

For formative assessment to be effective, a medical school can (and must) create a culture in which a learning orientation can thrive. This begins on day one of medical school, when students are told that they can take risks and expose both their strengths and challenges, and that principle is reinforced throughout the curriculum.


Vygotsky의 근 지구 ​​발달 지대 (ZPD) 이론은 형식 중심의 평가 시스템에 정보를 제공하는 데 유용합니다. ZPD는 학생의 능력의 한계에있는 지식이나 기술, 도전을 받았지만지도를 통해 달성 할 수있는 지식 "기술"이라고 정의됩니다. 

Vygotsky’s26 theory of the Zone of Proximal Development (ZPD) is also useful in informing a formatively focused assessment system. The ZPD is defined as..

the “learning edge”: the knowledge or skills that are at the limits of a student’s competence, the ones by which they are challenged but that are achievable through guidance. 


비고츠키에 따르면, 특정 분야를 마스터 한 "지식이 풍부한 다른 사람"이 ZPD에서 학습자를 지도해야합니다. 이 코칭에서 형성평가가 중요합니다. 교수진이 ZPD에서 "지식이 풍부한 다른 사람"로 역할을 하고, 이를 위해 학생들과의 신뢰를 구축하는 것은 성과에 대해 학습하는 것을 장려하는 교육 시스템을 향한 진정한 문화 변화가 될 것입니다.

According to Vygotsky, a “knowledgeable other,” someone who has mastered the area already, needs to coach learners in their ZPD. Formative assessment is critical to this coaching. Empowering faculty to function as “knowledgeable others” in the ZPD and building the trust of the students that faculty will function in this way would be a real culture shift toward an educational system that encourages learning over performance.


UME에서 형성평가에 초점을 둔 시스템 도입

Implementing a Formatively Focused Assessment System in UME



요소

Elements


사실상 모든 평가 접근법은 형성평가에 사용할 수 있으며, 다만 자기 반성을 장려하고 학습지도, 안내 및 촉진에 사용되는 피드백 제공에 중점을 두도록 고안되기만 하면 된다.

Virtually all assessment approaches can be used in formative assessment, as long as they are specifically devised to emphasize providing feedback that encourages self-reflection and are used to direct, guide, and catalyze learning.


특성

Characteristics


List 1 highlights the characteristics of an institutional culture


기관문화의 특성

List 1 Institutional Characteristics of a Formatively Focused Assessment System


기관에서 형성평가는...

• 체계적이고 통일 된 체계의 특성을 지니면서 조직되고, 통합되고 포괄적이어야합니다

• 총괄 평가 시스템을 보완한다. 시스템을 매핑 할 때 교육자는 형성적 요소와 총괄적 요소의 목적과 최적 사용을 고려해야합니다.

• 다양한 출처에서 다양한 형태로 데이터와 피드백을 제공합니다.

• central stewardship과 local accountability를 겸비한다. 의과 대학 지명 위원은 두 평가 기능이 서로 보완 할 수 있도록 형성 및 총괄 평가 시스템을 감독해야합니다.

• 학습자의 전체 기간 동안 지속적인 프로세스로 간주되어 여러 시점에서 구현됩니다.

• 피드백 및 개선 토론이 학습자와 교사라는 개인 사이의 정보 전달이 아니라 팀 노력의 일부가되도록 평가 데이터의 체계적인 수집 및 활용을 포함시킵니다.

• 개선의 책임은 학습자와 교사 모두에게 맡기고, 진행 상황을 찾고 모니터링하는 데 책임을 지도록하십시오.

• 피드백을 효율적으로 찾고, 받고, 사용하는 방법에 관한 학습자 세션을 포함시킵니다.

• 교사가 학습자의 자기 개선을 장려하기위한 적절한 동기 부여 기법을 사용하여 코치로 참여하는 법을 배울 수 있도록 교수진 개발 세션을 포함시킵니다.


Institutionally, a formative assessment system should:


• Be organized, integrated, and comprehensive, having the characteristics of a coordinated and uni ed system.


• Be complementary to the summative assessment system. In mapping a system, educators should consider purpose and optimal use of formative and summative elements.


• Provide data and feedback in many different forms from a variety of sources.


• Have both central stewardship and local accountability. A designee of the medical school should oversee both formative and summative assessment systems to ensure that both assessment functions are serving to complement one another.


• Be seen as a continuous process over the learner’s entire tenure and implemented at multiple points in time.


• Include systemic collection and utilization of assessment data so that feedback and improvement discussions become part of a team effort rather than a private transfer of information between learner and teacher.


• Place responsibility for improvement on both learner and teacher, and hold both accountable for seeking and monitoring progress.


• Include learner sessions on how to effectively seek, receive, and use feedback.


• Include faculty development sessions so that teachers can learn how to engage as coaches, using appropriate motivational techniques to encourage self-improvement in learners.


List 2 articulates attributes of this culture’s learner–teacher relationship.


교사-학습자 관계

List 2 Learner–Teacher Relationship in a Formatively Focused Assessment System


형성평가에서 학습자와 교사의 관계는 다음과 같아야 한다.

Interpersonally, the nature of the student–teacher relationship in a formative assessment should:


• 발달적이다. 평가자와 학생 모두 적절한 표식과 교수가 학생이 다음 단계에 도달 할 수있는 방법을 알릴 수 있도록 마커 또는 마일스톤을 배치해야합니다.

• 학습자 중심이다. 평가 방법은 학생의 학습 목표와 관련되어야하며 학생의 수행은 외부 수행 측정과 관련되어야합니다.

• 개선을 중시한다. 학습자는 지속적인 개선을 위해 끊임없이 노력하고 최소한의 능력으로 시험 점수를 수락하고 새로운 과목으로 옮기기보다는 우수성을 열망해야합니다.

• 학생들의 자기 반성을 장려하십시오. 학생들은 자체 평가 능력을 향상시키고 성과 향상을 위해 피드백을 사용하는 기술을 내부화 할 수 있도록 자신의 성과 평가에 대한 책임을 져야합니다.

• 광범위한 평가 데이터를 활용하여 학습자의 사고 프로세스 및 다양한 차원의 성과를 탐구하도록 유도하십시오.

정기적으로 예정된 피드백을 학습자에게 참여시켜 루프를 닫습니다. 피드백은 정기적으로 스케줄링되어야하며, 학습자가 지속적으로 향상시킬 동기를 부여하기 위해 실질적이고 구체적이어야합니다.

• 관계 구축을 장려하십시오. 피드백은 학습자와 교사 간의 유대감을 강화하기 위해 코칭을 중심으로 직접 대면해야합니다.

• 학습자가 계속해서 성과 문제에 대해 책임을 지는지 확인하기위한 후속 조치를 포함시킵니다.

• 막연한 격려가 아닌 개선 방향 및 자원을 학습자에게 제공하고 학습자가 개선을위한 자신의 전략을 식별하도록 권장합니다.

• 피드백 대화의 본질과 그것을 더욱 효과적으로 만드는 방법에 대한 교사의 자기 반성을 장려하십시오.


• Be developmental. Markers or milestones must be laid out for both assessors and students so that they have a sense of the proper expectations and faculty can communicate how student may reach the next level.


• Be learner centered. Assessment methods should relate to the student’s learning goals, and the student’s performance should be related to external measures of performance.


• Be improvement focused. Learners should be encouraged to work constantly towards continuous improvement and aspire to excellence rather than accepting a test score, even minimal competence, and then moving on to a new subject.


• Encourage student self-reflection. Students should be encouraged to take responsibility for assessing their own performance so as to improve skills in self-assessment and internalize skills for using feedback to improve performance.


• Draw on a broad range of assessment data, which encourage exploration of the learner’s thinking process and multiple dimensions of performance.


• Involve regularly scheduled feedback to the learner to close the loop. Feedback must be regularly scheduled rather than exclusively “on-the-fly,” and be substantive and specific to motivate the learner to continue improving.


• Encourage relationship building. Feedback should be given face to face, with a coaching focus so as to strengthen the bond between learner and teacher.


• Include follow-up to ensure that the learner is accountable for continuing to work on performance issues.


• Provide learners with directions and resources to improve, rather than just vague encouragement, and encourage the learners to identify their own strategies for improvement.


• Promote teacher self-reflection on the nature of the feedback conversation and ways of making it more effective.


인프라

Infrastructure


역량 기반 평가 시스템의 토대는 성취에 대한 일련의 기대치입니다.

The foundation of any competency-based assessment system is a set of defined expectations for achievement.


잘 정의 된 성취 마커의 토대 위에는 형식 중심의 평가 시스템을 지원하는 네 가지 기둥, 즉 교수 개발, 학습자 개발, 장기 어드바이저 및 코칭 프로그램, 문서 작성 방법이 있습니다.

On this foundation of well-defined markers of achievement stand four pillars to support the formatively focused assessment system: faculty development, learner development, a longitudinal advising and coaching program, and a method for documentation.

교수개발

Faculty development.


효과적인 학생 - 교사 관계를 구축하는 것은 최적의 학습에 필수적이며 이것은 명시적으로 가르 칠 수 있습니다 .34 피드백 전략은 학생 - 교사 관계를 구축하고 학습자가 개선을위한 자체 전략을 스스로 평가하고 개발하도록 도전해야합니다. ask-discuss-ask 피드백 프레임 워크는 이러한 목표를 달성하기 위해 고안되었습니다.

Building an effective student–teacher relationship is essential to optimal learning and can be taught explicitly.34 Feedback strategies should be tailored to building the student–teacher relationship and challenging learners to self-assess and develop their own strategies for improvement. The ask–discuss–ask feedback framework35 is designed to achieve these goals.


마지막으로 교수진은 비고츠키의 ZPD에서 "지식이 풍부한 타자"의 역할을 하도록 교육 받아야하며, 학생들이 자신의 "학습 장점"을 발견하고 공유하고 개선을 위해지도하도록 권장해야합니다.

Finally, faculty need to be trained in Vygotsky’s ZPD, to serve as the “knowledgeable other,” encouraging students to discover and share their “learning edge” and coaching them for improvement.



학습자 발달

Learner development.


피드백, 발달 및 성장주기에 참여하기 위해 의대생을 훈련시키는 과정은 학생들이 자신의 한계를 인정하고 피드백을 얻는 과정이 안전하며, 심지어 보상받는 것처럼 느끼는 학습 / 숙달 문화를 만드는 것으로 시작됩니다.

The process of training medical students to become engaged in the cycle of feedback, development, and growth begins with creating a learning/mastery culture where students feel safe, even rewarded, for acknowledging their limitations and seeking feedback.


종단적 학문적 조언과 코칭

Longitudinal academic advising and coaching.


우리가 제안하려는 시스템에는 교수들이 조언자(학생)에게 밀접하게 투자되고 학생이 교수를 가치있는 자원으로 보게되는 종단 학업 상담 프로그램은 필수적입니다. 어드바이저는 학생들의 총괄평가와 형성평가에 액세스 할 수 있으며 개별 학습 계획 (ILP)을 개발하는 데 도움을 줄 책임이 있습니다.

A longitudinal academic advising program, in which faculty members become closely invested in their advisees and students come to see faculty as valuable resources, is essential to our proposed system. Advisors would have access to students’ summative evaluations, as well as formative evaluations, and would be responsible for assisting them in developing individual learning plans (ILPs).38


교사와 학습자 사이의 신뢰 관계를 수립하는 것은 지속적인 장기간의 관계를 통해 달성되는데, 이는 주로 임상 코칭 프로그램보다 조언 프로그램에서보다 쉽게 ​​구현된다. 왜냐하면 학생은 로테이션 블록이 짧고, 교수들은 입원환자 블록이 짧기 때문이다.

establishing a trusting relationship between teacher and learner is achieved through sustained, longitudinal relationships, more easily implemented in an advising program than in a clinical coaching program, given the short curricular rotation blocks for students and shorter inpatient blocks for faculty.


그러나 많은 학교에서는 종일 학생 - 교사 경험을 구조화하는 것이 현실성이 낮다는 것을 발견했다,

However, many schools have not found it feasible to structure longitudinal student–teacher experiences,


UME에서 학생들에 관한 정보를 공유하거나 "forward feeding"에 관한 많은 논쟁이 있습니다. 어떤 사람들은 자기 실현적인 예언, 라벨링, 잠재적 인 낙인 찍힘의 위험에 대해 경고하고, 다른 사람들은 올바르게 끝나면 학생의 이익을위한 정보를 공유하는 것이 의미있는 종단 평가에 기여하고 더 나은 의사를 개발한다고 주장한다. 사실, 대다수의 내과 전임 강사가 승인했으며 학생 교육 전반에 걸쳐 형성 평가를 체계화하고 학습 결과에 대한 책임을 증진시키는 데 중요한 요소가 될 수 있습니다.

Much controversy surrounds sharing information about students, or “forward feeding,” in UME. Some have warned about the dangers of self-fulfilling prophecies, labeling, and potential stigmatization, while others argue that when done correctly, sharing information for the student’s benefit contributes to meaningful longitudinal assessment and develops better doctors.43–45 In fact, forward feeding has been endorsed by a majority of internal medicine clerkship directors46 and may be a critical element of systematizing formative assessment throughout a student’s education and promoting accountability for learning outcomes.


학습과 평가의 연속성을 일반화하는 한 가지 방법은 교사와 학습자 모두에게 정보를 전달하는 것입니다.

One way to generalize the continuity of learning and assessment is to charge both teacher and learner with carrying information forward.



문서화

Formative documentation.


학습 활동, 달성 된 역량 및 주어진 피드백에 대한 필수 문서화는 형식에 중점을 둔 평가 시스템에서 필수적입니다. 성적표는 요약 평가의 공식 문서로 사용되지만, 학습자가 심각한 어려움을 겪지 않는 한 조형 평가는 종적으로 문서화 될 가능성이 적습니다. 많은 사람들이 총괄적인 목적으로 엄격하게 사용되었지만 개발 능력을 문서화하기 위해 포트폴리오를 동등하게 사용할 수 있습니다.

Required documentation of learning activities, competence achieved, and feedback given is essential in a formatively focused assessment system. While the transcript serves as a formal documentation of summative assessment, formative assessment is less likely to be documented longitudinally unless a learner is experiencing serious difficulties. Although used by many strictly for summative purposes, the portfolio can be used equally for documenting developing competence.


자원

Resources


우리가 제안하는 대부분은 새로운 프로그램을 위해서 많은 자본 지출이 필요하다가보다, 문화적 변화에 대한 강력한 지도력과 관리 및 기존 인프라의 재구성이 필요하다.

Much of what we propose demands strong leadership and management of cultural change and a retooling of existing infrastructure, rather than a large outlay of capital for new programs.



결론

Conclusion


형성평가는 폐쇄 루프를 형성하는 여러 구성 요소를 포함하는 연속 프로세스로 간주되어야합니다. 

  • 관련된, 유용한 정보를 수집하는 것

  • 학생과 그가 상호 작용하는 모든 사람들간에 정보를 공유하는 것; 

  • 목표를 달성하기위한 지침 및 자원의 도움을 받아 자기 주도적으로 (그러나 면밀한 감독하에) 학습 목표를 개발

  • 목표를 달성하기위한 진전과 장벽을 파악하기 위해 정기적으로 후속 조치를 취해야합니다.

Formative student assessment must be seen as a continuous process involving several components forming a closed loop: 

  • collecting relevant, usable information; 

  • sharing that information between a student and all those with whom he or she interacts; 

  • developing self-directed (but closely overseen) learning goals along with guidance and resources for accomplishing these goals; and 

  • regularly following up to identify progress and any barriers to achieving those goals.


예를 들어, 코스가 끝날 때의 인터뷰에서 학생은 강점, 도전 과제 및 학습 목표를 공유하고 교수로부터 피드백을받을 수 있습니다. 학생들은 advisor과 만나서 다음 번 clerkship을 위한 학습 계획을 수립하고 교육용 PDSA주기의 일부로 그것을 공유하고 구현할 준비가되었습니다.

For example, in an interview at the end of a course, a student would share strengths, challenges, and learning goals and receive feedback from a faculty member. Students would then meet with their advisor to develop a learning plan for the next clerkship and arrive prepared to share it and implement it as part of their educational PDSA cycle.


흔히 인정되지는 않지만, 교육에서 지지되는 원칙과 임상 진료의 질적 향상의 원칙 사이의 유사점은 주목할 만하다. 학습자 중심 교육에 대한 관심으로부터 환자 중심의 치료에 대한 헌신은 어떻게 다른가요? 치료의 지속성과 조정은 우리가 환자의 회복뿐 아니라 학생의 발달에 관해 이야기 할 때도 마찬가지로 중요합니다. 평가 및 품질 관리는 시스템의 모든 요소가 동기화되어있는 경우와 격리 된 개인의 기술에 의존하기보다는 함께 일하는 전문가들 간의 팀워크가있는 경우에 가장 효과적입니다. 환자 중심의 치료와 학습자 중심의 교육 모두에서 성공적인 핸드 오프를 수행하고 지속적인 모니터링을 수행하는 방법을 아는 것이 중요합니다. 본질적으로, 의대생의 양질의 형성 평가는 좋은 약의 실습 그 이상이며, 우리가 임상에있는 것처럼 교육 분야에서 헌신적이어야합니다.

Although not often recognized, the parallels between the principles espoused here and those of quality improvement in clinical care are noteworthy. How different is a commitment to patient- centered care from a concern for learner- centered education? Continuity and coordination of care seem equally relevant when we talk about improvement of the student as well as recovery of the patient. Assessment and quality care both work best when all of the elements of the system are in sync, and when we have teamwork among professionals working together rather than relying on the skills of isolated individuals. It is crucial in both patient-centered care and learner- centered education to know how to conduct successful handoffs and engage in constant monitoring. In essence, quality formative assessment of medical students is little more than the practice of good medicine, and we should be as committed to it in the educational sphere as we are in the clinical.






12 Holmboe ES, Sherbino J, Long DM, Swing SR, Frank JR. The role of assessment in competency-based medical education. Med Teach. 2010;32:676–682.


15 Archer JC. State of the science in health professional education: Effective feedback. Med Educ. 2010;44:101–108.


16 Watling C, Driessen E, van der Vleuten CP, Vanstone M, Lingard L. Beyond individualism: Professional culture and its influence on feedback. Med Educ. 2013;47:585–594.


20 Holmboe ES. Realizing the promise of competency-based medical education. Acad Med. 2015;90:411–413.


22 Gunderman RB, Kanter SL. Perspective: “How to fix the premedical curriculum” revisited. Acad Med. 2008;83:1158–1161.


27 van der Vleuten CP, Dannefer EF. Towards a systems approach to assessment. Med Teach. 2012;34:185–186.


28 Dijkstra J, Van der Vleuten CP, Schuwirth LW. A new framework for designing programmes of assessment. Adv Health Sci Educ Theory Pract. 2010;15:379–393.


41 Hirsh DA, Holmboe ES, ten Cate O. Time to trust: Longitudinal integrated clerkships and entrustable professional activities. Acad Med. 2014;89:201–204.


42 Hauer KE, O’Brien BC, Hansen LA, et al. More is better: Students describe successful and unsuccessful experiences with teachers differently in brief and longitudinal relationships. Acad Med. 2012;87:1389– 1396.






 2016 Nov;91(11):1492-1497.

Focusing on the FormativeBuilding an Assessment System Aimed at StudentGrowth and Development.

Author information

1
L. Konopasek is designated institutional official, NewYork-Presbyterian Hospital and associate professor of pediatrics, Weill Cornell Medicine, New York, New York. J. Norcini is president and chief executive officer, Foundation for Advancement of International Medical Education and Research, Philadelphia, Pennsylvania. E. Krupat is director, Center for Evaluation, Harvard Medical School, Boston, Massachusetts.

Abstract

This Perspective addresses the need for an integrated system of formative and summative assessment in undergraduate medical education with a focus on the formative. While acknowledging the importance of summative assessment, which asks whether trainees have met criteria for progression, the authors propose that a formatively focused assessment system can best accomplish a central task of competency-based medical education: transmitting feedback to learners in a format and a manner that will help them to improve, develop, and grow. Formative assessment should not be seen as a set of singular events but, rather, as a process that is organized and integrated over time, much like the cycle of quality improvement in medicine. To justify this position, the authors discuss its conceptual underpinnings and rationale, including the need to prepare learners for the formatively focused assessment system of graduate medical education. Next, the authors identify assessment strategies that could be employed, as well as the characteristics of an institutional culture and the learner-teacher relationship necessary for a learner-centered, improvement-focused assessment system to succeed. Finally, an infrastructure for such a system is proposed. This consists of a foundation of well-articulated and disseminated milestones for achievement and four pillars: faculty development, learner development, longitudinal academic advising and coaching, and documentation of developing competence. The authors conclude by suggesting that the guidelines proposed are analogous to the principles of continuity and coordination of care, so much valued in the world of medicine yet often overlooked in the world of education.

PMID:
 
27028028
 
DOI:
 
10.1097/ACM.0000000000001171


캄보디아 간호전문직의 역량강화: 교수개발을 위한 브릿징 프로그램(Int J Nurs Pract, 2016)

Building the capacity of nursing professionals in Cambodia: Insights from a bridging programme for faculty development

Kyoko Koto-Shimada RN MNS

Long-term expert, Japan International Cooperation Agency, The Project for Strengthening Human Resources Development System of Co-medicals,

Phnom Penh, Cambodia

Satoko Yanagisawa, MS PhD

Professor, School of Nursing and Health, Aichi Prefectural University, Aichi, Japan

Puangrat Boonyanurak RN Ed.D

Associate Professor, Faculty of Nursing, Burapha University, Chonburi, Thailand

Noriko Fujita MD PhD

Director, Division of Global Health Programs, Department of Health Planning and Management, Bureau of International Health l Cooperation, National

Centre for Global Health and Medicine, Tokyo, Japan




INTRODUCTION



1990 년대 이래로 캄보디아 보건부 (Ministry of Health, MoH)는 정책 개발 및 기획을 통해 양과 질 문제를 해결함으로써 급성 의료 인력 부족 문제를 해결하고자 했다. 이러한 노력에도 불구하고 상당한 보건 인력이 여전히 부족하다. 캄보디아는 인구 1,000 명당 0.2 명의 의사 3 명과 간호사 0.9 명과 조산사가 가장 적은 인력 수준을 갖추고 있습니다. 캄보디아는 또한 간호사, 다른 공동 의료 ​​및 가족 간의 업무 공유 및 역할 대체에 영향을 미치는 의사 분포에서 국가 내 불평등이 가장 심각하다. 결과적으로 건강 인력의 44.7 %와 25 % 를 차지하는 간호사와 조산사가 간호 서비스보다 의료 개입에 초점이 된다.


Since the 1990s, the Cambodian Ministry of Health (MoH) has adjusted its focus from an acute care model to address the acute health personnel shortages by tackling quantity 1,2 and quality issues via policy development and planning. Despite this effort, a substantial health personnel shortage remains; Cambodia has the lowest staffing levels, with 0.2 3 doctors and 0.9 nurses and midwives per 1000 population. Cambodia also has the greatest subnational inequalities in the distribution of doctors, which affects task sharing and role substitution among nurses, other co-medicals and families. Consequently, nurses and midwives, who account 4 for 44.7% and 25% of the health workforce respectively, 5 focus on medical interventions rather than nursing services.


간호 및 조산술 교육의 개선은 인력 수의 증가와 건강 관리 및 보건 시스템의 질 향상에 필수적인 것으로 인식되고 있습니다. Camodia에서 간호의 질과 양을 향상시키기 위해서는 간호 전문성과 그에 상응하는 교육을 겸비한 간호 사서의 수를 늘릴 필요가있다. 캄보디아에서는 적절하게 준비된 간호 교수진의 부족에 영향을 준 역사적 사건이 있다.내전 기간동안 매우 소수의 보건전문직 만이 살아남았다(1975-1979) . 오늘날 캄보디아의 362 명의 간호학 교수 중 고작 20 % 만이(71 명) 학사 학위를 갖고있다. 이들이 보유한 학위는 이 보고서에 설명 된 브리징 프로그램에서 받은 것이다. 이것은 심각한 부족을 나타냅니다. 예를 들어, 2009 년에 시작된 그러한 프로그램 중 하나는 2014 년에 808 명이 등록 되었음에도 불구하고 자격을 갖춘 강사가 부족합니다. 2009 년 6 개 공립학교, 2014년까지 11개의 사립학교가 추가로 생겼음에도 부족한 것이다

Improvements in nursing and midwifery education are recognized as essential in increasing workforce numbers and 6,7 enhancing the quality of health care and health systems. To improve the quality and quantity of nursing care in Cam- bodia, it is necessary to increase the number of nursing in- structors who have both expertise in nursing care and commensurate education. In Cambodia, history has played a part in the deficit of adequately prepared nursing faculty; very few health professionals survived the civil war (1975–1979).1 8 Among the 362 nursing faculty in Cambodia today, barely 20% (n=71) hold bachelor’s degrees; the sources of these degrees were the bridging programmes described in this re- port. This represents a severe shortage. For example, one such programme, initiated in 2009, lacks qualified instructors 9 in spite of an enrolment of 808 in 2014. This is in spite of an increase in nursing schools fromjust six public schools in 2009 8,9 and an additional 11 private schools by 2014.


기본 간호 프로그램의 증가에도 불구하고 대부분의 간호 및 조산사 강사는 준associate 학사 학위 또는 이와 동등한 자격 ​​만 보유하고 있으며 실제로 학사 학위를 가진 사람은 제한적입니다 .8 그러나 캄보디아는 다른 기본 개발 과제 인 개발 도상국과 다르지 않아서, 예컨대 초등 및 중등 학교 수준의 직원이 부족하다. 간호 프로그램은 또한 임상 기술을 가르치기위한 제도적 자원 부족, 교수진의 지속적인 개발 부족, 임상 및 교육 기관 간의 협력적 연결 부족으로 어려움을 겪고있다. 이러한 유형의 어려움에도 불구하고 다른 나라의 간호 교육 (인도, 스리랑카 및 사하라 사막 이남 아프리카)은 공동 교원 7,10-12 개발 프로그램을 통해 유사한 어려움을 극복했습니다.

In spite of this increase in basic nursing programmes, most nursing and midwifery instructors only hold associate degrees or equivalent qualifications, and the number with bachelor’s degrees is limited.8 However, Cambodia is not different from other developing countries with common underlying challenges such as teaching staff shortages at the primary and secondary school levels. Nursing programmes also suffer from 

  • a lack of institutional re- sources for teaching clinical skills, 

  • insufficient continuing development of faculty members, and 

  • weak collaborative 3,7 linkages between clinical and educational institutions. 

In spite of these types of difficulties, nursing education in other countries (India, Sri Lanka and Sub-Saharan Africa) has overcome similar challenges through collaborative faculty 7,10–12 development programmes.



이 평가 보고서는 2011 년에 시작되어 현재 교수진이 간호학 학사 (BSN)로 업그레이드 할 수 있도록하는 두 가지 브리징 프로그램에 중점을 둡니다. 캄보디아 국회의원이 프로그램을 조직했기 때문에 공무원 인 개인 만 참여할 수있었습니다.

This evaluation report focuses on two bridging programmes that were initiated in 2011 to allow current faculty members to upgrade to a Bachelor of Science in Nursing (BSN). Because the Cambodian MoH organizedthe programmes, only individuals who were public servants13 were allowed to participate. 



하나의 프로그램은 유니버시티 (Uni- 13) 필리핀, 마닐라에서 교수진의 지원을 받아 제공되는 47 학점, 24 개월 프로그램이었다.

One programme was a 47-credit, 24-month programme offered with the support of faculty members from the Uni- 13 versity of Philippines, Manila.



METHODS


Sample


The sample included two different groups of subjects. 

    • The first consisted of the nursing or midwifery instructors and clinical preceptors who were current or previous students in either bridging programme. These individuals were se- lected based on their availability and were recommended by the MoH. 

    • The second group consisted of managers of participating agencies including school directors, technical bureau chiefs, hospital directors and nursing directors. This second group was selected to generate data regarding insti- tutional changes, attitudes or events that evolved after pro- gramme participants returned to the workplace. Subjects were interviewed individually or in groups according to availability.



Data collection


Semi-structured interviews were conducted between in late August 2014. An interview guide was developed to identify the following: 

    • motivation to participate the programme; 

    • main lessons learned during the programme; 

    • expectations at completion of the programme; 

    • support received at their working place, 

    • gaps between expectation and reality; 

    • per- sonal obstacles encountered, 

    • personal achievements or con- tribution to their institution after graduation; 

    • contribution to nursing profession in Cambodia and 

    • suggestions and requests for further utilization of their new qualifications. 

Researchers conducted interviews via a native bilingual interpreter.


Data analysis


An individual who understood both English and Khmer dictated subjects’ responses during the live interviews. Data from each group or individual interview were transcribed into English for analysis. In accordance with qualitative descriptive method, phrases that corresponded to programme participants’ main lessons learned, outcomes, challenges and obstacles during and after the programme, and needs for further development were extracted, coded and reviewed repeatedly. Categories and subcategories developed until saturation occurred as determined by the investigators. The managers’ expectations, reports observable outcomes by graduates and needs for the further faculty development were used in the triangulation of programme participants’ views.


Ethical considerations




RESULTS



새로운 간호 내용영역

New nursing content areas


전문성 향상 

Upgrading expertise


새로운 교육 접근법: 이론을 실천으로

New teaching approaches—transforming theory into practice


간호관리와 교육모델

Nursing care and education models



주로 배운 내용들

Box 1 – Main lessons learned (Newnursing content areas):


Upgrading expertise
   Upgraded knowledge and skills
   New subjects and concepts
   Students evaluation
   Information search by oneself
   Self-confidence as a nurse 
New approaches in teaching
   Teaching methods/styles
   Methods of practicum design
Transforming theory into practice
   Application of nursing process in practice 
Nursing care and education models
   Experience of quality nursing care and health system
   Concept of Nursing
   Ideal teacher

전문 기술 업그레이드
    업그레이드 된 지식과 기술
    새로운 주제 및 개념
    학생 평가
    자기 자신에 의한 정보 검색
    간호사로서의 자신감
교수법의 새로운 접근법
    교수법 / 스타일
    실습 디자인 방법
이론을 실천으로 옮김
    실제로 간호 과정의 응용
간호 및 교육 모델
    양질의 간호와 건강 시스템의 경험
    간호학의 개념
    이상적인 교사

관측된 성과

Observable outcomes


새로운 지식의 적용과 전파

Application and dissemination of new knowledge


졸업후 프로페셔널리즘 향상

Increased professionalism postgraduation


관측된 성과

Box 2 – Course attendants’ observable outcomes:


Application of new knowledge to own work

   Apply nursing process

   Make changes in daily management of patients and nursing care

   Improve supervision of students’ clinical practice

   Discipline students 

Dissemination of new knowledge

   Provide new and improved lessons with upgraded knowledge

   Apply new teaching methods and styles

   Improve clinical practicum style

   Improve student evaluation 

Involvement in improving teaching-learning activities

   Improve course syllabi and lesson plans 

Contribution to the Cambodian nursing profession

   Formulation of core group


새로운 지식을 자신의 일에 적용

    간호 과정 적용

    환자간호의 일상 관리 변화

    학생들의 임상 실습 감독 개선

    학생 규율

새로운 지식의 보급

    업그레이드 된 지식으로 새롭고 향상된 수업을 제공.

    새로운 교수법 및 스타일 적용

    임상 실습 스타일 개선

    학생 평가 향상

교수 - 학습 활동 개선에 참여

    강좌 및 강의 계획 개선

캄보디아 간호직에 대한 기여

    코어 그룹의 형성


과제와 장애물

Challenges and obstacles


개인적 장애요인

Individual obstacles


일부 참가자들은 프로그램에서 개인 목표를 실현하는 데 어려움과 장애를 직면했다고보고했습니다. 특히, 국내 프로그램 보조원은 본업을 수행하는 동안 월별 수업일정도 이수해야 했습니다. 참가자들은 또한 프로그램 기간 동안 계속해서 가족의 의무를 이행해야했습니다.

Some participants reported facing difficulties and obstacles in realizing their personal goals in the programmes. In particular, in-country programme attendants had to com- plete lessons on a monthly schedule while they were still employed. The participants also had to continue to meet family obligations during the programme.



환경적 장애요인

Environmental factors


참가자들은 캄보디아의 교육 환경이 부적절하다는 사실을 깨닫고 이를 배운 것을 적용하는 데에 있어서 큰 걸림돌로 꼽았다. 예를 들어, 간호 학교 도서관은 현지 언어로 된 최신 자료가 부족하고 학생들은 컴퓨터 기술이 좋지 않으며 다른 직원들은 새로운 개념과 방법을 받아들이거나 이해하지 못합니다. 간호 서적과 저널의 부족은 심각한 문제로 지적되었습니다. 참가자들은 이러한 열악한 환경으로 인해 학생들이 독립적으로 학습하지 못하고, 강사의 수업 준비에 방해가 된다고 보고했습니다.

Participants reported that they had become acutely aware of the inadequate teaching–learning environments in Cambodia and listed this as a major obstacle to apply what they had learned. For example, nursing school libraries lack up-to-date references in local languages, students have poor computer skills and other staff mem- bers do not welcome or understand new concepts and methods. The lack of nursing books and journals were noted as a serious issue. Participants reported that this deficit prevents students from learning independently and hampered instructors when preparing lessons.



기대의 차이

Difference in expectations


참가자와 그들의 관리자 및 동료 간의 브리징 프로그램 결과에 대한 기대치에는 차이가있었습니다. 일부 참가자는 새로운 지식과 기술을 이해하고 받아들이는 데 어려움, 스트레스와 좌절을 경험했습니다. 다른 교수진은 종종 교수 - 학습 활동의 개선에 관한 새로운 전략과 아이디어에 동의하지 않았습니다.

There were differences in expectations concerning the bridg- ing programme outcomes between participants and their managers and colleagues. Some participants experienced dif- ficulty, stress and frustration in making their new knowledge and skills understood and then being accepted. Other faculty often disagreed with their new strategies and ideas concerning improvement of teaching–learning activities.


소수의 직원 만이 [변화를위한] 내 아이디어에 동의합니다. 나이 든 직원의 경우, 그들은 이미 가지고 있는 지식이 있고 나에게 기꺼이 배우려고 하지 않는다고 생각합니다.

Only a few staff agree with my ideas [for change]. For older staff, they think [they] have enough knowledge and [are] not willing to learn from me.



간호전문직에 대한 인정 부족

Lack of recognition of the nursing profession


참가자는 독립 직업으로으로서 간호에 대한 새로운 인식을 얻었고, 배운 모델에 따라 새로운 책임을 맡으려고했습니다. 그러나 그들은 다른 의료 전문가들이 간호를 unique한 직업으로 인정하지 못하는 것에 대해 많은 도전과 어려움에 직면 해있었습니다.

Participants gained a new awareness of nursing as an inde- pendent profession and attempted to assume new responsi- bilities according to the models they had learned. However, they faced many challenges and difficulties concerning other medical professionals’ failure to recognize the nursing as a unique profession.



과제와 장애요인

Box 3 – Challenge and obstacles:


Individual obstacles

   Difficulty in catching up lessons 

Inadequate environment

   Lack of latest references in Khmer

   Lack of computer skill of nursing school students

   Lack of staff who understands well about new concepts and methods 

Difference in expectations between BSN-degree holders and managers

   Difference in expectation between BSN holders and managers

   Lack of support from colleagues

   Overloaded 

Lack of recognition of the nursing profession

   Struggle in gaining understanding of other professions


개인적인 장애물

    교육을 따라 잡기 어려움

부적절한 환경

    캄보디아어로 된 최신 참고 자료 부족

    간호 학교 학생의 컴퓨터 기술 부족

    새로운 개념과 방법을 잘 알고있는 직원 부족

BSN 학위 소지자와 관리자 간의 기대치 차이

    BSN 보유자와 관리자 간의 기대치 차이

    동료의 지원 부족

    오버로드 됨

간호 직업에 대한 인정 부족

    다른 직업에 대한 이해를 얻으려는 투쟁


Perspectives on the further development


더 나은 발전을 위한 관점
Box 4 – Perspectives on the further development:


Strengthening human resources

   Continuous learning opportunities (upgrading course and in-service training)

   Improving of management and leadership skills

   Exchanging experiences to ensure mutual development

   Autonomy in nursing profession 

Updating teaching-learning activities

   Curriculum revision 

Improving teaching-learning environments

   Upgrading environments facilitates (i.e. infrastructure and equipment such as simulator) the application of course attendants’ capacity


인적 자원 강화
    지속적인 학습 기회 (과정 및 현업 중 교육 향상)
    관리 및 리더십 스킬 향상
    상호 발전을 위한 경험 교환
    간호직 분야의 자율성
교수 - 학습 활동 업데이트
    커리큘럼 개선
교수 - 학습 환경 개선
    환경을 업그레이드하여 course attendants의 역량 활용 촉진(예 : 시뮬레이터와 같은 인프라 및 장비)



인적자원 강화

Strengthening human resources


전문분야영역, 관리자와 리더십 향상

Specialty practice areas and improving management and leadership


참가자들이 임상 실습을 마쳤을 때 그들은 캄보디아에서 간호가 이뤄지는 방식과 그들이 배운 것 사이에 격차가 분명하다는 것을 알게되었다. 국내에서 프로그램을 마친 사람들은 더 발전된 간호 모델을 관찰 할 기회가 없다고 언급했습니다. 그들은 다음과 같은 유형의 경험이 특히 유익 할 것이라고보고했다.

As participants completed their clinical practicums they became aware that a theory–practice gap was evident between hownursing was delivered in Cambodia and what they had learned. Those who completed their studies in-country noted that they did not have an opportunity to observe more advanced models of nursing care. They reported that this type of experience would be particularly beneficial.



이웃 국가로의  연수를 나가거나 교환 프로그램을 통해 캄보디아의 간호 수준을 향상시켜 이 지역에서 표준을 달성하고 경쟁력을 높일 수 있습니다.

Study tours to neighbouring countries and exchange programs between schools, these make us challenge ourselves to improve the quality of nursing in Cambodia to meet standards or compete in this region.



간호에서 상호 발전과 자율성 인정

Recognizing mutual development and autonomy in nursing


참가자들은 간호에서 자율성의 필요성을 표명했으며 최근의 성장 경험을 캄보디아에서 진화하는 간호 리더로 계속 공유하기를 원했습니다. 그러나 이러한 개발 활동은 간호사가 학교, 병원 및 교육부에서 책임감있는 자세를 유지할 수 있도록 관리 지원이나 정책 변경을 필요로합니다. 참가자들은 간호에 대한 새로운 직업적 정체성을 가졌으며, 이로 인해 다른 BSN 간호사들과 네트워크를 형성하게되었습니다.

Participants expressed a need for autonomy in nursing and wished to continue sharing their recent growth experiences as evolving nursing leaders in Cambodia. However, these development activities often require managerial support or policy changes to allow nurses to hold responsible posi- tions in schools, hospitals and the Ministry. Participants reported having a new professional identity of nursing that has led them to create networks among other BSN nurses.


졸업생들은 프로그램이 끝난 후 외로웠습니다. 고립되지 않기 위해 우리는 대학원 그룹을 구성했으며 다른 업그레이드 프로그램 졸업생을 포함시킬 계획입니다.

Graduates felt lonely after the completion of the program. To stay connected, we formed a graduate group and plan to include graduates from other upgrading programs.



교수-학습 활동의 업데이트

Updating teaching–learning activities


동남아시아 국가 연합 (Association of Southeast Asian Nations)은 간호 서비스에 대한 상호 인정 약정 (Mutual Recognition Arrangement on Nursing Services)이라는 이니셔티브를 개발하여 회원국 간의 전문직 및 숙련 노동의 자유로운 이동을 촉진했습니다. 따라서 간호 역량에 관한 국제 표준을 충족시키기 위해서는 교과 과정 개정과 교습 학습 자료의 개선이 필수적이라고 확인되었다.

The Association of Southeast Asian Nations developed an initiative called the Mutual Recognition Arrangement on Nursing Services to facilitate free movement of professional 14 and skilled labour among member countries. Therefore, curriculum revision and improvement in teaching–learning materials were identified as essential in meeting interna- tional standards of nursing competency.



교수-학습 환경 개선

Improving teaching–learning environments



간호 역량과 교육환경 업그레이드

Upgrading instructional environments and nursing capacity


인력을 업그레이드하고 이론 실무 격차를 해소하기위한 커리큘럼을 개선하더라도, 현재의 표준과 실천practice에 부합하도록 교수 학습 인프라를 업그레이드해야 합니다. 사전 임상 수업, 컴퓨터 실험실 및 도서관 자료를위한 시뮬레이션 랩을 개발하는 것과 같은 물리적 시설 및 학교 장비가 여기에 포함됩니다.

In spite of upgrading personnel and improving curriculum to address theory–practice gap, teaching–learning infrastructures must also be upgraded to match current standards and practice. This includes physical facilities and school equipment such as developing simulation labs for pre-clinical teaching, computer laboratories and library resources.



DISCUSSION


프로그램의 효과

Programme effectiveness


참가자들은 교육 경험의 여러가지 주요 측면을보고했습니다. .

The participants reported several key aspects of their educational experience including 

  • a student-centred teaching–learning environment, 

  • using case-based practi- cums to narrow the theory and practice gap and 

  • using role models in teaching nursing. 


예를 들어, 그룹작업이나 도서관 참고 자료 나 인터넷을 이용한 자습과 대화 형 강의를하는 것은 졸업생들이 새롭고 효과적인 교수 방법으로보고 한 바있다. 이러한 전략은 캄보디아에서 흔히 이뤄지는, 독립적 학습이 이뤄지지 않게 하는 교과서조차 없는 고전적, 일방적, 강의 중심의 교수법과는 다르다. 졸업생들은 또한 교육 및 임상 실습 환경 사이의 의사 소통과 조정coordination이 부족하며, 교실에서 배우는 것이 임상간호현장에서 배우는 것과 차이가 ​​있음을 지적했습니다

For example, having interactive lectures with group work or self-study using library refer- ence materials or the Internet were reported by graduates 7,11 as novel and effective teaching approachs. These strate- gies differ from the prevailing teaching and learning methods in Cambodia that involve classical, one-way, lecture-based teaching without textbooks that prevents 8 independent learning. Graduates also noted a lack of com- munication and coordination between educational and clin- ical practice settings and a discrepancy between what is 8 taught in classrooms and observed in clinical nursing.



이러한 결과는 교육과 임상 사이의 협력을 강조한 해외 교육 경험의 영향에 대한 다른 보고서와도 부합합니다. 또한 일부 강사는 임상경험이 불충분하기 때문에 간호모델에 대한 노출은 성인 학습 관점에서 중요한 경험이었습니다.

These results are also compatible with other reports of the impact of overseas educational experience, particularly the importance of collaboration between education and clinical 7 practice. Further, because some instructors had insufficient 15 clinical backgrounds, exposure to model nursing care was 16 critical experience from an adult learning perspective.



또한 참가자들은 교육을 받으며, 변화하였고, 자신의 직업적 정체성을 인식하게되었습니다. 또한 BSN 학위를 취득한 것은 또 다른 문을 열어주었습니다. 예를 들어, 일부는 캄보디아에서 새롭게 조직 된 건강 전문가를위한 석사 학위를 취득하기로 결정했습니다.

In addition, participants felt that they were changed through their educational experiences and came to recog- 10 nize their own professional identities. Furthermore, earning the BSNdegree has opened other doors. For exam- ple, some have chosen to enrol in a master’sdegreeined- ucation for health professionals that was newly organized in 13 Cambodia.


참가자들은 또한 BSN 프로그램이 영어로 제공되었는데, 이는 개인의 능력에 기여하고 자신감을 증가 시켰다고 지적했습니다. 영어 실력은 캄보디아와 같은 국가에서 중요한 스킬인데, 캄보디아어로 된 최신 정보는 제한적이기 때문이다.

Participants also noted that the BSN programmes were offered in English, which has contributed to their individual 17 capacity and increased their confidence. English profi- ciency is an important skill in countries like Cambodia be- cause teaching materials and up-to-date information in the 13 national language remain limited.


참가자가 교육을 마친 후에 후속 조치와 지원이 배운 것을 적용시키는 데 도움이되는 것으로 밝혀졌습니다. 교수개발은 교수진이 개인적 발전을 위해 고안된 멘토십 시스템을 통해 장기간 지원을받을 때 가장 효과가 있는 것으로 알려져 있습니다. 졸업생들은 이전 직장에서 새로운 지식과 기술을 transfer하는 데 인내가 필요하다는 사실을 알게되었습니다. 환경이 준비되지 않았는데도 관리자가 졸업생들이 즉시 새로운 지식을 적용하기를 원했을 때 충격을 받았다고 설명했습니다. 졸업생들은 종종 다른 졸업생들의 지원에 의존했으며, managerial support는 동기 부여를 유지하는데 매우 중요하다고보고했습니다.

The data also revealed that follow-up and support after participants graduated are crucial to help the instructors actualize what they have learned. Faculty development is known to work best when faculty members receive long- term support via a mentorship system designed to enhance 7,18 personal development. Graduates found that transfer- ring new knowledge and skills back at their prior work places required patience. Managers described being shocked when graduates wanted to apply their newknowledge right away, even though the environment was not ready. The graduates reported that they often relied on support from other graduates and that managerial support was crucial to 18,19 maintaining motivation.



그러나 졸업생들은 또한 

  • 부적절한 교수 - 학습 환경, 

  • 동료와 관리자가 협력하고 이해하지 못하는 것

  • 간호사 직업에 대한 기대 차이

  • 간호사 직업의 범위에 대한 인식 실패

... 같은 실질적인 어려움을 지적했다. 

However, graduates also noted substantial difficulties such as 

  • inadequate teaching–learning environments, 

  • a lack of cooperation and understanding by colleagues and man- agers 

  • because of differences in expectations and 

  • failure by others to recognize the scope of the nursing profession. 


BSN 학위를 취득 했음에도 불구하고 교수 학습 활동을 개선하는 데 선도적 역할을하지는 못했습니다. 졸업생들은 어떤 상황에서는 스스로, 참여 기관, 수령 ​​기관 및 MoH간에 사전 조율이 부족하다는 점을 지적했습니다. 일부 기관들은 참여자들의 기대, 역할 및 책임을 명확히하지 않아서 BSN 수료 이후에 어느 정도 기여를 할 수있는지가 불확실했다. 이 현상은 다른 연구에서도 관찰되었다. 따라서 신중한 기관 수준의 계획과 후속 조치에 교육 과제 수정, 커리큘럼위원회 멤버쉽 및 인프라 계획을 포함해야 최적의 결과를 보장 할 수 있습니다.

Even though the instructors obtained a BSN degree, this did not ensure a leading role in improving teaching–learning activities. The graduates noted that in some situations there was a lack of preplanning between themselves, participating institutions, recipient institutions and the MoH. Some agencies had not clarified the expectations, roles and responsibilities of the participants after earning the degree that would allow them to make significant contributions afterwards. This phenomenon has also been observed in 18,19 other studies. Thus, careful planning and follow-up at the institutional level should include modifying teaching assignments, membership in curriculum committees and infrastructure planning would be important to ensure opti- mal outcomes.



개발도상국에서 간호역량 강화의 모델

A Model—Nursing Capacity Building in Developing Countries


이 연구를 수행 한 결과로 예상치 못한 결과는 개발 도상국에서 간호 인력의 역량을 확장하는 데 필요한 에이전트와 조치를 설명하는 개념 모델의 출현이다 (그림 1). 간호사 / 조산사 및 간호학의 질과 양을 향상시키기 위해서는 개개인 교수진의 역량 강화와 임상 교육이 이루어지는 간호 및 보건 기관의 두 학교 모두가 필요합니다. 이 두 목표를 달성하려면 Edge-Pulling (리더 개발)과 Bottom-Up Strategies (교직원 및 간호 전문인을위한 품질 향상)을 모두 적용해야합니다. 또한 중장기 적으로 장기 인력 계획을 수립하여 인력 및 기관의 추진력을 창출하고 유지해야합니다.


기관 수준에서 모델은 세 가지 목표를 가정한다 : 

  • (i) 간호 기능을 개발하고 발전시킨다. 

  • (ii) 모델 교육 병원 / 임상 기관 준비 및 

  • (iii) 교수 개발을위한 적절한 교수 - 학습 인프라 제공.

An unanticipated outcome of conducting this study is the emergence of a conceptual model that describes the agents and actions needed to expand the capacity of a nursing workforce in a developing country (Fig. 1). Improving the quality and quantity of nurses/midwives and nursing care requires both capacity building of individual faculty mem- bers and at both schools of nursing and health-care agencies 12 where clinical teaching occurs. Meeting these two objec- tives requires the application of both Edge-Pulling (leader development) and Bottom-Up Strategies (quality improve- ment for teaching staff and nursing professionals). It also requires mid-termand long-termstrategic planning to gen- erate and maintain momentum in the workforce and in institutions. At the institutional level, the model assumes three aims: (i) creating and developing nursing faculties; (ii) preparing model teaching hospitals/clinical agencies and (iii) providing adequate teaching–learning infrastruc- tures for faculty development.


인적 자원 개발은 교육 수준의 역량 구축의 일환인 교육 학습 콘텐츠 및 교육 환경에서의 병행 개선 없이는 성공하지 못합니다. 마찬가지로 의학 도서관, 교과서 보관 구역 및 컴퓨터 실험실과 같은 기타 필수 자원으로 간호 학교를 건설, 유지 및 제공하겠다는 국가적 공약이 있어야합니다.

Human resource development does not succeed without parallel improve- ments in teaching–learning content and teaching environ- 7 ments, which is part of institution-level capacity building. Likewise, there must be a national commitment to build, maintain and furnish schools of nursing with other essential resources like medical libraries, textbook reserves and com- puter laboratories.


LIMITATIONS


CONCLUSION


18 Rotem A, Zinovieff M, Goubarev A. A framework for evaluating the impact of the United Nations fellowship programmes. Human Resources for Health 2010; 8:7.






 2016 Apr;22 Suppl 1:22-30. doi: 10.1111/ijn.12436.

Building the capacity of nursing professionals in CambodiaInsights from a bridging programme for faculty development.

Author information

1
Long-term expert, Japan International Cooperation Agency, The Project for Strengthening Human Resources Development System of Co-medicals, Phnom Penh, Cambodia.
2
Professor, School of Nursing and Health, Aichi Prefectural University, Aichi, Japan.
3
Associate Professor, Faculty of Nursing, Burapha University, Chonburi, Thailand.
4
Director, Division of Global Health Programs, Department of Health Planning and Management, Bureau of International Health l Cooperation, National Centre for Global Health and Medicine, Tokyo, Japan.

Abstract

To upgrade nursing instruction capacity in Cambodia, two bridging programmes were opened for the Bachelor of Science in Nursing simultaneously in-country and out-of-country (Thailand). A descriptive qualitative study was conducted to assess effectiveness of both programmes jointly and to explore needs concerning the further development of nursing education. This study included interviews with 34 current or previous programme participants (nursing instructors or hospital preceptors) and 10 managers of collaborating institutions. New learning content, personal outcomes, challenges and obstacles and future needs were qualitatively coded to create categories and subcategories of data. Findings show that programme participants were most influenced by the new content areas (e.g. nursing theory and professionalism), active teaching-learning strategies and the full-time educational immersion afforded by the out-of-country programmeProgramme participants who had returned to their workplaces also identified on-going needs for employing new active teaching-learning approaches, curriculum revision, national standardization of nursing curricula and improvements in the teaching-learning infrastructure. Another outcome of this study is the development of a theoretical model for NursingCapacity Building in Developing Countries that describes the need for intermediate and long-term planning as well as using both Bottom-Up and Edge-Pulling strategies.

KEYWORDS:

Cambodia; bottom-up strategies; capacity building; edge-pulling strategies; faculty development; health manpower

PMID:
 
27184699
 
PMCID:
 
PMC5084784
 
DOI:
 
10.1111/ijn.12436


동남아시아 고등교육에서의 교수개발 (Asia Pacific Educ. Rev., 2015)

Faculty development in Southeast Asian higher education: a review of literature

Tam T. Phuong • Hang B. Duong • Gary N. McLean





세계에서 가장 역동적 인 지역 중 하나 인 동남아시아 (SEA) 지역의 고등 교육 시스템은 급격한 변화에 직면 해 있습니다. 이러한 변화에는 학생 수 증가, 지식 과부하, 정보 및 기술 폭발 및 사회 경제적 구조 조정이 포함됩니다 (Lee and Healy 2006, Sirat and JanTan2008).

Higher education systems in the Southeast Asian (SEA) region, one of the world’s most dynamic regions, are facing rapid changes. These changes include 

  • student enrollment expansion, 

  • knowledge overload, 

  • information and technology explosion, and 

  • socioeconomic restructuring (Lee and Healy 2006; Sirat and JanTan2008)

지역 차원에서, '고등교육의 commonspace'를 형성하려는 노력은 교수진이 국가 및 지역 문제 해결을 위해 서로 협력하고 협력 할 수있게 해줄 것입니다.

At the regional level, anattempt tocreate a ‘‘commonspace inhigher education’’ (Sirat and JanTan 2008, p. 2) will allow faculty members to learn fromeach other and collaborate to address national and regional challenges.


그러나 FD에 관한 대부분의 연구가 주로 영어권 문헌에 초점을 맞추거나 그로부터 유도 되었기 때문에 SEA 지역의 FD에 대한 리뷰는 제한적으로만 보고되었다.

However, as most of the studies on FD have either focused on or drawn primarily from sources in English-speaking settings (e.g., Chism et al. 2010), limited review of FD in the SEA region has been reported.


Context


국가의 역사, 풍부한 문화, 뿌리깊은 종교, 국가 간 사회 경제적 지위의 영향으로 인해 (SEHE 시스템은 Lee와 Healy 2006, Sirat 외 2014), 몇 가지 특징을 가지고있다. 

  • 첫째, 국가 고등 교육 제도는 중앙 정부 방향, 교육 개발 초점 (인프라 개발 또는 품질 향상), 국제 고등 교육 공동체 내 통합 정도 측면에서 지역마다 크게 다르다 (Lee and Healy 2006; Ngo 2006). 

  • 둘째, 이전 연구에서 널리보고 된 바와 같이, SEAHE 시스템은 높은 등록 성장, 다양한 참여자, 새로운 대학 창설 및 새로운 교육 전달 (예 : Chapman 2009)에서 탁월한 성과를 거두었습니다. 


그럼에도 불구하고 최근 SEAHE 시스템은 폭발적인 고등 교육 접근, 자격있는 교수진 부족, 교육의 질에 대한 우려와 같은 공통적 인 문제에 직면 해왔다 (Chapman 2009, Lee and Healy 2006). 이러한 맥락에서 SEA 국가들은 교육 기관 들간의 광범위한 협력 추세를 목격 해왔다. 응우 엔 (Nguyen, 2009)이 지적했듯이 이러한 추세는 지역 통합을 적극적으로 촉진하기 위해 지역기구들이 더 많은 노력을 기울임으로써 국가 내 및 국가 간에서 발생하였다.

Due to the impact of countries’ histories, rich cultures, deeply rooted religions, and socioeconomic status between countries (Lee and Healy 2006; Sirat et al. 2014), the SEAHE systems have some distinctive characteristics. First, national higher education systems vary greatly across the region in terms of degree of central government direction, educational development foci (infrastructure development or quality improvement), and degree of integration within the international higher education com- munity (Lee and Healy 2006; Ngo 2006). Second, as reported widely in previous research, SEAHE systems have gained extraordinary achievements in high enrollment growth, diversified participants, new university creation, and new instructional delivery (e.g., Chapman 2009). Nevertheless, recently, SEAHE systems have faced com- mon challenges such as explosive higher education access, lack of qualified faculty, and concern over teaching quality (Chapman 2009; Lee and Healy 2006). In this context, the SEA countries have witnessed an extensive collaboration trend among educational institutions. As Nguyen (2009) noted, this trend occurs within and across nations with more commitment of regional organizations in actively promoting regional integration.


아세안 (ASEAN)이라고 알려진 SEA 국가 연합 (Association of SEA Nations)을 통해 고등 교육 분야의 이러한 지역 협력이 적극적으로 추진되고 있습니다. 2003 년에 발표 된 ASEAN Concord II 선언은이 지역의 경제 발전과 통합의 중심이 된 고등 교육에 더 많은 자원을 투자함으로써 회원국들이 인적 자원을 개발할 수있는 기반을 마련하고자한다. 이 선언에 따라, 회원국들은 고등 교육의 질을 향상시키기위한 정책을 개발합니다.

One such regional collaboration in higher education is actively promoted through the Association of SEA Nations, known as ASEAN. The Declaration of ASEAN Concord II, issued in 2003, seeks to create a framework for member countries to develop human resources by investing more resources in higher education, which has become central to economic development and integration in the region. In response to this Declaration, country members develop their policies to improve quality of higher education.


위에서 설명한 고등 교육의 특징은 SEA 국가의 FD에 여러 가지면에서 큰 영향을 미쳤습니다. 

  • 첫째, 고등 교육 발전 수준, 초점 및 통합 정도에 따라 FD 기회, 프로그램 및 효율성은 국가마다 다릅니다.

  • 또한 최근에 더 많은 FD 활동을 제공하고 있음에도 불구하고 교수진은 과도한 공식 교육과 추가 소득을 위한 직업을 갖기 때문에 이러한 활동에 거의 참여하지 않는 경향이 있습니다 (Asian Development Bank [ADB] 2011, Chapman 2009). 

  • 마지막으로 교수진의 FD 활동 참여도는 개발 전략, 교수 동기 부여 관행 및 투명성 평가 시스템 측면에서 고등 교육 기관에 달려있다 (Chapman 2009).

The characteristics in higher education described above have strongly influenced FD in SEA countries in several ways. First, depending on the degree of dispersion of higher education development levels, foci, and degree of integration, FD opportunities, programs, and effectiveness vary from country to country. In addition, despite being offered more FD activities recently, faculty members tend not to or rarely participate in these activities due to overburden formal teaching and the demands of extra employment for additional income (Asian Development Bank [ADB] 2011; Chapman 2009). Finally, faculty members’ degree of participation in FD activities depends on their higher education institutions in terms of develop- ment strategies, faculty motivation practices, and trans- parent evaluation systems (Chapman 2009).




교수개발

Faculty development


교수진이란 '교육을 제공하고 연구를 수행하기 위해 고등 교육 기관에 고용 된 사람들'이다

Faculty has been used to ‘‘indicate those [who] areemployed by higher education institutions to deliverinstruction and conduct research’’ (Chapman 2009, p. 2). 



교수 개발을 정의하는 데 있어 논쟁이 있었습니다. 

  • 많은 사람들에게 이 용어는 연구원, 강사, 관리자 또는 개발자로서의 교수의 기본 역할을 강조한다 (Bland et al., Gaff and Simpson 1994). 

  • 다른 사람들은 필요한 지식, 기술 또는 수행 능력의 향상에 중점을 둡니다 (Bligh 2005; Gaff and Simpson 1994; Hubbard and Atkins 1995). 

  • 일부 연구자들은 FD의 궁극적 인 목표로서 학생, 교직원 및 조직의 업적을 강조한다 (Bland et al., Ste- inert et al., 2006). 

There has been a debate in defining faculty development. 

  • For many, the term emphasizes basic roles of faculty as researchers, instructors, administrators, or developers (Bland et al. 1990; Gaff and Simpson 1994). 

  • Others focus on the improvement of required knowledge, skills, or performance (Bligh 2005; Gaff and Simpson 1994; Hub- bard and Atkins 1995). 

  • Some researchers emphasize achievements of students, faculty members, and organiza- tions as the ultimate goals of FD (Bland et al. 1990; Ste- inert et al. 2006). 


우리는 FD를 교수진의 전문적 및 조직적 목표를 달성하기 위해 교원 및 / 또는 기관별로 진행되는 복잡하고 지속적이며 계획된 활동으로 보았다. 교수개발 활동은 활동, 프로그램, 조치 및 개입을 포함하여 이러한 일반화 된 개념과 함께 사용됩니다. 이를 따라 우리는 FD를 분류함에 있어 Caffarella and Zinn (1999)이 제안한 다음의 유형을 채택하였다.

(1) 자기 주도 학습 경험, 

(2) 정식 전문 개발 프로그램 및 

(3) 조직 개발 전략.

In this review, FD is viewed as complex, ongoing, and planned activities taken by faculty members and/or organized by institutions, aimed at meeting faculty’s professional and organizational objectives. Faculty devel- opment activities are also used with this generalized con- cept, including activities, programs, measures, and interventions. Along this line, we adopted the FD classifi- cation proposed by Caffarella and Zinn (1999), encom- passing three primary FD types: (1) self-directed learning experiences, (2) formal professional development pro- grams, and (3) organization development strategies.


리뷰의 목적

Aim of the review


1. Which nations and disciplines provide the most evidence of issues related to FD activities based on empirical research?


2. What types of FD have been conducted? 


3. What are the foci of FD activities? 


4. How are FD activities being evaluated? What are the outcomes of these FD activities?




Methodology and methods


In addition, because of its simplicity and continuing widespread use, we used Kirkpatrick’s framework as a general taxonomy to classify and synthesize consistently the FD outcomes extracted from the studies under review. Further descriptions and usage of this taxonomy are pre- sented in the Evaluation Outcomes section.


포함/배제 기준

Inclusion/exclusion criteria



We developed four inclusion criteria to determine the rel- evant studies from our preliminary search: 

(1) published between 2003 and 2014; 

(2) contained in the abstracts all three keywords or synonym, as determined from an elec- tronic thesaurus: 

    • (a) faculty, 

    • (b) development, 

    • (c) higher education, and 

    • (d) at least one of the SEA country’s names (see list below); 

(3) written in English; and 

(4) report ori- ginal data. A checklist based on these criteria was created to screen the studies.


4. Brunei OR Cambodia OR Indonesia OR Laos OR Malaysia OR Myanmar OR Burma OR Philippines OR Singapore OR Thailand OR Timor Leste OR Vietnam


자료 스크리닝과 추출

Data screening and extraction


As summarized in Fig. 1, of 999 abstracts from the pub- lication sources in the databases, 405 abstracts were excluded because they were unrelated to FD; 352 were excluded for not being set in higher education; and 160 were excluded for not being in the context of the SEA countries. Eighty-two (82) abstracts met all of the requirements and were cross-screened for the second time with direct reference to their full texts. Forty-eight (48) papers were excluded for being secondary source studies on FD. Any mismatch between the two reviewers (first two authors) concerning the inclusion or exclusion of an article was then discussed and resolved. The process resulted in 34 publications for independent detailed evaluation. 


Data from the included studies were then extracted onto a matrix (on Microsoft Excel), containing ten relevant categories drawn from the research questions, including country, study objectives, disciplines, FD types, foci, evaluation (yes/no), how to evaluate, outcomes (yes/no), outcomes, and extraction was recommendations/implications. All data cross-checked by the second reviewer to enhance reliability.



연구 관련성 평가

Study relevance assessment


자료 통합

Data synthesis




Findings


국가와 전공분야

Nations and disciplines


(표 1 참조). 여기서 찾은 FD 증거가 반드시 해당 국가에서 실제로 일어난 일을 묘사 한 것은 아닐 수 있다는 점에 주목할 필요가 있습니다.

(see Table 1). It is worth noting that the collected FD evidence of what we found in published papers within the limits of this review is not necessarily an actual portrayal of what has been happening in the countries in focus.


베트남 만이 교사 교육과 훈련에 관한 8 개의 논문 중 7 개의 FD 분야에 대해 분명한 추세를 보였다. 또한 검토 대상인 대부분의 연구 (73 %)가 단일 분야 내에서 FD를보고했기 때문에 분야 간 조직화 된 FD가이 지역에서 공통적 인 현상으로 발견되지 않았습니다.

The findings also indicated that only Vietnam had a clear trend about FD disciplines with seven out of eight papers about teacher education and training. In addition, FD organized across disciplines was not found as a common phenomenon in this region because most studies under review (73 %) reported FD within a single discipline.



FD활동의 유형

Types of faculty development activities


앞에서 언급했듯이 FD 활동은 (1) 자기 주도적 학습, (2) 공식적인 전문성 개발, (3) 조직 개발 (표 2 참조)의 세 가지 주요 유형으로 구성됩니다. FD의 이러한 측면에 대한 발견은 총 43 건의 활동 중 23 건 (54 %)이 가장 일반적인 FD 활동으로 자체 지시 학습이보고되었다고 제안합니다.

As noted before, FD activities comprise three main types: (1) self-directed learning, (2) formal professional devel- opment, and (3) organization development (see Table 2). The findings on this aspect of FD suggest that self-directed learning was reported as the most common FD activities with 23 out of 43 identified activities in total (54 %).


FD활동의 초점

Foci of faculty development activities


30 개의 연구를 종합 해 보면 FD의 주요 초점은 pedagogical competence의 교육 및 개선에 정보 통신 기술 (ICT)을 적용한 것으로 나타났습니다 (n = 16, 53 %) (표 2 참조).

Synthesis of the 30 studies revealed that the primary foci of FD were application of information and communication technology (ICT) in teaching and improvement of peda- gogical competence (n = 16; 53 %) (see Table 2).



FD활동의 성과평가

Evaluation and outcomes of faculty development activities



평가와 평가방법

Evaluation and evaluation methods


FD 활동 평가에 대한 다양한 접근법을 입증 한 24 건의 연구 (80 %)가 확인되었습니다. 대다수는 설문 조사 및 인터뷰를 통해 교수진이나 학생으로서 참가자들의 피드백을 받았습니다. 일부 FD 평가는 공식 평가 보고서 또는 통제 그룹에 의한 관찰을 통해 참가자 만족도 또는 성능 변화에 따라 FD 결과를 얻었다. 나머지 연구에서는 전자 메일 메시지, 메모, 성찰 또는 개인 일지 항목과 같은 비공식적 인 질적 방법을 통해 FD 중재의 효율성을 평가했습니다 (Laws 외 2009, Power 2012, Teerajarmorn 외 2003). 간단히 말해서, FD 활동을 평가하는 다양한 접근 방식에도 불구하고, 우리는 대부분의 평가가 질적이었고 지속적인 노력보다는 단일 사건에 초점을 맞춘다는 것을 발견했습니다. 이 논문의 원래 계획에서 이 구별을 예상하지 못했기 때문에 논문의 앞부분에서 다루지 않았습니다. 

The search identified 24 studies (80 %) that demonstrated various approaches to evaluating FD activities. The majority relied on surveys and interviews to get feedback from participants, either as faculty members or students. Some FD evaluation obtained FD results based on partic- ipant satisfaction or changed performance by means of official evaluation reports or observations with a control group. The remaining studies evaluated effectiveness of FD interventions through informal qualitative methods, such as email messages, notes, reflections, or personal journal entries (Laws et al. 2009; Power 2012; Teerajarmorn et al. 2003). In short, despite various approaches to evaluating FD activities, we found that most evaluations have been qualitative and focused on single events rather than ongo- ing efforts. As we had not anticipated this distinction in the original planning of this article, it was not treated earlier in our article. However, further discussion about evaluation approaches are presented in the ‘‘Discussion’’ section.




성과평가

Evaluation outcomes


홀튼 (Holton, 1996)이 요약 한 커크패트릭의 프레임 워크의 한계점뿐만 아니라 대중성을 인정하면서, 연구에서 추출한 모든 FD 결과를 일관되게 분류하고 합성하기위한 일반적인 분류 체계로이 프레임 워크를 채택하기로 결정했다. 이 Taxonomy는 반응, 학습, 행동 및 결과의 네 가지 수준으로 구성됩니다 (설명 및 예 FD 결과에 대해서는 표 3 참조).

Recognizing its popularity, as well as limitations of Kirk- patrick’s framework as outlined by Holton (1996), we decided to employ this framework as a general taxonomy to classify and synthesize consistently all of the FD out- comes extracted from the studies. This taxonomy, adapted from Hendricson et al. (2007), consists of four levels, i.e., reaction, learning, behavior, and results (see Table 3, for description and example FD outcomes).


Level 1: reaction


Level 2: learning


Level 3: behavior


Level 4: results


요약하면, 우리는 베트남, 싱가포르 및 말레이시아가 FD 활동에 대한 경험적 증거를 제공하는 주요 제공자임을 확인했습니다. 교사 교육 및 훈련은 FD를 수행 한 분야 중 1 위를 차지하는 것으로 나타났습니다. 이것은 주로 FD 역량과 FD의 유형과 일치하며 이는 주로 교육 역량 및 자기 주도적 학습의 개선에 관한 것입니다. 이 연구 결과는 또한 대부분의 FD 결과가 Kirkpatrick 분류학의 1, 2 단계에서 우선적으로 발견 된 것으로 나타났습니다. 마지막으로 추가적인 연구 결과에 따르면 대부분의 FD 평가는 단일 사건에 초점을 두 었으며, 이번 리뷰에서 FD의 지역 협력 유형은보고되지 않았다.

In brief, we found that Vietnam, Singapore, and Malaysia were the leading providers of empirical evidence about FD activities. Teacher education and training were found to rank first among the disciplines that performed FD. This aligns with the results of the FD focus and type of FD that primarily concerned improvement of pedagogical competence and self-directed learning. The findings also suggested that most FD outcomes were found to be pre- dominantly at levels 1 and 2 of Kirkpatrick’s taxonomy. Finally, additional findings revealed that most FD evalua- tions focused on single events, and no forms of regional collaboration in FD were reported in the reviewed studies.



고찰과 함의

Discussion and implications for practice


FD활동을 수행하는 국가들

Nations conducting faculty development activities


앞에서 언급했듯이, 이 리뷰는 SEA ​​대학에서 실제로 일어난 일에 대한 진실된 설명을 포착하지 못할 수도 있지만, 우리는 베트남, 싱가포르 및 말레이시아가 FD에 대한 경험적 증거를 얻을 수있는 주요 국가임을 확인했다 . 그러나 이 논문들의 저자가 반드시 해당 국가의 연구자 일 필요는 없다는 점에 유의해야합니다. 이것은 지역 연구원이 국제 연구원들과 협력 한 베트남 (Laws 외 2009, Peeraer and Van Petegem 2012)과 캄보디아 (Quigley 외 2011, Richardson 2011)의 경우에서 가장 분명하다. 이러한 연구 협력은 SEA 국가와 EU, 미국, 호주 등 다른 주요 세계 지역의 연구자들 간의 국제 공동 저자의 경향을 보여줍니다 (예 : Hassan 외 2012, Van der Velde and Stokhof 2002). 공동 저자 네트워크는 영어가 교육의 언어가 아닌 SEA 개발 도상국의 교수진에게 국제 조사 및 출판에 종사하는 더 많은 기회를 제공합니다.

As mentioned previously, though this review may not capture a true account of what is actually happening in the SEA universities, we identified in the literature that Viet- nam, Singapore, and Malaysia are the leading countries from which empirical evidence on FD could be obtained. It should be noted, however, that the authors of these papers were not necessarily researchers from the countries of study. This is most evident in the cases of Vietnam (Laws et al. 2009; Peeraer and Van Petegem 2012) and Cambodia (Quigley et al. 2011; Richardson 2011), where local researchers teamed up with international researchers. These research collaborations demonstrate a trend in international co-authorship between researchers in SEA countries and other major world regions, such as the EU, the USA, and Australia (e.g., Hassan et al. 2012; Van der Velde and Stokhof 2002). Co-authorship network gives more oppor- tunities for faculty in SEA developing countries, where English is not the language of instruction, to be engaged in international research and publication.


그러나 놀랍게도, 검토중인 연구 중 어느 것도 SEA 국가 간의 FD 협력의 어떤 형태도보고하지 않았다. FD에서의 협력 부족은이 지역의 고등 교육 시스템 간의 명확한 협력 추세에 관한 세계 은행 및 아시아 개발 은행의 관찰을 결정하는 것으로 보인다 (ABD 2011; 세계 은행 2008). 이 발견은 FD가 동남아지역의 고등교육에서 협력의 초점이 아니 었음을 시사합니다. 다른 방법으로는 지역 협력이 다른 곳에서 일어 났을 수도 있지만 아직 경험적 증거가되지는 못한다. 어느 쪽이든, FD에서의 협업 부족이 감지되면 SEA 고등 교육 (Hawkins 2012) 내에서 비효율적 인 협업 노력이 원인 일 수 있습니다.

Surprisingly, however, none of the studies under review reported any forms of FD collaboration among the SEA countries. The lack of collaboration in FD seems to con- tradict the observation by the World Bank and Asian Development Bank concerning a clear cooperative trend among higher education systems in the region (ABD 2011; World Bank 2008). The findings may suggest that FD has not been the focus of higher education collaboration at the regional level. Alternatively, regional collaboration might have taken place elsewhere, but not yet become empirical evidence. Either way, the perceived lack of collaboration in FD, may be due to ineffective collaborative efforts within SEA higher education (Hawkins 2012).


Postiglione and Chapman (2011)과 Sugimura (2012)는 지역 내 고등 교육의 질을 개선하려는 시도에서 개인에서 SEA 지역에 이르는 다양한 계층에서 강렬한 FD 협력을 권고했습니다. 이러한 측면에서 공통 교육 협력 네트워크 구축, 초국적 / 국경 간 프로그램 및 SEAHE 연구소를 통한 교육 및 연구 협력이 효과적인 개입이 될 것입니다.

Amid attempts to improve regional higher education quality, Postiglione and Chapman (2011) and Sugimura (2012) recommended intense FD collaboration at multiple layers, ranging from individuals to the SEA region. In this respect, building common education cooperation networks, transnational/cross-border programs, and teaching and research cooperation among and beyond SEAHE institutes would be effective interventions.



FD의 유형과 초점

Types and foci of faculty development


이 연구 결과는 공식적으로 이뤄지는 FD와 조직 개발에 비해 자기 ​​주도적 학습 활동이 FD에서 더 중요한 역할을했다는 것을 나타냅니다. 다시 말해, 이 지역의 FD는 조직 차원에서 계획된 것이라기보다는 개별 교수들의 노력에 더 가깝고 조직적인 개입보다는 개인적인 것이다. 그 결과, FD 활동에서 조직의 지원이 제한적이며, 주로 교수 및 교수 기술 관련 정보 기술 및 의사 소통 기술 향상에 중점을 둡니다. 조직 지도자들이 FD에 거의 관심이 없을 때, 교수진은 FD의 다양한 역할에 대한 FD 균형, 교과 과정 개발, 연구 및 기관 지도력 개발 (Chapman 2009)에 대한 압박감에 대처하기위한 도전을 만나 FD의 효과가 제한됩니다.

The findings suggested that self-directed learning activi- ties played a more important role in FD, compared with formal FD and organizational development. In other words, FD in this region is more of an individual fac- ulty’s effort than planned organization wide and becomes personal rather than organizational interventions. As a result, FD activities, with limited support from organi- zations and/or institutional support centers (Chapman 2009), focus primarily on improving faculty’s teaching- related skills: information and communication technology (ICT) and pedagogy. When FD is of little concern to organizational leaders, faculty meet challenges to cope with pressure in balancing FD for multiple roles of teaching, curriculum development, research, and institu- tional leadership development (Chapman 2009), resulting in limited effectiveness of FD.



따라서 FD의 효과적인 유형으로서 조직 개발의 역할을 향상시키기 위해 다음과 같은 권고 사항이 제시됩니다. 


    • 첫째, 교수의 요구와 기관의 사명에 기초하여 포괄적 인 조직 전략을 수립하는 것이 중요합니다 (Amin 외. 2009). 이러한 전략은 조직이 공적 또는 사적, 지역적 또는 국가적으로 다양한 커리어 단계 및 다양한 유형의 대학에 교수를 참여시키기위한 다양한 FD 활동을 개발하는 지침이되어야합니다.

Thus, the following recommendations are given to enhance the role of organization development as an effective type of FD. 

    • First, it is vital to develop comprehensive organizational strategies, based on faculty’s needs and institutional mission (Amin et al. 2009). These strate- gies should become guidelines for organizations to develop a variety of FD activities to engage faculty at different career stages and types of universities, either public or private, regional or national.

    • 또 하나의 권장 사항은 캠퍼스 기반의 FD 리서치 부서를 설립하거나 교육수월성센터를 설립하는 것입니다. FD 연구 부서는 정책에서부터 교수 모집 및 교수 유지, 전문성 개발, FD 품질 보증 (채프먼 2009)에 이르기까지 FD 관련 문제를 조사 할 책임이 있습니다. 미국 대학에서 비용 효율적인 개입이 이루어진다는 측면에서, 교육수월성센터가 교수진에게 다양한 전문성 개발 기회를 제공 할 것입니다. 

    • 또한, Steinert (2000)가 제안한 바와 같이, 조직의 전략 개발 과정에서 FD 프로그램의 성공적인 성취를 위해서는 통합적, 장기적 FD를 유지해야합니다. 

    • 마지막으로, SEAHE 기관은 FD연구와 실제 경험이 많은 북미와 유럽의 국제 동료들과의 협력을 촉진하는 것도 유용합니다.

    • Another recommendation is to set up campus-based FD research units or teaching excellence centers. FD research units would be in charge of examining FD-related issues, from policies to recruiting and retaining faculty, profes- sional development, to FD quality assurance (Chapman 2009). Given a cost-effective intervention in the US uni- versities, adapting centers for excellence in teaching will provide faculty with ranges of professional development opportunities. 

    • Furthermore, as Steinert (2000) suggested, integrated and longitudinal FD should be maintained as the core to successful achievement of FD programs within the organization’s strategic development. 

    • Finally, it is also useful for the SEAHE institutions to seek and promote collaboration with international colleagues from North America and Europe given their research and practical experience in FD.


FD 평가

Faculty development evaluation



수행된 FD 활동에 대해 평가가 이뤄진  것은 아니라는 것이 본 연구 결과에서 분명합니다. 이는 핵심적 요소가 되어야 할 평가 단계가 많은 FD 활동에서 빠져 나가는 경향이 있음을 시사한다. 또한 자기보고 설문 조사 및 교수진 인터뷰에 의존하는 평가를 통해 FD 활동을 가장 많이 조사한 결과, 응답의 신뢰성을 결정하기가 어렵습니다. 이와 관련하여 FD 목표가 실제로 달성되지 않았을 수 있습니다. Steinert (2000)에 따르면 평가가없는 경우에는 북미를 비롯한 다른 지역에서 FD의 공통적 인 문제입니다.

It is obvious from our findings that not all studies reported evaluation of the FD activities conducted. This suggests that the evaluation stage, which should be a central com- ponent, tends to be missing in the agenda of many FD activities. Moreover, as most examined FD activities with evaluations relying on self-reported surveys and interviews with the faculty participants, the trustworthiness of their answers is difficult to determine. In this respect, the FD objectives may not have been truly fulfilled. In those cases where there is no evaluation, according to Steinert (2000), this is a common problem of FD in other geographical areas, including North America.


평가 시행에 시간과 자원이 필요하다는 점을 감안할 때 Austin and Sorcinelli (2013) 및 많은 다른 저자는 교수진과 FD 실무자가 FD 결과를 정확하게 측정하기 위해 관련성 있고 통찰력있는 평가를 함으로써 FD를 보다 효과적으로 계획할 것을 권고한다. FD 평가에서 대안적인 접근법은 다음의 것들이 있다.


Given that implementing evaluations requires time and resources, Austin and Sorcinelli (2013), and many other authors, have advised that faculty and FD practitioners use relevant and insightful evaluations to gauge precisely FD out- comes and thus help plan more effective FD. Alternative approaches in FDevaluation include 

    • a combination of pre–post instruments, 

    • seeking both quantitative and 

    • qualitative feedback from participants and stakeholders (Amin et al. 2006). 



또한 Sorinola와 Thistlethwaite (2013)는 자체 평가, 동료 평가 및 학습자 평가라는 3 가지 영역을 포함하는 평가 삼각 측량을 사용할 것을 제안했습니다. 이것은 FD의 신뢰할만한 평가 결과를 얻고, 특히 장기간 실시 될 경우 FD 인터벤션의 효과를 측정하기위한 이상적인 접근법입니다. 그러나 이러한 자원 집약적인 접근법은 많은 경우에 비실용적으로 보이는데, 특히 일회적 FD 프로그램과 비공식 (자기주도적) FD 활동에 대해서는 비효율적 인 것으로 나타다. 따라서 FD를 수행하는 사람, 교육리더, 교수진은 FD의 형식 및 초점과 관련된 평가 프레임 워크를 적용하는 데 필요한 다양한 요소를 고려해야합니다.

Addi- tionally, Sorinola and Thistlethwaite (2013) suggested using evaluation triangulation that involves three domains: self- evaluation, peer evaluation, and learner evaluation. This is an ideal approach to obtaining highly credible evaluation out- comes of FD and measuring the effectiveness of FD interven- tions, especially if conducted over the long term. However, these resource-intensive approaches appear impractical in many cases, especially for one-time FDprograms and informal (self-directed) FD activities, for which the later was found to have no evaluation information in this review. Thus, it is rec- ommended for FD practitioners, education leaders, and faculty to consider various factors in applying an evaluation framework relevant to FD format and focus.




Recommendations for other research


연구를 위한 권고

Recommendations for empirical research


또한, 사립 고등 교육 기관의 FD에 대한 연구가 필요하다. 사립 고등 교육 기관에서는 교수진이 전문적인 지원을 거의받지 못하는 것으로 나타난다.

Also, there is a need for research on FD in private higher education institutions, where faculty mem- bers appear to receive little professional support



다른 리뷰를 위한 권고

Recommendations for other reviews


향후 검토에서 영어 및 교육 데이터베이스 이외의 검색 범위를 확장 할 것을 강력하게 제안합니다. 미발표 논문 및 FD 활동에 대한 NGO 보고서와 같은 회색 문헌을 다루는 검토도 중요합니다. 특히 FD 증거와 관련하여 low-profile 국가에 대한 더 나은 통찰력과 시각을 확보할 것이다. 전반적으로, FD 및 고등 교육에 대한 리뷰는 SEAHE의 전문성 개발의 증거의 질을 높이는 데 기여할 수 있도록 여러 국가의 학자들이 협력하여 시행되어야 한다.

Considering what we implemented in this review within resource limit, we strongly suggest that future reviews extend the search beyond English language and education databases. It is also important for other reviews to cover gray literature, such as unpublished theses and NGO reports on FD activities. In so doing, the review would capture better insights and perspectives, particularly from low-profile countries with regard to FD evidence. Overall, reviews on FD and higher education should be encouraged and conducted with a collaborative spirit of scholars from various countries, so as to contribute to raising the quality of evidence of SEAHE’s professional development.


Conclusion







Asian Development Bank. (2011). Improving instructional quality— Focus on faculty development. Retrieved January 6, 2014, from http://www.adb.org/publications/series/higher-education-dynamic-asia-study-reports


https://www.adb.org/sites/default/files/publication/29437/improving-instructional-quality.pdf


Asia Pacific Education Review

Volume 16, Issue 1pp 107–117

Faculty development in Southeast Asian higher education: a review of literature

  1. 1.
  2. 2.
  3. 3.
  4. 4.
Article

DOI: 10.1007/s12564-015-9353-1

Cite this article as:
Phuong, T.T., Duong, H.B. & McLean, G.N. Asia Pacific Educ. Rev. (2015) 16: 107. doi:10.1007/s12564-015-9353-1

Abstract

University faculty in Southeast Asia (SEA) is being required to take on new roles and responsibilities resulting from rapid changes in higher education. To date, a range of faculty development (FD) initiatives has been implemented, but little has been uncovered concerning the effectiveness of these FD activities. Using a predetermined review protocol, we conducted a systematic literature review to identify the current foci and trends of faculty development in SEA higher education. We found that Vietnam, Singapore, and Malaysia were the leading providers of empirical evidence about FD activities. Teacher education and training were found to rank first among the disciplines that performed FD. This aligns with results of the focus and type of FD which primarily concerned improvement of pedagogical competence and self-directed learning. In addition, the findings suggested that most FD outcomes were found to be predominantly at levels 1 and 2 of Kirkpatrick’s taxonomy (adapted from Hendricson et al. in J Dent Educ 71(12):1513–1533, 2007). Based on this review, we offered relevant recommendations for FD practice and research in this region.


동남아시아의 의학교육: 떠오르는 이슈, 도전, 기회 (Med Educ, 2005)

Medical education in Southeast Asia: emerging issues, challenges and opportunities

Zubair Amin,1 Khoo Hoon Eng,2 Matthew Gwee,3 Koh Dow Rhoon4 & Tan Chay Hoon3




INTRODUCTION


아시아는 세계에서 가장 큰 대륙이며 대단히 다양한 지역입니다. 브루나이, 캄보디아, 인도네시아, 라오스, 말레이시아, 미얀마, 필리핀, 싱가포르, 태국 및 베트남으로 구성된 10 개국은 동남아시아 국가 연합 (ASEAN) 회원국으로 알려진 정의 된 지리적 정치 기관을 구성한다.

Asia is the largest continent in the world and is an immensely diverse region. Ten countries, comprising Brunei, Cambodia, Indonesia, Laos, Malaysia, Myan- mar, the Philippines, Singapore, Thailand and Viet- nam, constitute a defined geo-political entity known as the Association of Southeast Asian (ASEAN) nations.1


이 지역의 의과 대학은 전통적으로 영국 (싱가포르, 말레이시아), 프랑스 (인도 차이나), 북미 (필리핀), 네덜란드와 독일 (인도네시아 일부) 식민지의 뿌리를 따라 왔습니다.

Medical schools in this region have traditionally followed their colonial roots: British (Singapore, Malaysia), French (Indo- china), North American (Philippines), and Dutch and German (parts of Indonesia).


2003 년에 우리는 동남아시아의 의과 대학의 교육 프로필을 작성하는 프로젝트에 착수했습니다. AAMC (American Association of Medical Colleges)에 의해 작성된 유사한 북미 간행물이 우리의 이니셔티브에 대한 영감의 원동력이되었습니다 .2 우리는 8 가지 주요 주제로 맞춤형 개방형 설문지를 개발했습니다.

In 2003, we undertook a project to compile an educational profile of medical schools in Southeast Asia. A similar North American publication by the American Association of Medical Colleges (AAMC) served as a trigger and source of inspiration for our initiative.2 We developed a customised, open- response questionnaire with 8 key themes.


선택된 30개 학교의 완성 된 프로파일이 최근에 아시아 의과 대학의 프로파일로 출판되었습니다. 1 부 : 동남아시아 .3

The completed profiles of 30 selec- ted schools were recently published as Profiles of Asian Medical Schools. Part I: Southeast Asia.3






KEY FINDINGS


성별 분포

Gender distribution


68%의 학교에서는 여학생이 더 많지만, 16 %의 학교에서는 학생이 더 많다. 나머지 학교에서는 성별 분포가 다양합니다.

There are more female than male medical students in 68% of the schools, but proportionately more male students in 16% of the schools. The gender distri- bution is variable in the remaining schools.


통합 교육과정

Integrated curricula


완전히 통합 된 커리큘럼을 가진 학교는 거의 없습니다. 많은 사람들이 격렬한 통합을 위해 노력하고 있으며 종종 문제 기반 학습 (PBL)을 수단으로 사용합니다

Very few schools have a fully integrated curriculum. Encouragingly, many more are working towards gradual integration, often using problem-based learning (PBL) as an avenue.


PBL

Problem-based learning


응답 학교의 50 %가 교과 과정에 PBL이 있다고 하였다. 대부분의 경우 PBL은 하이브리드 교육 과정의 일부이며 교육 시간의 20-40 %를 구성합니다.

In all, 50% of the responding schools reported the presence of PBL in their curricula. In most cases, PBL represents part of a hybrid curriculum and consti- tutes 20–40% of curricular time.


임상 수련

Clinical training


2학년이 끝나기 전에 직접적인 환자 접촉이 있는 조기임상노출은 40 %의 학교에서 시행됩니다. 거의 모든 학교는 병원 환경 이외의 임상 교육을 제공합니다.

Early clinical exposure, as defined by direct patient contact before the completion of Year 2, is imple- mented in 40% of the schools. Nearly all schools provide clinical training beyond hospital settings.


일렉티브, 자율학습, 연구

Electives, self-study and research


총 46 %의 학교가 교과 과정에서 선택 과목 학습 시간을 제공하고 70 %는 연구 및 프로젝트를 위한 시간이 있었다

A total of 46% of schools indicated that they have provision for electives and self-study time in their curriculum, while 70% have protected time for research and project work.



교수개발

Faculty development


거의 모든 학교 (90 %)는 교사를 위해 교수 개발 프로그램을 실시하고 있음을 나타 냈습니다. 사내 프로그램 외에도 많은 사람들이 이러한 목적으로 지역 및 국제 의료 센터를 이용합니다.

Nearly all schools (90%) indicated that they conduct faculty development programmes for their teachers. Besides in-house programmes, many make use of regional and international medical centres for this purpose.


학생평가

Student assessment


객관식 질문과 구술 시험은 가장 많이 사용되는 2 가지 학생 평가 도구입니다. 자기 평가 및 동료 평가 및 포트폴리오 기반 평가는 거의 사용되지 않습니다.

Multiple-choice questions and oral examinations are the 2 most frequently used student assessment instruments. Self- and peer-assessments and portfolio- based assessment are seldom used.


교육과정 거버넌스

Curriculum governance


한 곳을 제외한 모든 의과 대학에는 커리큘럼을 담당하는 담당자가 있습니다. 일부 국가의 의과 대학 (예 : 인도네시아, 라오스)은 나라에서 정한 커리큘럼을 따릅니다.

All medical schools, except 1, have a designated person in charge of their curriculum. Medical schools in several countries (e.g. Indonesia, Laos) follow their national curriculum.


의학교육실

Medical education unit


72 %는 의학 교육 단위 또는 유사한 구조를 갖추고 있다고 답했습니다. 이 의학 교육 단위의 대다수 (76 %)는 1990 년부터 또는 그 이후에 설립되었습니다.

A total of 72% of responding schools reported that they had a medical education unit or similar struc- ture in place. The majority (76%) of these medical education units were established during or since 1990.


교육 업적

Valuing teaching


모든 의대에서는 승진 기준에 교육업적이 포함된다고 보고했다. 교육에 주어진 가중치는 매우 다양했다. 몇몇 학교는 교육이 승진 기준에서 가장 큰 구성 요소를 차지한다고 언급했습니다. 교육은 객관적이고 주관적인 기준을 포함하는 다양한 방법으로 판단됩니다.

All medical schools reported that teaching consti- tutes a component of promotion criteria in their school. The weighting given to teaching varied widely; a few schools mentioned that teaching con- stitutes the largest component in promotion criteria. Teaching is judged by a variety of means that include both objective and subjective criteria.


교육과정 개편

Curriculum renewal


1 개를 제외한 모든 학교는 사명선언문과 정의된 학습 목표를 가지고 있습니다. 몇몇 학교에서는 AAMC의 의대 학교의 목표 프로젝트 (MSOP) 또는 세계 보건기구의 Five-Star Doctor로부터 제작되었습니다.

All except 1 of the responding medical schools have mission statements and defined learning objectives. In several schools these were crafted from AAMC’s Medical Schools Objective Project (MSOP) or the World Health Organisation’s  Five-Star Doctor .


주요 과제

Major challenges and strengths


공통적 인 주요 과제는 재정적 어려움, 인력 부족 및 교수의 변화에 대한 저항입니다. 

상위 3 가지 강점은 전통, 훌륭한 임상 및 병원 지원, 지지적 관리입니다.

The common major challenges mentioned are financial difficulties, lack of manpower and faculty resistance to change. The top 3 strengths reported are tradition, good clinical and hospital support, and supportive administration.


핵심 목표

Major goals


미래에 대한 의과 대학의 3 가지 주요 목표는 학생 중심 학습의 수행, 교수개발, 평가 시스템의 개선입니다.

The 3 most frequently cited major goals of the medical schools for the future are implementation of student-centred learning, faculty development, and improvement of the assessment system.


DISCUSSION


동남아시아 의과 대학은 점차 의학 교육 개혁을 추진하고 있습니다. 예를 들어, WHO가 의과 대학을 대상으로 조사한 1996 년에서 1998 년 사이에 동남아 의과 대학의 68.9 %가 사명선언문을 가지고 있었다 .4 현재는 96 %가 가지고 있다.


Medical schools in Southeast Asia are gradually advancing their medical education reforms. For example, between 1996 and 1998, when the WHO conducted a survey among medical schools, 68.9% of medical schools in Southeast Asia had mission state- ments.4 The corresponding number in the respond- ing medical schools now is 96%.


우리는 그러한 설문 조사의 몇 가지 중요한 한계를 강조하고자합니다. 여기에 포함된 의과대학들은 자체적으로 선정된self-selected 대학이다. 이 학교들이 의학 교육에 있어 다른 학교들보다 더 발전되고 더 잘 준비되고 헌신적일 가능성이 있다.


We would like to highlight several important limita- tions of such a survey. The Profiles represents self- selected medical schools. One may convincingly argue that these schools are more advanced, better prepared for and more committed than others to medical education.




 2005 Aug;39(8):829-32.

Medical education in Southeast Asiaemerging issueschallenges and opportunities.

Author information

1
Department of Paediatrics, National University of Singapore, Singapore. paeza@nus.edu.sg

Abstract

CONTEXT:

Medical education in Southeast Asian countries is undergoing rapid changes, with the realignment of medical schools' curricula to meet national needs and priorities, the adoption of and experimentation with innovations, and greater emphasis on staff development initiatives. The Medical Education Unit of the National University of Singapore undertook a project to compile the educational processes taking place in these medical schools.

METHOD:

This was a process-focused initiative. We developed a custom-made questionnaire that emphasised narrative description. We compiled profiles of 30 selected medical schools in the Southeast Asian region and, after editing and review, published these profiles. This report summarises the key findings from the project.

FINDINGS:

Medical schools in Southeast Asia are in a dynamic state. Schools are gradually adopting student-centred learning approaches, including problem-based learning. Many schools offer their students early clinical training, opportunities for out-of-hospital postings, and student-selected electives. Multiple-choice questions and oral examinations are almost universally used in student assessment. Portfolios and self- and peer-assessments are seldom used. Major challenges faced by the schools involve shortages of qualified staff and financial constraints. Major goals for the future include the implementation of student-centred learning, the revamping of the assessment process, and staff training.

CONCLUSIONS:

This is a compilation of self-reported profiles of selected medical schools where we encouraged self-reflection and analysis. As with other surveys, there could be potential self-selection bias. Nevertheless, the profiles of these selected schools provide a broad overview of the status of medical schools in Southeast Asia.

PMID:
 
16048625
 
DOI:
 
10.1111/j.1365-2929.2005.02229.x


국제보건의 파트너십과 지속가능성을 위한 개념적 모델(Public Health Nurs, 2011)

Conceptual Model for Partnership and Sustainability in Global Health

Jeanne Le¡ers and Emma Mitchell




간호사는 글로벌 커뮤니티에 대한 오랜 서비스의 역사와 글로벌 이니셔티브에 대한 끊임없는 참여를 가지고 있지만, 글로벌 간호 실무를 구축하기위한 이론적 인 지침이 부족합니다. 세계 보건 간호 실습을 위한 이론적 틀의 사용은 프로젝트 또는 프로그램 설계 개선, 보다 강력한 지역 사회 참여, 지속 가능성에 대한 권한 부여 및 리더십을위한 효과적인 파트너십을 장려하는 모델을 전문가에게 제공 할 것입니다.

Although nurses have a long history of service to the global community and an ever-expanding participa- tion in global initiatives, the profession lacks theoret- ical guidance to frame global nursing practice. The use of a theoretical framework for global health nursing practice will provide the profes- sion with a model that 

  • encourages effective partner- ships for improved project or program design, 

  • stronger community involvement, and 

  • empowerment and leadership for sustainability.



배경

Background



간호사는 군인이나 시민 권위하에 자원 봉사 또는 유급 역할을 담당하는 임상의, 컨설턴트, 임원 및 교육자로서 국제 사회에 오랫동안 봉사 해 왔습니다 (Gennaro, 2000; Lusk & Lash, 2002).

Nurses have a long history of service to the global community as clinicians, consultants, executives, and educators in volunteer or paid roles under military or civil authority (Gennaro, 2000; Lusk & Lash, 2002).


수천 명의 간호사가 국제 사회의 사람들에게 직접 간호를 제공하거나 교수진이 주도하는 서비스 학습 프로그램에 국제적으로 참여한다 (Ailinger, 2002; Bosworth et al., 2006; Callister & Hobbins-Garbett, 2000, Evanson & Zust, 2006; Ogilvie, Allen, Laryea, & Opare, 2003; Riner & Becklenberg, 2001).

Thousands of nurses participate in the provi- sion of direct nursing care to people in global settings or participate in faculty-led service learning programs internationally (Ailinger, 2002; Bosworth et al., 2006; Callister & Hobbins-Garbett, 2000; Evanson & Zust, 2006; Ogilvie, Allen, Laryea, & Opare, 2003; Riner & Becklenberg, 2001).


간호사는 글로벌 건강에 대한 주목할만한 참여에도 불구하고 글로벌 프랙티스를 구성 할 이론 및 경험적 근거가 부족합니다.

Despite this notable participation in global health, nurses lack a theoretical and empirical base upon which to frame their global practice.


최근 몇 년 간, 많은 수의 간호사들이 글로벌 작업 (Suchev et al., 2007)에 대한 이론적, 과학적 또는 실천 지침에 대한 중요한 지식없이 전 세계의 지역에 글로벌 '임무'를 시작했습니다. 단기성 노력의 증가로 인해... 

  • 방문 간호사와 지역 사회 호스트 파트너 간의 권력 차이 상황, 

  • 참여에 대한 윤리적 우려 (Ball & Janyst, 2008) ), 

  • 호스트 공동체 구성원의 권리 행사와 sharing voice를 방해하는 비참여적 의사 결정 (Crigger, 2008).

In recent years, large numbers of nurses have embarked upon global ‘‘missions’’ to locations throughout the world without important knowledge of theoretical, scientific, or practice guidance for their global work (Suchev et al., 2007). The rising number of short-termefforts often leads to: situations of power differences among the visiting nurses and community host partners (Chavez, Duran, Baker, Avila, & Waller- stein, 2003), ethical concern for engagement (Ball & Janyst, 2008), and noninclusive decision making that prevents the host community members from exercis- ing power and sharing their voices (Crigger, 2008).




지속가능성

Sustainability



지속 가능성은 여러 문헌에서 사용되지만, 개념은 종종 정의되지 않고 프로그램의 지속 가능성에 대한 제대로 평가가 이뤄지지 않는다.

While the term sustainability is frequently used in the literature (Amazigo et al., 2007; Bradley, Webster, Baker, Schlesinger, & Inouye, 2005; Edwards et al., 2007; Gaines et al., 2004; Nguyen, Gauvin, Martin- eau, & Grignon, 2005; Suchev et al., 2007), the con- cept is often not defined and there is limited evaluation of the sustainability of programs,



세계 보건기구 (World Health Org - nization, 2002)는 지속 가능성을 "예측할 수있는 미래를 위해 효과적인 치료를 계속하면서 효과적으로 계속 기능을 발휘할 수있는 능력, 가능한 건강 관리 서비스에 통합 된 능력, 지역 사회와 정부에 의해 동원 된 자원 (Amazigo et al., 2007에서 인용).

The World Health Orga- nization (2002) defines sustainability as, 

‘‘the ability of a project to continue to function effectively, for the foreseeable future, with high treatment coverage, integrated into available health care services, with strong community ownership using resources mobilized by the community and government’’ (as cited in Amazigo et al., 2007). 



Shediac-Rizkallah and Bone (1998)은 프로그램이 생존하기 위해서는 프로그램의 변화가 필수적이라고 주장한다. 지속 가능성 개념의 요소에는 "

    • (1) 초기 프로그램을 통해 얻은 Health 이익 유지, 

    • (2) 조직 구조 내에서 프로그램 활동의 지속, 

    • (3) 수혜자 공동체의 역량 구축" '(Shediac-Rizkallah & Bone, 1998, p.93).

Shediac-Rizkallah and Bone (1998) assert that change is essential to programsur- vival. Elements of the concept of sustainability in- clude: ‘‘(1) maintaining health benefits achieved through the initial program, (2) continuation of the program activities within an organizational structure and (3) building the capacity of the recipient commu- nity’’ (Shediac-Rizkallah & Bone, 1998, p. 93).



다른 비 간호사는 예측요인, 체크리스트 및 평가 도구를 식별하거나 프로젝트 노력의 결과를 측정 할 수있는 지속 가능성을 정의 해왔다 (Edwards et al., 2007; Johnson et al., 2004; Paine-Andrews, Fisher, Campuzano, Fawcett, & Berkley- Patton , 2000, Sadof, Boschert, Brandt, & Motyl, 2006). 많은 사람들이 Shediac-Rizkallah and Bone (1998)이 제공 한 모델을 사용하여 체크리스트를 개발했습니다.

Other nonnurses have defined sustainability to identify predictors, checklists, and assessment tools or measure the outcomes of project endeavors (Edwards et al., 2007; Johnson et al., 2004; Paine- Andrews, Fisher, Campuzano, Fawcett, & Berkley- Patton, 2000; Sadof, Boschert, Brandt, & Motyl, 2006). Many developed their checklists using the model offered by Shediac-Rizkallah and Bone (1998).



보고된 지속가능성의 예측요인들 

Key predictors reported for sustainability from these tools are 

      • ongoing assessment across all organizational levels, 

      • strong infrastructure development for capacity building, 

      • collaboration among stakeholders, 

      • key leadership expertise, 

      • program champions, 

      • opportunities for transition of leadership, 

      • appropriate resources, 

      • fit between the partnering stakeholders, 

      • adaptability, and 

      • ongoing evaluation (Edwards et al., 2007; Hariri, 2002; Hashagen, 2002; Johnson et al., 2004; Paine- Andrews et al., 2000; Sadof et al., 2006).


Method


Design and sample


The grounded theory methodology was used for this study. The personal experiences of the authors and a preliminary literature review guided the theoretical direction for sustainability in global health programs.


Thirteen nurse experts from the United States with a range of 3–30 years of both short-term and long-termglobal health experience (mean of 14 years) were interviewed using the interview guide to elicit their collective wisdom about the essential elements of their work.


There were two phases to the study. 

    • 귀납적 주제 도출
      First, the in- terviews were analyzed for themes to inductively generate concepts for the study. Then, using the constant comparison method, an extensive literature review confirmed many of the themes and constructs elicited in the interviews (Glaser & Strauss, 1967). Modifications were made to the constructs, conceptualizations, and modeling based on the comments and insights of experts to clearly identify linkages between the con- cepts (Glaser, 2001). 

    • 도출된 주제에서 개념모델 개발
      Second, using the themes that emerged from the interviews that were consistent with many of the concepts derived fromthe literature, the conceptual model was developed. This approach to generate the model reflects both the relevance of the expert interviews and the literature to support theconceptualization. 



Measures


In keeping with the grounded theory approach, the interviews were initially developed and conducted without an extensive literature review



Analytic strategy


The first author conducted the interviews and com-pleted the initial analysis of the data. When possible,and with permission, interviews were recorded and transcribed. Codes were identified for all the interview transcripts and for theoretical notes. Both authors individually completed a secondary literature search using the thematic concepts that emerged from the analysis of the interviews. Next, a comparative analy-sis of the interview themes and the evidence in the literature to extract the essential concepts for partner-ship and sustainability led to the model construction.The model was shared with two participants for reliability and consistency. 



결과

Results


Figure 1 provides more details of the human factors for nurse partners and host country partners that are noted in Fig. 2. All three figures join together to complete one theoretical model.




파트너

Partners



간호사가 글로벌 파트너십을 성공적으로 수행 할 수 있도록 참가자들은 다음과 같은 사항을 확인했습니다. 

  • 덜 쾌적한 환경에서 살 수 있는 의지. 

  • 다른 사람들의 관점에 대한 개방성; 

  • 유연성, 호스트 파트너와의 공유 또는 리더십 제공에 대한 의지; 

  • 사회 정의를 옹호하고 도덕적으로 건전한 성과를 달성 할 수있는 개인적인 위험을 감당할 수있는 힘. 

For nurses to be successful in global partnerships, the participants identified: 

willingness to live in less than comfortable conditions; 

openness to the perspective of others; 

flexibility, willingness to share or give lead- ership to the host partners; and 

energy to take per- sonal risks to advocate for social justice and achieve morally sound outcomes. 


또한 간호사 파트너의 개인적인 기대에는 호스트 국가에서 사람들, 생활 방식 및 환경이 어떻게 될지에 대한 고찰이 포함됩니다. 이 문화적 관점호스트 국가에 대한 간호사의 구체적인 지식 또한 간호사 파트너의 기여에 영향을 미칩니다. 이러한 인식에는 특히 권력, 특권 및 민족 중심주의 가치가 파트너십에 어떻게 영향을 미칠 것인지에 대한 자기와 주변의 편견에 대한 인식이 포함된다 (Chavez et al., 2003; Richardson & Molinaro, 1996).

In addition, the personal expectations of the nurse partner include the antici- pation of what the people, lifestyle, and environment will be in the host country. This cultural perspective and the nurse’s specific knowledge of the host country also affect nurse partners’ contributions. This per- spective includes the awareness of self and other per- sonal biases, in particular to identify how power, privilege, and ethnocentric values will impact the partnership process (Chavez et al., 2003; Richardson & Molinaro, 1996).



참석자들은 호스트 파트너 요소가 외부인 (이 경우 미국인), 국제 간호사 및 호스트 국가의 사회적, 경제적, 정치적, 환경 적 영향의 영향을 포함한다고 언급했다. 많은 참가자들은 개최국 정치와 경제에 대한 구체적인 지식을 말했습니다. 식민주의, 정복, 비슷한 상황에서 무력했던 과거의 경험은 호스트 공동체 파트너들이 간호사 파트너들과 engage하려는 의지에 영향을 미칠 것이다 (Ball & Janyst, 2008; Chavez et al., 2003; Richardson & Molinaro, 1996).


Participants noted that host partner factors include the expectations of outsiders (in this case Americans), of international nurses and the influence of the social, economic, political, and environmental status of the host country. Many of the particip- ants spoke of their specific knowledge of the host country politics and economy before their travel. Past experience with colonialism, subjugation, and being powerless in similar settings will influence the will- ingness of host community partners to engage with the nurse partners (Ball &Janyst, 2008; Chavez et al., 2003; Richardson & Molinaro, 1996).



자원

Resources


모든 글로벌 건강 프로젝트의 성공을 위해 자원에 대해 논의할 필요가 있습니다. 대부분의 경우, 호스트 파트너는 건강을위한 자원이 제한적인 빈곤국에서 살았습니다. 이 설정에서 일하는 간호사는 

    • 기금 모금, 

    • 미국 지역 사회 회원들로부터의 기부 요청, 

    • 자신의 경비를 조달해야하는 자원 봉사자 모집

...과 같은 지속적인 도전에 대해 이야기했습니다.

For the success of any global health project, there is a need for resources and all participants discussed re- sources. In most cases, the host partners lived in poorer countries that had limited resources for health. Nurses working in these settings spoke of the ongoing challenge of 

    • fundraising, 

    • seeking donations from community members in the United States, and 

    • recruiting volunteers who had to finance their own expenses.


파트너십 프로세스

Process for partnership


참여 프로세스

Engagement processes.


이 모델은 파트너십 개발 (그림 2)을위한 첫 번째 필수 단계로서, 개입의 지속 가능성을 위한 프로세스로 이어진다(그림 3). 문헌에서, 참여는 청취하고 배우고, 의사 결정에 동등하게 참여하며, 지역 사회의 역사, 문화, 자산 및 필요에 기반한 대화를 포함하는 양방향 과정이다 (Hariri, 2002; Hashagen, 2002).

This model identifies engagement as a first and necessary step for partner- ship development (Fig. 2), followed by the process for the sustainability of interventions (Fig. 3). From the literature, engagement is noted to be a two-way pro- cess that involves dialogue to listen and learn, equal participation in decision making, and builds upon the community’s history, culture, assets, and needs (Hariri, 2002; Hashagen, 2002).



문화적 다리놓기

Cultural bridging.


참가자 중 한 명은 전체 인터뷰를 문화적 다리 연결 개념으로 구성했습니다. 다른 참가자들은이 용어를 사용하지 않았지만 문화적 역량, 언어 장벽 및 문화적 차이에 대한 존중에 대해 언급했습니다. 한 참석자는 간호사는 문화적으로 민감해야 하며, 개방적이어야 하고, 다양성을 존중해야 하고, 새로운 언어를 배우고, 다양한 문화와 사고 방식 및 방법에 대한 가치를 인정해야 한다고 지적했습니다.

One of the participants framed the entire interview with notions of cultural bridging. While other participants did not use this term, they spoke of cultural competence, language barriers, and respect for cultural differences. One par- ticipant noted that for nurses to be culturally sensi- tive, they must be open and value differences, be willing to learn a new language, and to value the ex- posure to different cultures and ways of thinking and doing.


대부분의 프로그램은 호스트 국가의 언어에 능숙해야합니다.

Most programs re- quired some proficiency in the language of the host country.



협동

Collaboration.



역량 강화

Capacity building.



공동의 목표

Mutual goal setting.



파트너십

Partnership.




인터벤션의 지속가능성

Sustainability of interventions



프로그램 투입 요인

Program factor inputs


설계 및 구현 : 지역 사회 평가.

Design and implementation: community assessment.


대다수의 참가자들은 호스트 국가 설정에 들어가기 전에 시작해야하는 참여의 첫 번째 첫 단계로서 지역 사회 평가를 언급했다. 참가자들은 자신이 일할 지역 사회에 대해 먼저 배울 필요성을 자주 언급했습니다.

The majority of participants cited com- munity assessment as the essential first step for en- gagement that ideally should be begun before entry into the host country setting. The participants fre- quently cited the need to first learn about the commu- nity where they worked.


조직 설정 : 리소스.

Organizational setting: resources.


자원은 핵심 구성 요소이다. 대부분의 참여자들은 프로젝트 기능을위한 자원 필요성이나 지속 가능성을위한 특정 요인을 구별하지 않았다. 프로젝트 또는 프로그램의 지속 가능성에 관해 논의한 모든 사람들은 업무를 유지하기위한 재정적 및 물질적 자원의 중요성에 대해 이야기했습니다.

Re- sources were previously discussed under key compo- nents. Most participants did not distinguish between resource needs for project functioning or as a partic- ular factor for sustainability. All those who discussed the sustainability of their project or program dis- cussed the importance of financial and material re- sources to maintain and sustain their work.





광범위한 호스트 공동체 : 사회적 및 정치적 기후; 지역 사회 참여.

Broader host community: social and polit- ical climate; community participation.


모든 참석자들은 그들이 일했던 나라의 사회적, 정치적 분위기에 관해 언급했다.

All par- ticipants discussed the social and political climate of the country in which they worked.


지역 사회 참여에 영향을 미친 문화적 요인은 파트너십을위한 지역 사회 참여에 중요한 요소였습니다. 어떤 경우에 간호사들은 지역 사회 파트너와의 참여를 제한하는 호스트 국가의 광범위한 지역 요인에 좌절감을 나타 냈습니다.

Cultural factors that affected community participation were important fac- tors for engagement with the community for partner- ship. In some cases, the participants were frustrated by broader community factors in the host country that limited engagement with community partners.


프로세스 : 리더십 챔피언.

Processes: leadership champion.


간호 학생을위한 서비스 학습 여행을 주도하고 국제 간호 컨설팅 역할을 담당하는 간호사 참가자는 지속 가능성의 열쇠로 프로젝트에 대한 지속적인 의지를 보여주는 지도자를 갖는 것을 언급했다. 그러한 지도자는 지역 사회 구성원의 시각을 제공하고 작업 지속을위한 에너지와 안정성을 제공합니다.

A nurse participant who leads service learning trips for nurs- ing students and also serves in an international nursing consultative role asserts that the key to sustainability was to have a ‘‘champion’’ or a leader who shows ongoing commitment to the project, values the community members’ perspective, and offers en- ergy and stability to the continuation of the work.



성과 : 프로젝트 소유.

Outcomes: project ownership.


많은 참가자들이 호스트 국가의 초청이나 요청으로 작업을 시작했으며 호스트 파트너가 항상 오너십을 가진고 있다고 말하면서 다른 사람들은 나중에 채택 된 혁신을 촉발시킨 연구 나 협업에 참여했으며 그 다음에 호스트 파트너들에 의해 유지된다.

While many participants indicated that their work began with the invitation or the request of the host country and was always ‘‘owned’’ by the host partners, others were in- volved in research or collaboration that sparked inno- vations that were later adopted and then sustained by the host partners.




고찰

Discussion


참여 프로세스에는 문화적 브리징, 공동 작업, 능력 배양 및 상호 목표 설정이 포함됩니다. 문화적 인식, 민감성, 기술, 만남, 겸손 또는 안전이라는 용어는 문화적 역량이라는 용어 대신 종종 사용됩니다 (Ball & Janyst, 2008; Button et al., 2005; Campinha-Bacote, 2003; , 2009). 더피 (Duffy, 2001)는 글로벌 환경에 몰입하는 것이 자아 인식 향상과 민족 중심주의 인식에 필요한 비판적 성찰 기회를 창출한다고 주장한다. 결과적으로 참여자 중 한 사람이 사용한 '문화 브리징'이라는 용어는 문화 간 교류에서 '타자'라는 잠재적 인 틀에 박힌 개념을 제공하기보다는 조우에서 상호성을 제안한다 (Duffy, 2001). 또한, 간호사 파트너는 호스트 파트너를 silencing 할 위험이 없도록, 상호 교류시 자신의 힘을 염두에 두어야합니다 (Crigger, 2008). 이러한 기술은 세계 보건 간호에 필수적이며 국내외에서 개발 될 수 있습니다 (Sochan, 2008). Crist and Escondon- Dominguez (2003)는 상호 목표 개발, 문화적 숙달 및 문화 중개인의 사용이 중요하다고 주장한다.

Engagement processes include cultural bridging, collaboration, capacity building, and mutual goal set- ting. In the literature, the terms cultural awareness, sensitivity, skills, encounters, humility, or safety are often used in favor of the term cultural competence (Ball & Janyst, 2008; Button et al., 2005; Campinha- Bacote, 2003; Foster, 2009). Duffy (2001) argues that immersion in a global setting creates opportunities for necessary critical reflection for greater self-awareness and recognition of ethnocentric views. Consequently, the term ‘‘cultural bridging’’ that was used by one of the participants suggests mutuality in encounters rather than offering potentially stereotypical notions of ‘‘other’’ in cross cultural exchanges (Duffy, 2001). Further, the nurse partners must be mindful of their power in the exchange so as to not risk silencing the host partners (Crigger, 2008). These skills are integral to global health nursing and can be developed at home and abroad (Sochan, 2008). Crist and Escondon- Dominguez (2003) argue the importance of mutual goal development, cultural proficiency, and the use of cultural brokers.



이러한 상호 작용을 촉진하기 위해 두 파트너가 모두 수용 할 수있는 문화 중개인을 사용하면 상호 작용이 크게 향상됩니다 (Crist & Escondon-Dominguez, 2003; Patsdaughter, Christensen, Kelley, Masters, & Ndiwane, 2001). 숙련 된 중개인이 없으면 간호사 파트너가 건강이나 질병을 의미 있고 영구적 인 방식으로 해결하는 것이 매우 어렵습니다. 성공적인 프로젝트는 호스트 파트너의 문화적 차이를 존중하고 호스트 국가의 프로젝트와 사람들에 대한 진지한 헌신을 요구합니다. 또한, 성공은 호스트 국가의 행동, 능력 및 자원에 보완적인 간호 역할에 달려있다 (Sochan, 2008).

Using a cultural broker who is acceptable to both partners to facilitate such an interaction greatly en- hances the interaction (Crist &Escondon-Dominguez, 2003; Patsdaughter, Christensen, Kelley, Masters, & Ndiwane, 2001). Without a skilled broker, it is ex- tremely difficult for nurse partners to address health or illness in a meaningful and lasting way. Successful projects require nurses to respect host partners’ cul- tural differences and have a serious commitment to the project and people in the host country. Addition- ally, success depends on the nursing role being com- plementary to the actions, abilities, and resources of those in the host country (Sochan, 2008).


Kinnaman and Bleich (2004)에 따르면, 협력은 "지식 기여, 권력의 균등 분배, 규율, 계층 또는 심지어 조직 경계에 관계없이 최상의 결과를 달성하는 데 초점을 맞추고있다 "(317 쪽). 협동은 모든 당사자가 합의를 도출하고 공동의 목표를 향해 함께 노력할 때 발생합니다. 협동을 위해서는 호스트 파트너의 요구확인, 협력, 효과적인 의사 소통, 공유 의사 결정, 협상 등의 다양한 활동이 필요하다 (Israel et al., 2003). 인터뷰에서 이 두 가지 구성, 파트너십 및 협업은 여기에서 개발되고 문헌에서 확인 된 모델의 핵심이다 (Campbell, Cornish, & McLean, 2004; Crigger, Brannigan, & Baird, 2006; Israel et al., 2003; Pieper & Caliri, 2002). 이러한 파트너십 개발에서의 호혜성은 협력에 필수적이다 (Crigger et al., 2006).

According to Kinnaman and Bleich (2004), col- laboration is ‘‘marked by knowledge contribution, equal distribution of power, and a focus on achieving best outcomes without regard to discipline, hierarchy or even organizational boundaries’’ (p. 317). Collabo- ration occurs when all parties build consensus and work together toward common goals. Various activi- ties such as identification of the host partner needs, cooperation, effective communication, shared deci- sion making, and negotiation are necessary for collab- oration to occur (Israel et al., 2003). These two constructs, partnership and collaboration, from the interviews are central to the model developed here and confirmed in the literature (Campbell, Cornish, & McLean, 2004; Crigger, Brannigan, & Baird, 2006; Israel et al., 2003; Pieper & Caliri, 2002). Such mutuality in partnership development is essential to col- laboration (Crigger et al., 2006).



역량개발은.. 적절한 구조, 리더십 및 챔피언, 전문 지식, 자원, 행정 정책 및 절차가 포함되며 (Johnson et al., 2004) 인터벤션을 개발하는 데 있어 중요한 출발점입니다. 

Capacity building includes 

  • appropriate struc- tures, 

  • leadership and champions, 

  • expertise, 

  • resources, 

  • administration policies, and 

  • procedures (Johnson et al., 2004) and 

is the critical beginning point to develop interventions. 


Leadership among the host partners to continue interventions, policy change, and working with the established system are keys to sustainable success in health promotion (Dress- endorfer et al., 2005). 


Empowerment

  • Frequently, the term empowerment identifies the process whereby host partners gain the capacity to manage programs begun though collaborative partnerships (Postma, 2008; Wright, Cloonan, Leonhardy, &Wright, 2005). 

  • Empowerment is the equitable sharing of power that enables those in the host country to share knowledge, resources, and opportunities to direct their future and control their destiny (Chavez et al., 2003; Postma, 2008).



지속 가능성을 위해 글로벌 파트너십은 목적, 리더십 및 자원 측면에서 조직의 지원을 필요로합니다. 

For sustainability, global partnerships require organizational support in terms of purpose, leader- ship, and resources to move forward. While participants did not always address the organizational components, the literature (Johnson et al., 2004; Shediac-Rizkallah & Bone, 1998) identifies program factor inputs for sustainability that are consistent with the expert-identified constructs, most notably 

  • community assessment, 

  • resources, and 

  • community participation. 


The recognition of such inputs aids in the sustainability of program or project interventions (Hashagen, 2002; Paine-Andrews et al., 2000). Components of engagement need sustainability issues to be built into the partnership formation from the beginning.


파트너쉽은 또한 참여 및 관계 구축 프로세스의 결과로 이해 될 수 있습니다. 파트넛비은 상호이익을 위한 공유관계 형성으로 정의되며, 파트너십은 지속 가능성에 대한 문헌에서 언급 된 주요 구성 요소이다. 협동 관계는 지속 가능성에 필요한 선구자이다 (Butt, Markle-Reid, & Browne, 2008; Crigger, 2008, Hariri, 2002). 

Partnership can also be understood as an out- come of the engagement and relationship-building process. Partnership, defined as a shared relationship formation for mutual benefit, is a key component noted in the literature on sustainability (Johnson et al., 2004; Sadof et al., 2006; Wright, Zerbe, & Korniewicz, 2001). Collaborative relationships are necessary precursors to sustainability (Butt, Markle- Reid, & Browne, 2008; Crigger, 2008; Hariri, 2002). 


효과적 파트너십의 핵심 특성

Key attributes for effective partnerships are 

  • agreement to partner; 

  • collegial relationships that include reciprocity, communication, mutual support, mutual trust, respect, equality and conflict management; 

  • interdependency that involves sharing, cooperation, and synergy between professionals; 

  • frequent feedback; and 

  • power and leadership that is consensual and egalitarian (Butt et al., 2008; Crist & Escondon- Dominguez, 2003; El Ansari & Phillips, 2004).


글로벌 건강 프로젝트에는 리더십이 필요합니다. 여기에는 여행 물류 및 프로그래밍을 조정하고 지도력 직책에 조언하거나 봉사하는 지도자가 포함됩니다. 또한 열정적 인 지도자로 봉사하고 시간이 지남에 따라 또는 도전을 통해 프로젝트를 수행하는 개인이 있어야합니다 (Shediac-Rizkallah & Bone, 1998).

Global health projects require leadership. This in- cludes leaders who coordinate the trip logistics and programming, and consult or serve in leadership board positions. Additionally, there must be an indi- vidual who serves as a passionate leader and ‘‘cham- pions’’ the project over time or through challenges (Shediac-Rizkallah & Bone, 1998).



참여자가 제공한 지속가능성에 대한 개념(협상 계획, 자금 조달, 프로그램 리더십, 챔피언 및 지역 사회 참여)에서 언급 된 몇 가지 요소는 문헌에 기록 된 구조와 일치했다 (Shediac-Rizkallah & Bone, 1998). 

Sustainability as a concept lacked clear defini- tions among the participants and in the literature. Several factors noted in the conceptualizations offered by the participants (negotiation planning, financing, program leadership, champion, and community par- ticipation) were consistent with the constructs noted in the literature (Shediac-Rizkallah & Bone, 1998). 



참가자들은 지속 가능성에 대한 몇 가지 유형의 성과를 언급했습니다. 

  • 일부의 경우, 프로그램 활동의 지속성이나 인터벤션으로부터 유도된 혁신이 초점이었습니다. 

  • 다른 사람들에게는 개입이 건강 결과를 향상시키고 주최국이 프로그램이나 프로젝트의 완전한 소유권을 갖게되는 방법에 대한 구체적인 관심이 있었다. 

Participants addressed several types of outcomes for sustainability

  • For some, the continuation of their program activities or of innovations from their in- terventions was the focus. 

  • For others, there was specific concern for how the interventions would improve health outcomes and for the host country to have complete ownership of the program or the project. 


충분한 자원 (인적, 물적, 재정적)과 리더십 없이는 '공유된 리더십'에서 '호스트의 리더십'으로의 완전한 이전이 불가능했습니다. 간호사가 프로젝트를 지속 할 수 있도록 도와줍니다 (Pieper & Caliri, 2002).

The complete transfer of leadership from shared to host ownership was impossible without adequate resources (human, material, and financial) and leadership from U.S. nurses to sustain the project (Pieper & Caliri, 2002).



한계와 미래 방향

Limitations and future directions



결론

Conclusion


The model offers a process for effective reciprocal engagement focused on the strengths and needs of the host partners. 

  • Engagement involves col- laboration, partnering, and cultural bridging. 

  • Effective partnerships where trust, shared learning, and participatory decision making are evident promote sustainable interventions. 

  • Partnerships can then lead to an appropriate project design, effective technical capacity, and strong community involvement that includes political support, adequate financing, and strong leadership necessary for sustainability.









 2011 Jan-Feb;28(1):91-102. doi: 10.1111/j.1525-1446.2010.00892.x. Epub 2010 Nov 14.

Conceptual model for partnership and sustainability in global health.

Author information

1
College of Nursing, University of Massachusetts Dartmouth, Dartmouth, Massachusetts, USA. jleffers@umassd.edu

Abstract

Although nursing has a long history of service to the global community, the profession lacks a theoretical and empirical base for nurses to frame their global practice. A study using grounded theory methodology to investigate partnership and sustainability for global health led to the development of a conceptual model. Interviews were conducted with 13 global health nurse experts. Themes from the interviews were: components for engagement, mutual goal setting, cultural bridging, collaboration, capacity building, leadership, partnership, ownership, and sustainability. Next, the identified themes were reviewed in the literature in order to evaluate their conceptual relationships. Finally, careful comparison of the interview transcripts and the supporting literature led to the Conceptual Framework for Partnership and Sustainability in Global Health Nursing. The model posits that engagement and partnership must precede any planning and intervention in order to create sustainable interventions. This conceptual framework will offer nurses important guidance for global health nursing practice.

PMID:
 
21198819
 
DOI:
 
10.1111/j.1525-1446.2010.00892.x


왜 1/4의 교수가 대학의학을 떠나려고 하는가?: 기관 문화와 이직 의도에 대한 연구(Acad Med, 2012)

Why Are a Quarter of Faculty Considering Leaving Academic Medicine? A Study of Their Perceptions of Institutional Culture and Intentions to Leave at 26 Representative U.S. Medical Schools

Linda H. Pololi, MD, Edward Krupat, PhD, Janet T. Civian, EdD, Arlene S. Ash, PhD, and Robert T. Brennan, EdD





의과대학 교수에 대한 여러 연구에서 불만족, 탈락, 탈진률, 연구에서의 비 윤리적 행위, 교수진의 노화 등이 보고되었습니다 .6 그렇더라도 교수진이 어떤 이유로 의과대학을 떠나거나 불만족하게 되는지에 대한 연구 결과는 거의 없습니다. 

  • 두 개의 단일 기관 연구에서 7,8 Cropsey7은 여성 및 Minority 교원의 감소가 전문성 발달 문제, 낮은 봉급 및 리더십에 대한 불만 (51 % 응답률)에 기인한다는 것을 발견했으며 

  • Lowenstein은 교육이나 진료 우수성에 대한 reognition이 부족한 것, 가족과 직무 간 균형의 어려움 등이 떠날 의향 (38 % 응답률)과 관련이 있다고 했다. 

  • Schindler 등 1)은 교사의 복지에 관한 4개 학교 연구에서 1985 년 조사의 결과와 비교하였을 때, 젊은 교수의 우울증과 불안증이 작업 만족도가 감소와 임상적으로 유의한 우울 증상과 관련되어있다고 하였다..

Several studies of faculty in academic medicine report high levels of dissatisfaction,1 attrition,2,3 burnout rates,4 unethical behavior in research,5 and an aging faculty.6 Even so, there is little published research on what predisposes faculty to leave academic medicine or the reasons for their dissatisfaction. 

  • In two single-institution studies,7,8 Cropsey7 found that attrition of women and minority faculty was due to professional advancement issues, low salary, and chairman/ leadership discontent (51% response rate), and 

  • Lowenstein8 found that lack of recognition for teaching and clinical excellence, and difficulty in balancing family–career responsibilities, were linked to the intent to leave (38% response rate). 

  • Schindler et al,1 in an important four-school study of faculty well-being, documented high levels of depression andanxiety, especially in younger faculty, and, in comparison with findings of a 1985 study,9 found decreased work satisfaction and higher levels of clinically significant depressive symptoms in faculty.



최근 미국 의과 대학 (Association of American Medical Colleges)은 의과 대학 교수진이 보유율을 보고하고 만족도를 간략히 평가했습니다 (47.5 %의 응답률). Intent to leave는 진료활동과 질, 그리고 Workplace가 동료애를 키웠는 지와 상관 관계가 있었다.

A recent Association of American Medical Colleges (AAMC) analysis2 of clinical- only physician faculty in 23 self-selected medical schools reported retention ratesand briefly assessed satisfaction of this group of faculty (47.5% response rate). Correlates of intent to leave focused on the activity and quality of patient care and whether the workplace cultivated collegiality. 



또한 1 명의 임상 교수를 대체하는 비용은 전공에 따라 155,000 달러에서 559,000 달러 사이이며, 그 외에도 아카데믹 건강 센터 (AHC)에 미치는 덜 tangible한 영향이 많다. 교수진 교체 비용은 한 AHC에서 연간 예산의 5 %를 차지합니다 .11

Additionally, the cost of replacing one clinical faculty member has been calculated as between $155,000 and $559,000, depending on discipline,10 plus the many less tangible effects on the academic health center (AHC). Faculty turnover costs account for 5% of the annual budget in one AHC.11


교수들은 직장 문화가 협동적이기보다는 경쟁적이었음에도 불구하고 직업에서 의미를 느끼고 지적으로 자극을 받았다. 교수들은 종종 동료들과 격리되고 연결이 끊어지는 느낌을 받았습니다. 14 많은 사람들은 자신의 가치관과 그들의 학교가 표방하는 가치에 alignment가 부족함을 느꼈다. 유색인종과 여성 교수에 대한 무의식적이고 의식적인 편향을 묘사했다.

We learned that faculty continued to find their work meaningful and intellectually stimulating, even though their workplace culture was competitive rather than collaborative and faculty often felt isolated and disconnected from their colleagues.14 Many perceived a lack of alignment between their own values and those exhibited by their schools.16,18 Both women and faculty of color described unconscious and conscious bias.19–21


Method


설문 도구 개발

Instrument development


The domains and items of our survey questions were derived in large part from themes identified in the C-Change qualitative studies14–18,20,21 in conjunction with an extensive search of the literature and reviews of relevant instruments.1,23–27 We created 74 items related to 

  • advancement, 

  • engagement, 

  • relationships, 

  • feelings about workplace, 

  • diversity and equity, 

  • leadership, 

  • institutional values and practices, and 

  • work–life integration.


표집 

Sampling procedures


Selecting schools.


Schools were selected in a multistage process. 

    • First, we included the 5 schools that were part of the consortium associated with the project from which this study derived. The 5 C-Change schools had been selected to vary among themselves in important ways and encompass a range of key attributes of medical schools (public/ private, region of the United States, National Institutes of Health [NIH] research intensive, or community care focused). The mean aggregate faculty demographics of these 5 schools matched those of all the 126 AAMC member schools at the time. Our survey was administered in these 5 schools as a pretest survey and very early in the school leaders’ participation in the C-Change Learning Action Network. 

    • Then, with the assistance of the AAMC and using the AAMC roster of all its 126 member medical schools at that time, we constructed a stratified random sample of an additional 21 medical schools to ensure that the resulting 26 schools 

      • (1) spanned all school types (including 1 small and 1 historically black school) and 

      • (2) achieved a distribution similar to the overall proportion of AAMC member schools across eight strata defined by four geographic regions crossed with public/private status. Each dean was asked permission to approach faculty and to provide e-mail addresses. If consent was not granted, a school from the same stratum was randomly selected as a replacement. The same stratified random selection of faculty was used in all 26 schools. 


Because the first 5 schools had not been selected at random, the data from these schools were systematically compared with those of the other 21. We found no significant differences in respondents’ perceptions on 11 of 12 scales created to measure dimensions of the culture (see Table 1). The exception was the relatedness/ inclusion scale, on which the 5-school faculty sample scored modestly higher; all demographic characteristics of the faculty were alike. We cannot name the participating schools because they were assured anonymity; however, the systematic random sampling of 21 of the 26 schools and the measured similarity of the 5 nonrandomly and 21 randomly selected schools gave us confidence that the sample 26 schools is reasonably representative of all U.S. medical schools. 


Table 2 compares characteristics of the study schools with all AAMC member schools.




의과대학 내 교수 샘플링

Sampling faculty within schools.


The AAMC provided lists of full-time faculty at each school, including faculty demographic characteristics. For sampling, each faculty member was categorized by sex and chronological age: under 39 years old; 39 to 47 years; and 48 years and older. Faculty selection began with equal allocation stratified sampling to ensure adequate numbers of women in the respondent pool for analysis with a feasible total sample size. At each school, 25 faculty were randomly selected from each of 6 sex-by-age categories for a base sample of 150 per school. To ensure adequate numbers of faculty in 2 other groups of interest, we added faculty at each school to the 150 members sampled by sex and age. 


Faculty who identified as underrepresented minorities in medicine (URMM) were one such group. We followed NIH definitions in coding the following as URMM: 

    • American Indian or Alaska Native, 
    • black or African American, 
    • Hispanic/Latino, 
    • Native Hawaiian, or 
    • other Pacific Islander. 

At each school, we added URMM faculty to each age group, up to a maximum of 20 URMM faculty per group. When fewer than 20 URMM faculty were available in a category, faculty from the next-younger category were selected until the target was reached or the pool of URMM faculty was exhausted.



Female surgeons were another group of interest because of the particularly low representation of women in this specialty. To ensure their representation, additional female surgeons were selected until the pool was exhausted. By oversampling URMM faculty and female surgeons, we were able to maximize statistical power for testing comparative questions for these groups and to increase the precision for estimates in what might otherwise be sparse categories when examining characteristics within these groups such as faculty rank. Weights were employed to adjust for oversampling in survey analyses.


설문 시행

Survey administration


The stratified selection process and inclusion of additional URMM faculty and female surgeons resulted in a list of 4,578 sampled faculty.



참여
Engagement: being energized by work‡ 

Find work personally satisfying, proud to work at institution, feel energized by work, look forward to coming to work, feel burned out (RC§)


자기효능감

Self-Efficacy: confidence in ability to advance in career‡ 

Satisfied with career advancement, feel advancement as open to me as anyone else, feel confident in my ability to progress in career, feel confident I can overcome any professional barriers


기관의 서포트

Institutional Support: institutional commitment to faculty advancement‡ 

Institution actively encourages faculty retention, I feel part of a supportive community, institution seems committed to my success, institution facilitates professional development, I get help to advance career, I get constructive feedback, receive credit for work I do


관계성

Relatedness/Inclusion: faculty feelings of trust, inclusion, and connection‡ 

Faculty trusting and open, colleagues value my contributions, feel ignored/invisible (RC), hide what I think and feel (RC), feel isolated (RC), reluctant to express opinion/fear negative consequences (RC)


가치관의 부합

Values Alignment: alignment of faculty member’s personal values and observed institutional values‡ 

High faculty morale, administration only interested in me for revenue (RC), institution committed to serving the public, institution makes effort to involve me in decision making, institution’s actions well aligned with stated values and mission, institution puts own needs ahead of educational/clinical missions (RC), my values well aligned with school’s, institution rewards excellence in clinical care, institution does not value teaching (RC)


윤리/도덕적 스트레스

Ethical/Moral Distress: feeling ethical or moral distress and being adversely changed by the culture‡ 

Must be self-promoter to get ahead, working here is dehumanizing, culture discourages altruism, felt pressure to behave unethically, people need to be deceitful in order to succeed, have to be more aggressive than I like, others have taken credit for my work, have to compromise values to work here


리더십에 대한 열망

Leadership Aspirations: aspiring to be a leader in academic medicine‡ 

Being a leader in academic medicine important to me, want to be influential in making change happen at my institution


성 평등

Gender Equity: perceptions of equity for women

Harder for female faculty to get ahead than males (RC), institution actively supports women in achieving leadership, aware of instances of unfair treatment because of gender (RC), institution treats women and men equitably for promotion


소수인종 평등

URMM Equity: perceptions of equity for URMM faculty¶ 

Harder for minority faculty to get ahead than others (RC), institution actively supports minorities in achieving leadership, aware of instances of unfair treatment because of race or ethnicity (RC), institution treats minorities and nonminorities equitably for promotion, institution’s actions demonstrate that it values diversity


직장-삶 통합

Work–Life Integration: institutional support for managing work–life 

Workplace is family friendly, able to take time for personal/family issues when needed, difficult to succeed without sacrificing personal/family commitments (RC), job allows me to maintain a reasonable balance in my life


다양성을 위한 기관의 노력

Institutional Change Efforts for Diversity: good-faith effort by institution to advance women and URMM faculty¶ 

(In past year) institution has made effort to recruit minority faculty, have women in positions of leadership, have minority faculty in positions of leadership


교수 서포트를 위한 기관의 변화노력

Institutional Change Efforts for Faculty Support: good-faith effort by institution to improve support for faculty 

(In past year) institution has strengthened mentoring, attempted to humanize policies and practices, is responding to input from people like me, instituted family-friendly policies, invested in success of the faculty, open to change




Using the five-point scale described earlier (i.e., strongly disagree, somewhat disagree, neither agree nor disagree, somewhat agree, strongly agree), respondents were asked the extent to which they endorsed the following statement: “In the past 12 months, I have seriously considered leaving my current institution.” A second, analogously phrased item asked about “seriously considering leaving academic medicine.” Those responding with one of the “agree” categories were asked their reason for considering leaving. Responses to these items generated five discrete groups: 

    • (1) stayers—those who had not seriously considered leaving, 

    • (2) those considering leaving their school but not academic medicine because of dissatisfaction, 

    • (3) those considering leaving academic medicine because of dissatisfaction, and 

    • those considering leaving their school and/or academic medicine either 

      • (4) to retire or 

      • (5) for personal/family reasons.


독립변수

Independent variables



개인 수준

Several personal and professional demographic items were used as predictors: 

  • sex; 

  • URMM status; 

  • age; 

  • having a medical versus another terminal degree; 

  • percent time devoted to research; 

  • rank; 

  • primary role of clinician, researcher, administrator, or educator; and 

  • holding a leadership position. 


설문 조사에서 확인한 특성

These characteristics were gathered from survey response data. Additional professional attributes included 

  • receipt of mentoring (or not) and 

  • whether their medical school (as opposed to their hospital) predominantly affected their job satisfaction. 


학교 수준

School-level variables included 

  • NIH award ranking and 

  • (from the AAMC) sector (public versus private), 

  • region, 

  • school size, and 

  • percentage of faculty who are women.



통계 분석

Analytic overview


We constructed weights based on sex, age, and URMM status of all faculty at the 126 AAMC member schools in 2008 to be able to generalize our findings to the national population of academic faculty. To address missing values in demographic data and scales representing dimensions of the culture, 10 multiply imputed data sets were estimated using IVEware 2002 (Survey Research Center, Institute for Social Research, University of Michigan).28 Under certain assumptions, multiple imputation yields unbiased point estimates and confidence intervals.29 IVEware uses chained equations in combination with a Markov chain Monte Carlo method.



To determine the conceptual structure underlying faculty responses, we subjected 46 items related to institutional culture to a factor analysis using SAS/STAT Version 8.2 for Windows, 2004 (SAS Institute, Cary, North Carolina). 

  • First, we examined unrotated principal component loadings showing the linear consistency among all items, retaining items with unrotated factor loadings ≥ 0.40.30 

  • Then, we used an equamax rotation to identify distinct factors, or subdimensions, of institutional culture.

  • We used these in conjunction with semantic review of the items to guide final scale development; an additional five scales were content derived. 

Negatively stated individual questions were reverse coded, responses summed, and scores divided by the number of items in each scale. Cronbach α reliability coefficients were estimated to assess the internal consistency of each scale (see Table 1 for a complete list of scales and abbreviated items).



We used a two-level (individual and school) multinomial logit model31 to estimate predictors of membership in each leaver group using HLM 7 for Windows, 2011 (Scientific Software International, Inc., Lincolnwood, Illinois). Because these models are complex, in particular with regard to parallel equations for each of the four types of leaving intentions, and because some of the leaver groups were sparsely populated, the models were constructed by testing progressive blocks of variables as indicated in Table 3, starting with personal demographics, and by conducting joint significance tests to retain or drop each group of variables using the multiple general linear hypothesis testing available in HLM 7. Only significant variable blocks were retained. However, female and URMM were retained to test two-way interaction effects in a later model. Finally, a reduced model was created consisting only of variables that were significant predictors for at least one of the four outcome categories. The reduction alleviates multicollinearity concerns and improves the efficiency of the estimation.



In the model presented, 

  • odds ratios for the scale variables were interpreted for a one-unit change on the original Likert scale (e.g., from “3 = neither agree nor disagree” to “4 = somewhat agree”), and the 
  • odds ratio for age was interpreted for a one-decade change in age. 


All continuous variables were centered on their grand means. All binary variables were coded 0/1, with the variable name representing the 1 value; for instance, the odds ratio associated with female represents the odds associated with being female versus being male.




결과

Results



응답자 특성

Among respondents with complete data, 1,142 (57%) were stayers. The remaining 852 (43%)—all “leavers”— were divided among 

  • those considering leaving their school (but not academic medicine) because of dissatisfaction (273 [14%]), 

  • those considering leaving academic medicine altogether because of dissatisfaction (421 [21%]), 

  • those considering leaving their school and/or academic medicine for personal/family reasons (109 [5%]), and 

  • potential retirees (49 [2%]). 

Characteristics of the sample and descriptive statistics for faculty-level predictors are presented in Table 3.



학교 특성

Schools 

  • were almost evenly split between public (14 [54%]) and private (12 [46%]) and 

  • were similarly distributed by region in the universe of AAMC member schools: Northeast, 8 (31%); South, 8 (31%); Central, 6 (23%); and West, 4 (15%). 

  • School faculty size ranged from about 200 to 1,600, with an average of 935; 

  • NIH award ranks spanned nearly the entire range, with an average rank of 60.4. 

  • Faculty at the 26 schools were 33% women (versus 32% across all schools nationally).


의과대학을 떠나려는 교수들과 관련된 요인

Scales associated with faculty staying versus considering leaving


The rotated solutions identified 8 factors, which were used to create 7 scales as identified in Table 1. The 5 additional content-derived scales and associated statistics for all 12 scales are also displayed in Table 1.



Intention to leave와 관련 없었던 요인들

For none of the leaver groups was there a significant association between intention to leave and 

  • URMM status, 

  • faculty rank, 

  • percentage of time devoted to research, 

  • holding a school leadership position, 

  • whether their medical school (versus theirhospital) predominantly affected their job satisfaction, 

  • school size, 

  • sector (public versus private), 

  • geographic region, 

  • NIH award ranking, or 

  • the percentage of faculty who are women. 


Leaving을 예측하지 않은 스케일

Two scales failed to predict leaving: 

  • 성 평등 perceptions of gender equity and 

  • 다양성을 위한 기관변화 institutional change efforts for diversity. 



Faculty considering leaving because of dissatisfaction 


Faculty considering leaving because ofretirement or personal/family reasons




고찰

Discussion and Conclusions



우리의 연구는 교수진이 왜 자신들의 소속 기관이나 직업 자체를 떠날 정도로 불만족을 느끼는지를 조사했다..

Our study delves into why faculty feel so dissatisfied that they intend to leave either their own institutions or their careers in academic medicine. 


불만족 요인

The central and concerning finding is that faculty dissatisfaction was saliently associated with 

  • 부정적 인식 faculty members’ negative perceptions and 

  • 비-관계적, 윤리적 문화에 의한 스트레스 distress about the non-relational and ethical culture of the workplace. 

Intention to leave요인 

Significant predictors of intention to leave included 

  • 취약함, 단절된 느낌 feeling vulnerable and unconnected to colleagues, 

  • 도덕적 스트레스 moral distress, 

  • 비윤리적인 문화 perceptions of the culture being at times unethical, and 

  • Adversely changed하는 느낌 feelings of being adversely changed by the culture. 

그 외

also predicted intention to leave. 

  • 낮은 자기효능감 Low self-efficacy and 

  • 낮은 참여 (low) sense of engagement and 

  • 자신의 가치와 기관의 가치 간 괴리 a lack of alignment of faculty members’ personal values with perceived institutional values 



현저한 대조적으로, 

  • 학교 규모, 

  • 지역 또는 부문 (공공 대 민간)

...과 같은 객관적인 특성은 불만족이나 이직과 무관했다. 


다음 사항들도 관련이 없었음. 

  • 교수자 구성원의 성별, 

  • URMM 상태 또는 

  • 직업-삶 통합과 관련된 인식 

유사하게, Lowenstein 등 8)은 학문적 의학을 떠나려는 의도에서 성별 차이를 발견하지 못했다.


In marked contrast, objective characteristics such as school size, region, or sector (public versus private) were not associated with dissatisfaction and considering leaving. None of the following either independently predicted, or moderated, dissatisfaction and considering leaving: the faculty member’s sex, URMM status, or perceptions associated with work–life integration (see List 1). Similarly, Lowenstein et al8 found no sex differencein intention to leave academic medicine. 




관계성

Relationships and inclusion


비 관련성 - 고립되어 보이지 않는 느낌 - 은 떠나려는 의도와 관련이 있습니다. 이 발견은 연결성 부족낮은 자기 효능감을 특징으로 하는 사회적 환경이 내재적 동기 부여를 방해하고 개인의 타고난 심리적 요구를 저해한다는 심리적 이론의 교리에 부합한다 .33) medical training과 organizational healthcare outcome관계가 점점 중요하다고 인정되고 있지만, 동료 간의 관계에 관한 연구는 거의 없다 .35) 36) Lowenstein 등 8)은 응급 의학 교수진에서 "academic community로서의 인식 부족"과 관련이 있다고 밝혔다.

Unrelatedness—expressed as faculty feeling isolated and invisible—correlates with intent to leave. This finding accordswith the tenet of psychological theory that social environments characterized by a lack of connectedness and low self- efficacy hinder intrinsic motivation and thwart individual innate psychological needs.32 Although relationships are increasingly recognized as critical in shaping medical training33,34 and organizational health care outcomes,35 few studies exist on relationships among colleagues.35,36 In emergency medicine faculty, Lowenstein et al8 also showed that intention to leave was related to “departmental lack of a sense of academic community.”




쉰들러 (Schindler) 연구팀은 4 개의 의과 대학에서 남성과 여성 교수의 약 20 %가 우울증으로 임상 적으로 유의 한 증상을 나타내 었음은 물론 높은 불안의 등급을 얻었으며 젊은 교수진이 가장 많은 영향을 받았다. 이러한 문제는 응답자의 취약성, 동료와의 연결성 부족, 자기 효능감 및 참여감 저하에 기인할 수 있습니다.

Schindler and colleagues1 found clinically significant symptoms of depression among approximately 20% of both men and women faculty in four medical schools, as well as high anxiety ratings, with younger faculty being most affected. Such problems could be contributing to our respondents’ 

    • feelings of vulnerability, 

    • being unconnected to colleagues, and 

    • lower self-efficacy and 

    • (low) sense of engagement.


윤리/도덕 스트레스

Faculty ethical/moral distress



우리의 연구 결과는 25 년 동안의 조직 정의 연구의 메타 분석과 일치합니다. 이 연구는 조직의 정의와 윤리적인 분위기에 대한 직원의 인식이 직무 만족도 증가, 리더십에 대한 신뢰, 성과 향상, 고용주에 대한 헌신 및 매출 감소와 관련되어 있음을 시사합니다 .12,13

Our findings are congruent with meta- analyses of 25 years of organizational justice research outside medicine. These studies suggest that employee perceptions of organizational justice and an ethical climate are related to 

    • increased job satisfaction, 

    • trust in leadership, 

    • enhanced performance, 

    • commitment to one’s employer, and 

    • reduced turnover.12,13



윤리적 / 도덕적 어려움의 척도 (표 1 참조)는 지배적인 규범에 대한 반응 및 전문직업성의 부식 가능성과 조직의 이기주의 증가를 반영합니다. 조직은 직원의 윤리적 또는 비 윤리적 인 행동에 영향을 미치고 책임이 있다는 믿음이 증가하고 있습니다 .37,38

The scale of ethical/moral distress (see Table 1) reflects 

    • reactions to the prevailing norms and 

    • possible erosion of professionalism and 

    • increased organizational self-interest

There is a growing belief that organizations influence and are responsible for the ethical or unethical behaviors of their employees.37,38



조직의 정의에 대한 교수들의 인식은 의학에서 프로페셔널리즘의 문제에 중요한 역할을 합니다. 설문 조사에서 윤리적 / 도덕적 고통의 척도로는 "우리 기관 문화는 이타성을 낙담시킨다" "나는 여기에서 일하는 것이 비인간적 인 것으로 생각한다"(이 척도의 다른 항목은 표 1 참조) 도덕적 괴로움은 소속 기관 뿐만 아니라 대학의학을 완전히 떠나려는 의도와 더 밀접한 관계가 있었다. 교수들 사이의 이러한 부정적인 감정은 특히 그들에게 낙담하고 주요 직업 결정에 영향을 미칠 수 있습니다.

Faculty perceptions of organizational justice are pivotal to the critical issue of professionalism in medicine. The ethical/moral distress scale in the survey reported here included items such as “the culture of my institution discourages altruism” and “I find working here to be dehumanizing.” (See Table 1 for other items in this scale.) In that ethical/moral distress was more strongly related to intent to leave academic medicine entirely than intent to leave one’s own institution, these negative feelings among faculty must be particularly disheartening to them and may color major career decisions.


Intention to leave에 대한 효과 외에도, 교수진에 대한 detrimental한 문화는 의과대학생을 덜 이타주의적으로, 냉소적으로 만드는 잠재커리큘럼으로 작용한다..40,41 우리는 Inui42에 동의합니다. 공식교육과정에서 강조되는 도덕적, 인간적, 전문적 가치관을 교수 스스로 경험하지 못하면, 교육도 훼손될 수 있다. 

In addition to effects on intention to leave, the detrimental culture for faculty members constitutes part of the hidden curriculum for medical students, who often become less altruistic and more cynical through the four years of medical school.40,41 We concur with Inui42 that 


if faculty project that the moral, ethical, professional, and humane values articulated in the formal curriculum are not reinforced in their own experience as faculty (through the medium of the hidden or informal curriculum), the goals of educating and graduating competent, professional, and humanistic physicians may be undermined.



연령

Age of faculty members


AAMC 분석과 마찬가지로, 우리는 젊은 교수진이 불만족으로 인한 이직 의사를 더 많이 느낌을 발견했다. 교수개발은 개별 학교와 국가의 건강 관리를 위한 장기적인 투자이기 때문에 젊은 교수진의 손실은 특히 문제가됩니다. 이러한 turnover의 몇 가지 이점 중 하나는 신선한 아이디어와 에너지를 모집 할 수 있는 기회라는 점이다.

Similar to AAMC analyses,2 we found that younger faculty were more likely to consider leaving academic medicine for dissatisfaction than their older colleagues. Differential loss of young faculty is especially problematic because faculty development is a long-term investment for individual schools and for the nation’s health care. One of the few benefits of turnover is the opportunity to recruit fresh ideas and energy.


일과 삶의 균형

Work–life integration


남성과 여성 모두 일과 삶의 균형과는 상관 없었다.

Of note, our findings for both women and men did not associate work–personal life problems with dissatisfaction and leaving academic medicine.




강점과 약점

Study limitations and strengths


This study provides substantial detail to our previous understanding of faculty dissatisfaction and attrition.1,3,7,9,45,46 Because survey items were based on a hypothesis-generating qualitative analysis of prior faculty interviews, our survey included numerous non-customary questions and domains relating to relationships, values, ethical and moral climate, being changed by the culture, diversity, equity, and support/ advancement.



We hope that medical schools can use these findings to develop organizational structures that not only support intellectual endeavors but also support relationship formation among faculty, including those in leadership.47,48 The Relationship Centered Care Initiative has focused on this goal; for instance, Cottingham and colleagues42 gathered stories of positive relational patterns among faculty and used these to foster mindfulness and to enhance relational practices. Incorporating activities for faculty and leaders that encourage reflection on the meaningfulness of their work and core convictions could help address moral and ethical issues and help prevent faculty from feeling that they have been adversely changed in the culture.48 This core change in medical school culture could encourage trustworthy relationships and support the humanistic needs of health professionals. A supportive culture could also positively affect students and physicians in training and facilitate the inclusiveness and collaboration essential for creative research productivity and optimal patient care. 


Although the beliefs and attitudes of faculty are fortunately aligned with the purported missions of academic medicine, our survey findings suggest that the culture of medical schools is a barrier to fulfilling these professed goals. We have some optimism that increased awareness of the issues discussed in this report will support ongoing efforts to positively change the culture for academic health professionals. It bodes well that the faculty we studied retained an awareness of a moral imperative and their own deeply held values, such that the negative aspects of their work environment did not obliterate their desire to act authentically and professionally in meeting the demands of their roles and responsibilities.



14 Pololi L, Conrad P, Knight S, Carr P. A study of the relational aspects of the culture of academic medicine. Acad Med. 2009;84: 106–114.


1 Schindler BA, Novack DH, Cohen DG, et al. The impact of the changing health care environment on the health and well-being of faculty at four medical schools. Acad Med. 2006;81:27–33.










 2012 Jul;87(7):859-69. doi: 10.1097/ACM.0b013e3182582b18.

Why are a quarter of faculty considering leaving academic medicine? A study of their perceptions of institutional culture and intentions to leave at 26 representative U.Smedical schools.

Author information

1
National Initiative on Gender, Culture and Leadership in Medicine: C-Change, Brandeis University, 415 South St., Mailstop 079, Waltham, MA 02454-9110, USA. lpololi@brandeis.edu

Abstract

PURPOSE:

Vital, productive faculty are critical to academic medicine, yet studies indicate high dissatisfaction and attrition. The authors sought to identify key personal and cultural factors associated with intentions to leave one's institution and/or academic medicine.

METHOD:

From 2007 through early 2009, the authors surveyed a stratified random sample of 4,578 full-time faculty from 26 representativeU.Smedical schools. The survey asked about advancement, engagement, relationships, diversity and equity, leadership, institutional values and practices, and work-life integration. A two-level, multinomial logit model was used to predict leaving intentions.

RESULTS:

A total of 2,381 faculty responded (52%); 1,994 provided complete data for analysis. Of these, 1,062 (53%) were female and 475 (24%) were underrepresented minorities in medicineFaculty valued their work, but 273 (14%) had seriously considered leaving their own institution during the prior year and 421 (21%) had considered leaving academic medicine altogether because of dissatisfaction; an additional 109 (5%) cited personal/family issues and 49 (2%) retirement as reasons to leave. Negative perceptions of the culture-unrelatedness, feeling moral distress at work, and lack of engagement-were associated with leaving for dissatisfaction. Other significant predictors were perceptions of values incongruence, low institutional support, and low self-efficacy. Institutional characteristics and personal variables (e.g., gender) were not predictive.

CONCLUSIONS:

Findings suggest that academic medicine does not support relatedness and a moral culture for many faculty. If these issues are not addressed, academic health centers may find themselves with dissatisfied faculty looking to go elsewhere.

PMID:
 
22622213
 
DOI:
 
10.1097/ACM.0b013e3182582b18


국제의과대학 교수개발: 중국의 의학교육자 대상 요구조사(Adv in Health Sci Educ, 2009)

International medical school faculty development: the results of a needs assessment survey among medical educators in China

Yan Guo Æ Emily Sippola Æ Xinglin Feng Æ Zhe Dong Æ Debing Wang Æ Cheryl A. Moyer Æ David T. Stern





Introduction


  • 중화 인민 공화국에서 1965 년 이전에 의료 교육은.... 

  • 1966 ~ 1976 년 문화 혁명 기간 동안, 의학 교육은 농민, 공장 노동자 및 해방군의 사람들에게 최우선 적으로 제공되었습니다. 그 당시 교과 과정은 기초 과학보다 훨씬 더 정치 과학을 강조했다. 

  • 1977 년 이후, 대학 입학은 경쟁이 치열 해졌고 1970 년대 초반에 훈련받은 많은 의사들이 재교육 과정remedial coursework를 완료하기 위해 직위에서 리콜되었습니다 (Reynolds and Tierney 2004). 

  • 1980 년대 이래 일련의 개혁이 이루어져 서서히 전통 의학과 동종 요법 의학을 통합하는 포괄적 인 의학 교육 시스템을 형성하게되었다 (Lee and Lee 1997). 

  • Prior to 1965 in the People’s Republic of China, medical education consisted of three options: 

    • a vocational medical program with admittance to those with a junior high school education, 

    • 5 years of medical school for those who had completed high school, and 

    • tradi- tional Chinese medicine. 

  • During the 1966–1976 Cultural Revolution, medical education was offered first and foremost to peasants, factory workers, and those in the liberation army. At that time the curriculum emphasized political science far more than the basic sciences. 

  • After 1977, university admission became highly competitive, and many physicians trained in the early 1970s were recalled from their positions to complete remedial coursework (Reynolds and Tierney 2004). 

  • Since the 1980s, a series of reforms have been made, gradually resulting in the formulation of a comprehensive medical education system that works to integrate traditional and allopathic medicine (Lee and Lee 1997). 

직업 교육은 3 년, 대학교 의학 교육은 5 년에서 8 년 사이입니다. 5 년간의 학습이 가장 일반적인 기간입니다. 커리큘럼 개혁에도 관심이 많다. Institute for International Medical Education의 Global Minimum Essential Requirements 의 개발 및 평가에 대응하기 위하여 몇몇 의과 대학은 커리큘럼의 개정 가능성을 모색하기 시작했다 (Schwarz 외 2004; Stern 외 2005). , 2006).

Vocational programs are 3 years while university medical education ranges from 5 to 8 years; 5 years of study is the most common duration. There is also widespread interest in curriculum reform, with several medical schools beginning to explore potential revision of their curricula in response to the Institute for International Medical Education’s development and assessment of Global Minimum Essential Requirements (Schwarz et al. 2004; Stern et al. 2005, 2006).


대만과 홍콩의 의학 교육은 중국보다 비교적 안정적입니다. 홍콩의 의학 교육 시스템은 100 년 이상 뿌리를두고 있습니다. 홍콩의 시스템은 임상 교육에 중점을 둔 것을 포함하여 영국 시스템과 가장 유사합니. 4 년의 pre-degree 교육과 적어도 1 년의 졸업 후 수련이 필요합니다. 최근 홍콩에서의 커리큘럼 확장은 의대생의 훈련 과정에서 커뮤니케이션, 전문성 및 윤리와 같은 주제를 포함하는 것을 의미합니다 (Lee and Lee 1997).

Medical education in Taiwan and Hong Kong has been relatively more stable than in China. Hong Kong’s medical education system traces its roots back more than 100 years. Hong Kong’s system resembles the British system most closely, including its emphasis on clinical education. It requires 4 years of pre-degree medical education and at least 1 year of post-graduate training. In recent years, curricular expansion in Hong Kong has meant an inclusion of topics such as communication, professionalism, and ethics in the training of medical students (Lee and Lee 1997).


100 년이 넘는 대만의 시스템은 대만의 의학 교육 지도자들에 의해 사용 된 독일의 모델에 기초를 두고 있었습니다. 1954 년 이후, 대만인들은 독일 / 일본 의학 교육 시스템을 미국 모델로 대체했다. 그 이후 대만의 의학 교육은 통합 교과 과정, 소그룹 교육, 의학 및 일반 의학 교육에 대한 동등한 강조에 중점을두고있다 (Lee and Lee 1997).

Taiwan’s system, also more than 100-years-old, was initially based upon a German model being used by the Japanese leaders of medical education in Taiwan. After 1954, the Taiwanese replaced the German/Japanese system of medical education with the American model. Since then, the emphasis in Taiwanese medical education has been on an integrated curriculum, small group teaching, and equal emphasis on medical science and general medical education (Lee and Lee 1997).


Methods


Survey development


In 2003, researchers at an academic medical center in Beijing, China, and in the Mid- western United States began working together to develop an instrument to assess the needs of medical educators in China. The survey development process began with open-ended interviews with Chinese faculty about issues surrounding faculty development offerings in China. Such interviews yielded information about the context in which we would be surveying leaders, key terms to be used in the instrument, and other issues to be aware of in the development process.


At the same time, the U.S. team conducted a focus group with Chinese medical faculty visiting their university to determine their perspectives on international faculty develop- ment needs. The focus group was comprised of twelve visiting scholars from one of the leading medical schools in the People’s Republic of China at the University of Michigan Medical School. All 12 are senior faculty members in medical education at their home institutions. These issues were compared with the issues raised in the in-depth interviews of Chinese medical educators. Using inductive reasoning, grounded theory, and standard qualitative analysis techniques, themes were identified from the data. Similar themes arose in both the interviews and focus group, and those themes were used to generate draft items for a semi-structured questionnaire.


The instrument was initially constructed in English, and then translated into Chinese. The English version was pilot tested at a meeting in Chengdu, China, using a panel of eight medical education leaders. Revisions were completed shortly thereafter, and then the instrument was translated to Chinese. From there, Chinese researchers conducted a sub- sequent review of the instrument, and revisions were made to reflect common Chinese language usage. Finally, the instrument was translated back into English and to ensure that the overall intent of the questions was similar. Any inconsistencies were discussed among the project team and resolved by consensus.


The final instrument had 123 items covering 36 topics. Each of the 36 topics was categorized as 

    • Medical Education (20 topics), 

    • Hospital Management (14 topics), and 

    • Research (2 topics). 


Participants were asked to rate their level of experience as well as their level of interest in pursuing further education for each topic area. Experience was rated on a 3-point Likert scale, and interest was rated on a 5-point Likert scale. 


An additional 25 questions addressed the subjects’ opinions and attitudes about the logistics of participation in a faculty development program, including...

    • duration of the event, 

    • personal barriers and benefits, 

    • overall interest, and 

    • value to the medical school community. 


Questions also included the subjects’ interest in having faculty members from their institutions participate in faculty development, even if they themselves were not able to participate. Subjects were also asked to complete a short demographic profile and answer seven questions about their institution. Due to concerns of confidentiality, data on institution name and region of origin were not collected.



Data collection


The survey was distributed in two settings. 

    • The first portion of the implementation plan involved mailing the Chinese-language questionnaire to a list of medical school deans, associate deans, assistant deans, vice deans, and department chairs that we acquired from the Association of Chinese University Medical Colleges. The sample covered 106 medical schools of mainland China. 

    • Another part of the survey was conducted at the Seventh Medical Education Conference for China mainland, Taiwan, and the Hong Kong Region, including participants from 30 medical schools in mainland China, one of the medical schools in Hong Kong, and the eight medical schools in Taiwan.


Data entry and analysis




Results


  • One hundred nine faculty members from 39 of the participating institutions received surveys at the meeting in Changchun. Ninety-eight individuals completed them, yielding a response rate of 90%. 

  • One hundred ninety-three faculty members from 106 institutions received surveys in the mass mailing. One hundred sixteen of those were returned, yielding a response rate of 60%. The final response rate was 71% (N = 214). See Table 1.



Of the respondents, men outnumbered women 5:2. Sixty-six percent (N = 152) of the respondents were over the age of 40, and deans were the most common professional position among all participants at 42% (N = 75). Almost 65% of respondents (N = 113) had been in their current position for 5 years or fewer. See Table 2.


had been in their current position for 5 years or fewer. See Table 2. The mean level of experience across all topics was 1.9 on a scale of 1–3. The overall interest level across the given topics was 4.0 on a scale of 1–5. Figure 1 illustrates the level of interest in each of the topics addressed on the survey.



Respondent demographics


Institutional information


Conference attendees rated their experience levels more highly in four topic areas than did the mailing group (seeTable 3). Mailing group respondents did not offer statistically significantly higher mean ratings for experience in any area. Conversely, the mailing group did rate their interest levels higher than the conference group in thirteen different topics (see Table 3). The conference group did not report statistically significantly higher levels of interest in any area. 




Experience differences


Interest differences


교수 학습 프로그램 참여에 대한 최대 장벽은 각각 그 시간에 일을 하지 못한다는 것등록비용이었고, 각각 46%와 42%였다. 19 %만이 가족과 떨어지는 것이 참여를 매우 어렵게 만든다고 하였다. 그러나 여성들은 남성보다 여성들이 이러한 프로그램에 참석하는 것에 대한 institutional 지원 부족이 참석하기 어려울 것이라고보고했다. 남성의 절반이 잠재적 장벽으로 제도적 지원이 부족한 반면, 71 %의 여성이 같은 수준의 난관을 보였습니다 (p = 0.008). 참여에 대한 다른 장벽은 모두 성별로 동일하게 평가되었습니다.


The greatest barriers to participation in faculty development programming are time away from work and tuition costs, with 46% and 42%, respectively, reporting that those would make it very or extremely difficult. Faculty surveyed generally did not consider time away from family to be a considerable barrier to such participation, as only 19% reported that it would make participation very or extremely difficult. However, women were more likely than men to report that lack of institutional support for attending these programs would make it difficult to attend. Half of men cited lack of institutional support as a potential barrier, whereas 71% of women reported the same level of difficulty (p = 0.008). All other barriers to participation were rated equally between genders.


교수진 개발 워크샵의 선호 형식을 설명하는 데있어 응답자는 짧은 세션 (3 주 미만)을 선호하고 73 %의 응답자가 하나의 긴 세션보다 두 개의 짧은 세션을 선호한다. 이 프로그램의 형식에 대한 선호도는 성별이나 연령에 따라 변하지 않았습니다. 응답자들은 미래 프로그램 (82 %)과 국제 연구 (77 %)가 가능한 참여를 매우 중요하게 고려한 것으로 나타났습니다.

In describing the preferred format of faculty development workshops, respondents prefer the idea of short sessions (less than 3 weeks), and two short sessions are preferred to one longer session by 73% of respondents. Preferences for the format of these programs did not vary based on gender or age. Respondents considered possible future collaborations (82%) and international study (77%) to be very or extremely important benefits to par- ticipation in such programs.




Discussion


응답자들은 의학 교육 분야에서 최고 수준의 경험을 갖고 있다고보고했으며, 이는 교수진 개발 워크숍의 목적에 가장 큰 관심을 끄는 주제입니다. 병원 관리 및 연구 분야에서 더 많은 경험을 가진 개인은 해당 분야의 교육 프로그램에 더 많은 관심을 가지고 있습니다. 흥미로운 질문이 제기됩니다. 

  • 특정 주제 분야에서 고도로 숙련 된 교수진이 같은 지역에서 계속 교육을받는 것이 이익이됩니까? 

  • 교수진이 충분한 훈련없이 광범위한 현장 경험을 쌓은 자리에 배치 되었습니까? 

  • 경험이 많은 교수진은 기초 이상으로 배울 점이 더 많이 있음을 알고 있습니까? 아니면 실제 경험 수준을 과대 평가하고 있습니까? 

  • 다른 한편으로, 적은 경험을 가진 교수진이 그 적자를 다루는 교수진 개발 기회를 찾도록 격려하는 것이 바람직할까요? 

  • 그러나 특정 분야에서 경험이 부족한 교수진이 학교 활동에 참여하지 않는 경우, 그러한 교육은 시간 낭비입니까?

Respondents reported having the greatest levels of experience in Medical Education, and it is the topic of greatest interest for the purposes of a faculty development workshop. Individuals with a greater amount of experience in Hospital Management and Research have a greater interest in participating in educational programs in those areas. This raises interesting questions. 

  • Are highly experienced faculty members in a given topic area going to benefit from continued training in the same area? 

  • Have faculty members been placed in positions where they have gained extensive on-the-job experience without adequate training? 

  • Do ‘‘experienced’’ faculty members realize how much more there is to learn beyond the basics? Or are they overestimating their true level of experience? 

  • On the other hand, would it be preferable to encourage those faculty with less experience with a topic to seek faculty development opportunities addressing those deficits? 

  • Yet if those faculty members with less experience in a given area are not going to be the ones participating in those activities at their schools, is such training a waste of time?


조사 보고서에 응답한 고위급 의학 교육자의 65 %가 해당 직책을 맡은 지 5년 미만이라고 지적하는 것은 가치가 있습니다. 이것 역시 흥미로운 질문을 제기합니다. 중국의 한 대학의 의료 센터에서의 리더십 위치에서의 이직은 지도자 및 교수진의 현재 간부가 적절하게 훈련되도록하기 위해 교수 개발 프로그램이 점점 필요하게 될 수 있습니다. 또한 한 번 제공되는 교수 개발 프로그램이 충분한 수의 교수진을 확보 할 수 있도록 매년 또는 반기마다 반복해야 할 수도 있음을 의미 할 수도 있습니다. 또한 이 설문 조사에서 5 ~ 10 년 내에이 설문 조사를 다시 실시하면 의견이 다를 수 있음을 의미 할 수도 있습니다.

It is worth noting that 65 percent of high-level medical educators who responded to the survey report being in their positions fewer than 5 years. This too raises some interesting questions. The turnover in positions of leadership in academic medical centers in China may be such that faculty development programs are increasingly necessary in order to keep the current cadre of leaders and faculty members adequately trained. It may also mean that faculty development programs offered once may need to be repeated annually or semi- annually to ensure they are covering sufficient numbers of faculty. It may also mean that the opinions expressed in this survey may be very different if we were to re-administer this survey in 5–10 years.



회의 참석자와 우편 발송 응답자의 차이점은 추가 검사가 필요합니다. 우편 그룹은 중화 인민 공화국의 의학 교육 교수로 구성되어 있으며 회의 그룹에는 홍콩과 대만의 교수가 포함되어 있지만 근본적인 차이점은 더 심해 보입니다. 연령대와 연령대가 비슷하지만 회의 참석자들은 이미 교육 및 경력 향상 이벤트에 참여하는 데있어 tuition cost가 감당할 수 있는 장애요인임을 입증했습니다. 컨퍼런스 그룹의 교수진은 컨퍼런스에 참석했기 때문에 다른가요 아니면 컨퍼런스가 다른 이유로 컨퍼런스에 참석합니까?

The differences in the conference attendees and the mailing respondents require addi- tional examination. While the mailing group is comprised entirely of medical education faculty in the People’s Republic of China, and the conference group also includes faculty from Hong Kong and Taiwan, the fundamental differences seem deeper. Those attending a conference, although they are similar in age and years in their positions, have already proven that tuition costs are a manageable barrier to participation in an educational and potentially career-boosting event. Are the faculty members in the conference group dif- ferent because they attend conferences, or do they attend conferences because they are different?


형식과 관련하여 응답자는 가능한 하나의 긴 세션보다 두 개의 짧은 세션과 같은 짧은 세션을 선호하는 것처럼 보입니다. Stancic et al.과 유사합니다. (2003), 이러한 프로그램의 형식에 대한 선호도는 성별이나 나이에 따라 변하지 않았다.

With regard to format, respondents appear to prefer short sessions, including two short sessions over one longer session if possible. Similar to Stancic et al. (2003), preferences for the format of these programs did not vary based on gender or age.


참여의 장벽은 예상했던 것만 큼 중요하지 않은 것처럼 보였다. 응답자의 42 %는 등록 비용이 문제라고 보고했으며 46 %는 시간을 중요한 장애물로 꼽았다. 설문 조사에 포함 된 다른 장애물 중 1 ~ 5 점은 평균 3.0을 초과했다. 그러나 여성들은 남성보다 교수 개발 프로그램 참여에 대한 제도적 지원이 적다. 이 발견은 우리 응답자의 1/4만이 여성이라는 점을 고려할 때 특히 주목할 가치가 있습니다. 종합하면, 중국의 의학 교육에서 리더십 직책을 맡고있는 여성들이 경력 향상을 향한 노력에서 unique 문제에 직면 할 수 있음을 알 수 있습니다.

The barriers to participation did not appear to be as significant as was anticipated. While 42% of respondents reported tuition costs as problematic and 46% cited time away from work as a significant barrier, none of the other barriers included in the survey exceeded a mean of 3.0 on a scale of 1 to 5. However, women perceived there to be less institutional support for participation in faculty development programs than men. This finding is especially noteworthy given that only one-quarter of our respondents were female. Taken together, this suggests that women in leadership positions in medical education in China may face unique issues in their efforts toward career advancement.


단점

Limitations


시사점

Implications


이 연구의 결과에 따르면 중국 및 주변 지역의 의과 교수가 동료와 함께 하는 development exercise에 관심이 있음이 분명합니다. 전반적으로, 우리 연구의 시니어 교수진은 젊고 야망이 많았으며 배우기를 열망했습니다. 그러나 그들이 현재 일하는 분야에서 관심이 가장 컸습니다. 시간, 비용, 여성에 대한 제도적 지원 부족과 같은 전통적인 교수 개발 워크숍에 참여하는 가장 큰 장벽은 교육 기관 내의 행정 구조를 목표로 삼아 극복 할 수 있습니다. 그러나 이러한 장벽은 의학 교육 리더들에게 동일한 유형의 정보와 경험을 제공하더라도 보다 효과적인 방법이 있는지에 대한 흥미로운 질문을 제기합니다

It is clear from the results of this study that medical faculty in China and surrounding areas are interested in pursuing development exercises with their colleagues. Overall, the senior faculty members in our study were young, ambitious, and eager to learn, but their interest was greatest in the areas in which they are currently working. The greatest barriers to participating in traditional faculty development workshops—time away from work, tuition costs, lack of institutional support for women—may be overcome by targeting the administrative structures within their home institutions. However, these barriers raise interesting questions about whether there might be a more effective way to deliver the same type of information and experiences for these leaders in medical education.











 2009 Mar;14(1):91-102. doi: 10.1007/s10459-007-9093-z. Epub 2008 Feb 15.

International medical school faculty development: the results of a needs assessment survey among medical educators in China.

Author information

1
Peking University Health Science Center, Beijing, People's Republic of China. Guoyan@bjmu.edu.cn

Abstract

To explore the need for faculty development among Chinese medical educators. Leaders at each medical school in China were asked to complete a 123-item survey to identify interest in various topics and barriers and perceived benefits of participating in faculty development programs. Interest levels were high for all topics. Experience with Hospital Management and Research positively correlated with interest in learning more (p < 0.001). Ninety-two percent believe that international experiences are very or extremely important to medical educators' career advancement. Chinese medical education faculty members have a strong interest in faculty development programs.

PMID:
 
18274879
 
DOI:
 
10.1007/s10459-007-9093-z
[Indexed for MEDLINE]


인지모델을 사용한 양질의 다지선다형 문항 개발(Med Teach, 2016)

Using cognitive models to develop quality multiple-choice questions

Debra Pugha, Andre De Champlainb, Mark Gierlc, Hollis Laid and Claire Touchiea,b

aDepartment of Medicine, The Ottawa Hospital, University of Ottawa, Ottawa, Ontario, Canada; bMedical Council of Canada, Ottawa, Ontario, Canada; cFaculty of Education




Background


MCQ를 개발하는 전통적인 접근법에서 문항 개발자는 주제를 선택한 다음 줄기, 리드 인 질문, 정답 및 옵션 또는 비틀 거리기 목록으로 구성된 항목을 개발합니다 (Case & Swanson 2002). 이 항목은 전문가 패널에 의해 검토되어 내용의 유효성을 확인하고 항목의 잠재적 인 결함을 식별합니다. 양질의 MCQ 아이템을 개발하는 것은 시간 소모적이며 관련 발달 비용은 아이템 당 $ 1500- $ 2500 USD로 높은 것으로 추산됩니다 (Rudner 2010).

In a traditional approach to developing MCQs, the item writer selects a topic, then develops an item consisting of a stem, lead-in question, a correct answer and list of options or distractors (Case & Swanson 2002). The item then under- goes review by a panel of experts to validate the content and identify any potential flaws in the item. Developing quality MCQ items is time consuming and the associated developmental cost has been estimated to be as high as $1500-$2500 USD per item (Rudner 2010).


CBE는 학습자가 자신의 속도로 진행하는 유연한 교육 모델을 제공하기 때문에 역량을 평가하기 위해 더 자주 테스트해야합니다. 예를 들어, Mills & Steffen 2000, Schuwirth & van der Vleuten 2012와 같이 진행progress 또는 주문형on-demand 테스트의 형태를 취할 수 있습니다. 이러한 조치는 상대적으로 짧은 기간에 수천 개의 새롭고 고품질의 품목 개발을 필요로 할 것입니다.

Because CBE offers flexible educational models in which learners progress at their own pace, more frequent testing is required to assess competency along the continuum. This might take the form of progress or on- demand testing, for example (Mills & Steffen 2000; Schuwirth & van der Vleuten 2012). These measures will necessitate the development of thousands of new, high- quality items in a relatively short period of time.


이 과제에 대한 혁신적인 솔루션은 자동 아이템 생성 (AIG)입니다. AIG는 컴퓨터 기술을 사용하여인지 모델에서 테스트 항목을 생성합니다 (Gierl 외. 2012). 요약하자면, 인지 모델은 문제를 해결하는 데 필요한 지식과 기술을 표현한 것입니다. 인지 모델을 만들 때 콘텐츠 전문가는 임상 추론 프로세스를 해체하고 알고리즘을 사용하여 MCQ를 생성하는 컴퓨터 프로그램에이 정보를 입력 할 수 있습니다. 이 프로세스를 사용하여 AIG는 사전에 정의 된 변수 (예 : 기록, 실제 검사 또는 조사 기능)와 만 다른 공통 줄기를 사용하여 MCQ를 개발한다(Gierl & Lai 2013).

An innovative solution to this challenge has been auto- matic item generation (AIG). AIG employs computer tech- nology to generate test items from cognitive models (Gierl et al. 2012). In brief, cognitive models are representations of the knowledge and skills that are required to solve a prob- lem. In the creation of cognitive models, content experts deconstruct the clinical reasoning process and, in turn, this information can be entered into a computer program that uses algorithms to generate MCQs. Using this process, MCQs are developed using a common stem that differs only by pre-defined variables (e.g., features on history, phys- ical examination or investigation) (Gierl & Lai 2013).



AIG가 내놓는 주된 이점은 아이템을 생성의 효율성입니다. 일반적으로 한 가지인지 모델을 사용하여 특정 주제에 대해 수백 가지 항목을 개발할 수 있습니다 (Gierl 외. 2012).

The main advantage that is yielded by AIG is the effi- ciency with which items can be generated. Typically, several hundred items can be developed for a particular topic using one cognitive model (Gierl et al. 2012).


이 모델은 '그럴듯한' 오답가지를 체계적으로 생성하기 위한 프레임워크를 제공한다 (Lai et al., 2016 ). 결과적으로, AIG는 많은 양의 제품을 생산할뿐만 아니라, remadial을 목적으로 하는 진단적 피드백의 tailoring에도 좋다.

The model also offers a framework for the systematic creation of plaus- ible distractors, in that the content expert not only needs to provide the clinical reasoning underlying a correct response but also the cognitive errors associated with each of the distractors (Lai et al. 2016). Consequently, AIG holds great promise not only in generating high volumes of items, but also in regards to tailoring diagnostic feedback for remedial purposes.


AIG의 기술은 선형 프로그래밍 방식에 의존하지만 동일한 원칙을 사용하여 MCQ 개발에 사용되는 기존위원회 기반 프로세스를 개선 할 수도 있습니다. 이 접근법은 여러 가지 이유로 매력적입니다. 

  • 첫째,이 방법을 사용하면 항목 작성자는 하나의 모델 만 사용하여 동일한 구문을 평가하는 여러 항목 (5-10)을 매우 효율적으로 개발할 수 있습니다. 단일 인식 모델에서 개발 된 항목은 순수 시험의 잠재적 영향을 약화시켜 다른 시험 형식에 사용할 수 있습니다. 

  • 둘째, 인지 모델 접근법은 문제 해결에 필요한 핵심 요소를 식별하고 명확하게하는 전문가의 능력을 이용합니다. 다른 말로,인지 모델을 개발할 때, 전문가는 다양한 결론이 도출될 수 있는 정보원을 다양하게 명시함으로써 특정 문제에 대한 접근 방식을 명시 적으로 설명합니다. 지식 모델에 명시된 바와 같이 지식 영역을 명시 적으로 표현하면 단순한 지식보다, 지식의 적용 능력을 평가할 수 있으므로 잠재적으로 더 양질의 문항이 될 수 있습니다. 

  • 셋째, 인지 모형 접근법의 사용은 그럴듯한 오답가지 개발을 위한 틀을 제공하는데, 숙련 된 항목 작성자조차도 종종 어려움을 겪고있다 (Rogausch et al., 2010). 산만 함과 올바른 옵션 사이의 공통적이고 구분되는 특징을 모델링함으로써 항목 작성자는 각 항목에서 산만 함을 표시하는 방법을 명시 적으로 식별하고 구별해야합니다. 

  • 마지막으로, 인지 모델에서 개발 된 항목에 대한 검토 프로세스 중에 모델의 수정 (개별 질문보다는) 단계가 가능하므로 프로세스의 효율성이 높아집니다.


Although technology for AIG relies on a linear program- ming approach, the same principles can also be used to improve the traditional committee-based process used in the development of MCQs. This approach is appealing for many reasons. 

  • First, this method allows item writers to very efficiently develop several items (  5–10) that assess the same construct, using only one model. The items developed from a single cognitive model can then be used on differ- ent test forms, attenuating the potential impact of pure recall.

  • Second, the cognitive model approach capitalizes on experts’ ability to identify and articulate the critical elements required in problem-solving. In other words, when develop- ing cognitive models, experts explicitly outline their approach to a particular problem by specifying sources of information that can be varied to lead to different conclu- sions. The explicit representation of the knowledge domain, as captured in the cognitive model, can potentially lead to higher quality items by ensuring that items assess applica- tion of knowledge rather than just recall. 

  • Third, the use of the cognitive model approach provides a framework for the development of plausible distractors, a task with which even experienced item writers often struggle (Rogausch et al. 2010). Through modeling the common and distin- guishing features between the distractors and the correct option, item writers are required to explicitly identify and differentiate how distractors should be presented in each item. 

  • Finally, during the review process for items developed from cognitive models, revisions can be made at the model (rather than the individual question) level, which adds to the efficiency of the process.


Approach to developing MCQs using cognitive model


A형 문항에 대해서만.

인지모델 개발

Developing a cognitive model



인지 모형의 개발은 내용 전문가가 주어진 문제에 일반적으로 접근하는 방법을 요약해야한다. 이를 위해서는 어떤 정보원을 통해 문제를 해결할 수 있는지 분명하게 밝혀야합니다. 예를 들어, 충격을받은 환자에게 임상의는 잠재적 인 원인 (예 : 심장사, 알레르기, 발열 등)을 구별하는 데 도움이되는 과거 및 신체 검사 기능을 고려하여 시작할 수 있습니다.

The development of a cognitive model requires that a con- tent expert summarize how they typically approach a given problem. This necessitates that they articulate what sources of information would allow them to solve the problem. For example, given a patient with shock, a clinician might begin by considering the historical and physical examination features that help to differentiate between potential causes (e.g. cardiac history, allergies, fever, etc.).


인지 모델을 개발하는 과정은 전반적인 테스트 blueprint에서 주제를 선택하는 것으로 시작됩니다. 모든 평가와 마찬가지로 주제에는 중요한 내용이 반영되어야합니다.

The process of developing a cognitive model begins by selecting a topic from the overall test blueprint. As with any assessment, the topic should reflect important content.


가슴 통증의 예를 생각해 봅시다. 이 주제에서는 응시자가 진단을 내리고 환자를 관리 할 수있는 능력을 평가하는 질문을 개발하기로 결정할 수 있습니다. 이러한 진단과 관리는 이 인지모델과 관련된 task입니다. 다른 task도 개발할 수 있지만 이 두 task은 대부분의 모델에서 잘 작동합니다.

Let’s consider the example of the topic of chest pain. For this topic, one could decide to develop questions that assess the candidate’s ability to either make a diagnosis or to manage the patient. These are the tasks associated with the model. Other tasks could be developed, but these two tasks work well for most models.


각 task마다 관련 답변 목록이 작성됩니다. 이것들은 그림 1 에서처럼 X 축을 따라 그리드에 입력 할 수 있습니다.

For each task, one then develops a list of associated answers. These can be entered into a grid along the x-axis as illustrated in Figure 1.


문제를 해결하는 데 필요한 정보의 출처가 식별되어 그리드의 Y 축에 추가됩니다.

The sources of information needed to solve the problem are then identified and added to the y-axis of the grid.


연령이나 성별과 같은 다른 정보 소스가 추가 될 수 있지만, 실제로 문제에 접근하는 방법에 차이를 가져 오는 정보 만 인지 모델에 포함되어야합니다. 모든 가능한 표현을 변수로 처리 할 필요가 없다는 점에 유의해야 합니다.

Although other sources of information could be added such as age or gender, only those that will actually make a difference to how one approaches the problem should be included in the cognitive model. It is also important to note that the variables do not need to address every possible presentation.


이렇게 많은 세부 사항을 제공하는 것은 불필요하며, 너무 쉬운 문제가 생성 될 수 있습니다. 따라서 변수가 정답과 오답을 구분하는 데 도움이되는 충분한 정보를 제공하면서도, 적절한 난이도의 항목을 만들 수 있도록하는 것이 중요합니다.

providing this much detail is not necessary and may lead to the development of questions that are too easy. It is therefore important to ensure that the variables provide enough information to help a candi- date differentiate between the correct answer and the list of distractors, while allowing for the creation of items that are at an appropriate level of difficulty.


한 가지 작업 (예 : 진단)을 위해 모델을 개발하면 그림 1에서와 같이 동일한 정보 소스를 사용하여 다른 작업 (예 : 관리)을 쉽게 추가 할 수 있습니다. 하나의 인지모델에서 다양한 문항이 개발 될 수 있습니다.

Once the model has been developed for one task (e.g. diagnosis), another task can easily be added (e.g. manage- ment) using the same sources of information, as demon- strated in Figure 1. This effectively doubles the number of questions that can be developed from a single cognitive model.


이 단계에서 더 진행하기 전에 다른 콘텐츠 전문가로부터인지 모델에 대한 의견을 얻는 것이 중요합니다. 인지 모델에서 문제가 확인되면 MCQ가 생성되기 전에 수정 될 수 있습니다.

At this stage, it is important to solicit input from other content experts about the cognitive model before progress- ing any further. If any issues are identified in the cognitive model, they can be corrected before any MCQs are pro- duced.




문항줄기 쓰기

Writing the stem


MCQ의 구조는 줄기로 시작됩니다. 줄기는 일반적으로 질문에 대답하는 데 필요한 모든 정보가 포함 된 비네트로 작성됩니다. 불필요한 정보 나 트릭이 포함되어서는 안되며 어휘는 비교적 단순하게 유지되어야합니다 (Haladyna 2013).

The construction of an MCQ begins with a stem. The stem is generally written as a vignette that includes all the infor- mation needed to answer the question. It should not include extraneous information or tricks and the vocabulary should be kept relatively simple (Haladyna 2013).


인지 모델 접근법을 사용할 때, 줄기는 텍스트 상자 1에서와 같이 인지 모델에서 생성 된 모든 정보원을 통합해야합니다. 정보 소스는 텍스트에 설명 된대로 주어진 대답에 대한 적절한 변수로 대체 될 수 있습니다 상자 2. 동일한 줄기를 사용하여 단일 모델에서 여러 항목을 만들 수 있습니다.

When using the cognitive model approach, the stem should incorporate all the sour- ces of information generated in the cognitive models as shown in Text Box 1. The sources of information can then be replaced with the appropriate variables for a given answer as outlined in Text Box 2. This allows for multiple items to be created from a single model, using the same stem.




리드-인 질문 작성

Writing the lead-in question/s



리드 - 인 질문의 단어는 가장 가능성이 높은 진단이나 최선의 다음 단계를 선택하는 것과 같은 작업이 명확하게 이루어 지도록 세심히 선택해야 한다. 
The lead-in question should be carefully worded to ensure that the task is clear, such as selecting the most likely diagnosis or the best next step.


문항줄기와 리드-인이 잘 정립 된 경우, 옵션 목록을 언급하지 않고도 문제가 해결 될 수 있습니다. 또한 문항줄기를 읽지 않은 상태에서 답가지만 보고 답을 고를 수있어서는 안됩니다.(Case & Swanson 2002). "가슴 통증에 대한 진실한 진술은 무엇입니까?"와 같은 리드-인 질문은이 두 가지 원칙을 모두 위반합니다.

If the stem and lead-inquestion are well-constructed, then the question should be answerable without referring to the list of options. In add-ition, the lead-in question should be inextricably linked to the stem so that one could not answer the question with-out reading the stem (Case & Swanson 2002). Lead-in ques-tions, such as ‘‘What is a true statement about chest pain?’’violate both these principles. 


두 가지 질문을 개발하면 생성 된 항목 수가 두 배가됩니다. 예를 들어 그림 1의 모델을 사용하면 4 개의 MCQ를 진단용으로 개발하고 4 개를 관리 용으로 개발할 수 있습니다

By developing two questions, the number of items cre- ated is doubled. For example, using the model shown in Figure 1, four MCQs can be developed for diagnosis and four for management.



답가지 생성

Generating distractors


답가지는 동질적이어야한다 (예 : 모든 진단, 모든 조사 등). "위의 모든 것", "위의 모든 것"과 같은 비웃음 자들은 그들이 어떤 큐를 제공 할 때 피해야한다 (Haladyna 외. 2002). 텍스트 상자 4는 흉통 모델에 대한 가능한 디스 트랙터의 예를 제공합니다.

Distractors should be homogenous (e.g. all diagnoses, all investigations etc.) and distractors such as ‘‘All of the above’’ ‘‘None of the above’’ should be avoided as they provide some cueing (Haladyna et al. 2002). Text Box 4 provides examples of possible dis- tractors for the chest pain model.


그럼에도 불구하고 인지 모델 접근법을 사용할 때 가능한 한 많은 답가지를 생성하는 것이 좋습니다. 이것은 두 가지 이점을 제공합니다. 

  • 첫째, 서로 다른 답가지 조합을 사용하여 복제문항cloned item을 만들 수 있습니다. 이는 난이도를 다양하게 만들어줄 뿐만 아니라 학생간에 문항을 공유하는 영향을 줄이므로 바람직합니다. 

  • 둘째로, 생성 된 모든 답가지가 가능한 모든 정답으로 제시 될 수는 없습니다. functional distractors은 정답이 가진 일부 특성을 공유해야하기 때문입니다. 예를 들어, 췌장염은 정답 대동맥 박리에 대한 수용할만한 오답가지 일 수 있습니다. 진단은 모두 등에 방사되는 통증을 일으키지 만 사용 된 정보원의 변수를 사용하여 쉽게 구별 될 수 있습니다 (예 : 생체 징후, 신체 검사 등). 대조적으로 위식도 역류 질환은 Costochondritis를 정확히 고르기 위한 functional distractor가 아닐 것이다.이 모델에 사용 된 변수는 두 가지를 구별하는 데 충분한 정보를 제공하지 못하기 때문이다 (다른 특징을 추가하더라도 쉽게 구분할 수 있음)

Regardless, it is advisable to generate as many distractors as possible when using the cognitive model approach. This provides two advantages. 

  • First, by using differ- ent combinations of distractors, cloned items can be created. This is desirable because it results in items of variable diffi- culty, and it also attenuates the impact of sharing recalled items amongst students. 

  • Second, not all generated distractors can be presented with all of the possible correct answers. This is due to the fact that functional distractors must share some, but not all, of the varied features with the correct options. For example, Pancreatitis would be an acceptable distractor for the correct answer Aortic dissection, as the diag- noses both cause pain that radiates to the back but they can be distinguished easily from each other using the variables from the sources of information used (e.g. vital signs, physical findings, etc.). In contrast, Gastroesophageal reflux disease would not be a functional distractor for the correct answer Costochondritis as the variables used in this model would not provide enough information to distinguish the two (although adding different features, would make them easily distin- guishable).


답가지를 인지 모델에서 직접 끌어낼 수도 있다. 예를 들어, 폐색전증, Costochondritis, 대동맥 박리는 모두 정답이 심근 경색 일 때 사용할 수있는 잠재적 답가지입니다.

It is important to note that distractors can also be pulled directly from the cognitive models. For example, Pulmonary embolism, Costochondritis, and Aortic dissection are all poten- tial distractors that could be used when the correct answer is Myocardial infarction.



검토와 수정

Review and revisions



이 단계는 인지 모델의 검토가 완료된 경우 효율적으로 진행될 수 있다. 기술적 결함은 큐cueing 또는 construct irrelevant variance로 이어질 수 있기 때문에 수정되어야 한다 (Downing & Haladyna 2009).

This step should be an efficient process if the review of the cognitive model has been done. Technical flaws are import- ant to identify and correct because they can lead to cueing or irrelevant difficulty (i.e. construct irrelevant variance) (Downing & Haladyna 2009).


모든 품목과 마찬가지로,인지 모델에서 생성 된 MCQ는 psychometric 표준을 충족하는지 확인해야합니다.

Like any items, MCQs generated from cognitive models should be pilot-tested to ensure that they meet psychomet- ric standards.



고찰

Discussion and conclusion



MCQ 개발에 대한 이러한 재 개념화 된 접근법은 매우 직관적이므로 초보자 그룹이 이 방법을 적용하여 약 2 시간 내에 완전한 모델을 작성하여 5-10 개의 항목을 만들 수 있음을 발견했습니다. AIG에서인지 모델을 사용하는 것은 선형 프로그래밍 (Gierl et al. 2012)의 도움으로 극도로 많은 수의 테스트 항목을 생성하는 데 성공했지만 대부분의 경우 그렇게까지 많은 문항을 만들 필요가 없다. 여기서 설명한 인지 모델을 사용하는 low-tech 접근법은 특정 주제와 관련된 관리 가능한 수의 항목을 효율적으로 생성 할 수 있습니다.

Because this re-conceptualized approach to developing MCQs is so intuitive, we have found that a group of novices can be taught to apply this method to create a complete model within about 2hours, resulting in 5–10 items. Although the use of cognitive models in AIG has been suc- cessful in generating extremely large numbers of test items with the aid of linear programming (Gierl et al. 2012), for most cases it is not necessary to generate that many items. The low-tech approach to using cognitive models described in this paper can efficiently generate a manage- able number of items related to a particular topic.


MCQ 개발의 효율성 향상 외에도 인지 모델 접근법은 항목 작성자가 문제 해결 방법을 설명하기 위해 메타인지 기술을 사용해야하기 때문에 바람직합니다. 사고 프로세스가 명확하게 기술되고 문서화되기 때문에 전문가 패널이 검토하고 평가하여 접근법이 타당하다는 것을 확신 할 수 있습니다. 모델에 결함이 있으면 문항이 생성되기 전에 수정 될 수 있습니다.

In addition to improved efficiency in the development of MCQs, the cognitive model approach is desirable because it requires that item writers use metacognitive skills to describe how they solve problems. Because the thought process is clearly delineated and documented, it can be reviewed and critiqued by a panel of experts to ensure that the approach is sound. Any flaws in the model can then be corrected before any items are generated.


인지 모델 접근법을 사용하여 문항 작성자는 잘못된 옵션이 올바른 옵션으로 일부 (그러나 전부는 아님) 기능을 공유하도록 각 답가지의 기능을 정의 된 변수와 비교합니다. 이것은 답가지가 그럴듯하면서도 여전히 오답임을 보장합니다. 이 방법은 전통적인 접근 방식과는 다르다. 체계적 접근 방식을 사용하여 답가지를 올바른 옵션과 비교한다. 제시되는 답가지의 조합을 다양하게함으로써, 항목 난이도를 작은 노력으로도 조절할 수 있습니다.

Using the cognitive model approach, item writers compare the features of each distractor with the defined variables to ensure that the incorrect options share some (but not all) fea- tures with the correct option. This helps to ensure that the distractors will be plausible, yet still incorrect. This method differs from a traditional approach, in that a systematic approach is used to compare the distractors to the correct option. By varying the combination of distractors presented, item difficulty can potentially be manipulated with little effort.




Gierl MJ, Lai H. 2013. Evaluating the quality of medical multiple-choice items created with automated processes. Med Educ. 47:726–733.


Gierl MJ, Lai H, Turner SR 2012. Using automatic item generation to cre- ate multiple-choice test items. Med Educ. 46:757–765.


Touchie C. 2010. Guidelines for the Development of Multiple- Choice Questions; [cited 2015 Nov 10]. Available from: http://mcc.ca/wp-content/uploads/multiple-choice-question-guide- lines.pdf









 2016 Aug;38(8):838-43. doi: 10.3109/0142159X.2016.1150989. Epub 2016 Mar 21.

Using cognitive models to develop quality multiple-choice questions.

Author information

1
a Department of Medicine , The Ottawa Hospital, University of Ottawa , Ottawa , Ontario , Canada ;
2
b Medical Council of Canada , Ottawa , Ontario , Canada ;
3
c Faculty of Education , University of Alberta , Edmonton , Alberta , Canada ;
4
d Faculty of Medicine and Dentistry , University of Alberta , Edmonton , Alberta , Canada.

Abstract

With the recent interest in competency-based education, educators are being challenged to develop more assessment opportunities. As such, there is increased demand for exam content development, which can be a very labor-intense process. An innovative solution to this challenge has been the use of automatic item generation (AIG) to develop multiple-choice questions (MCQs). In AIG, computer technology is used to generate test items from cognitive models (i.e. representations of the knowledge and skills that are required to solve a problem). The main advantage yielded by AIG is the efficiency in generating items. Although technology for AIG relies on a linear programming approach, the same principles can also be used to improve traditional committee-based processes used in the development of MCQs. Using this approach, content experts deconstruct their clinical reasoning process to develop a cognitive model which, in turn, is used to create MCQs. This approach is appealing because it: (1) is efficient; (2) has been shown to produce items with psychometric properties comparable to those generated using a traditional approach; and (3) can be used to assess higher order skills (i.e. application of knowledge). The purpose of this article is to provide a novel framework for the development of high-quality MCQs using cognitive models.

PMID:
 
26998566
 
DOI:
 
10.3109/0142159X.2016.1150989


Chapter 9. 워크숍과 세미나의 효과성 높이기

Chapter 9 Workshops and Seminars: Enhancing Effectiveness

Willem de Grave , Anneke Zanting , Désirée D. Mansvelder-Longayroux , and Willemina M. Molenaar




9.1 도입

9.1 Introduction


워크숍이나 세미나는 직접 대면을 통해 전문성을 개발하고, 참여자와 진행자 간의 collegial exchange로 인하여 심층적 학습과 변화를 촉진 할 수 있다는 점에서 강력하다 (Byham 2008). 또한 상대적으로 짧게 진행되므로 인해 교수들이 바쁜 일정에 맞춰서 참석할 수 있고, 이는 조직 내에서 visibility과 credibility을 보장합니다.

This modality holds strong appeal for most participants because face-to-face delivery of professional development, and collegial exchanges among participants and facilitators, can encourage deep learning and change (Byham 2008 ). Additional appeal stems from their relatively short duration, which allows teachers to fi t them into their busy schedules, as well as their formal nature, which ensures their visibility and credibility within the organization.


 전통적으로 교수진의 학습은 시니어 교수의 지원 여부에 상관없이 '일을 함으로써 배우고' '시행 착오'를 통해 학습하는 것과 같이 대부분 비공식적이었습니다. 최근의 교수진 개발 프로그램은 Eraut (2000)에 따르면보다 비공식적 인 학습과 비교하여 더 강화된 학습의도를 특징으로하는 더 공식적인 학습으로 이동했다. 공식 학습은 소정의 학습 틀, 조직화 된 학습 이벤트 또는 패키지, 지정된 교사 또는 트레이너의 존재, 자격 또는 신용의 수여, 결과의 외부 규정에 의해 특징 지어진다. 

 Traditionally, faculty members’ learning was largely  informal ,  including  ‘learning on the job’ and learning through ‘trial and error’, with or without support by senior colleagues. More recent faculty development programs have shifted towards more  formal  learning, which according to Eraut ( 2000 ) is characterized by a higher intention to learn (as compared to informal learning). Formal learning is characterized by 

  • a prescribed learning framework, 

  • an organized learning event or package, 

  • the presence of a designated teacher or trainer, 

  • the award of a qualifi cation or credit, and the 

  • exter-nal specifi cation of outcomes. 



공식적 또는 비공식적 학습은 교수진의 모든 요구를 충족시킬 수 없으며 이 둘을 혼합한 것이 가장 효과적 일 것임이 분명하다 (Steinert 2011; Wilkerson and Irby 1998). 교수개발자들의 전문성과 교육적 배경은 다양하며, 대부분 교수개발자로서의 역할에 대해 거의 또는 전혀 교육을받지 못했습니다. 결과적으로 방법과 형식에 대한 실증적 근거보다는 전문가로서 개인적인 통찰력과 경험에 의존하는 경우가 많습니다.

Clearly, neither formal nor informal learning can fulfi ll all the needs of faculty members, and a mix is likely to be most effective (Steinert  2011 ; Wilkerson and Irby  1998 ). Their professional and educational backgrounds vary widely and many have had little or no training for their role as faculty developers. As a consequence, they are often guided by professional and personal insights and experiences rather than by empirical evidence of available methods and formats.




9.2 워크숍과 세미나의 정의

9.2 Defining Workshops and Seminars


워크숍, 세미나 및 단기 코스라는 용어는 종종 같은 의미로 사용됩니다. 그러한 교수 개발 활동에 사용 된 용어가 항상 잘 정의 된 것은 아니기 때문에 어떤 것을 의미하였는지는 개발자의 의도와 진행자의 지식, 기술 및 형식에 대한 지식 (Clark 2010)에 따라 매우 다양합니다. 또한 평가 연구에서는 평가 대상 활동에 대한 자세한 설명을 제공하지 못하는 경우가 있습니다 (Amundsen and Wilson 2012; Steinert 외 2006, Stes 외 2010).


The terms workshop, seminar and short course are often used interchangeably. As the terminology used for such faculty development activities is not always well defi ned, the intended meaning varies widely, depending on the developer’s intentions and the facilitator’s knowledge, skills and familiarity with the format (Clark 2010 ). In addition, evaluation studies often fail to provide a detailed description of the activity they are evaluating (Amundsen and Wilson 2012 ; Steinert et al. 2006 ; Stes et al. 2010 ).



워크숍은 일반적으로 지식과 기술의 습득, 태도와 행동의 변화에 ​​대한 자극이라는 두 가지를 강조한다 (Brooks-Harris and Stock-Ward 1999, Sork 1984, Steinert et al., 2006). 

  • 1970 년대에는 행동 학습 이론이 널리 유행하였고, 이로 인해 워크숍은 지침, 실천 ​​및 피드백으로 촉진 될 수있는 행동 변화에 중점을 두었습니다. 

  • 1980 년대에 인지 학습 이론이 활성화되면서 워크숍은 바람직한 행동의 기초가되는 지식, 신념 및 태도를 다루기 시작했다 (Wilkerson and Irby 1998). 

내용과 집중면에서 풍부한 다양성에도 불구하고 워크샵에 공통적 인 특징은 

  • 참여자와 조직 모두로부터의 제한된 시간의 투자 (보통 반 ~ 2 일간), 

  • 활동적인 참가자의 작은 그룹 (일반적으로 20 명 미만), 

  • 진행자 (Brooks-Harris 및 Stock-Ward 1999, Grossman and Salas 2011, Sork 1984, Steinert 외 2008).


Workshops generally have two different emphases: the acquisition of knowl- edge and skills, and the stimulation of changes in attitudes and behavior (Brooks- Harris and Stock-Ward 1999 ; Sork 1984 ; Steinert et al. 2006 ). 

  • In the 1970s, due to prevalent behavioral learning theories, workshops focused on behavioral change that could be facilitated by instruction, practice and feed- back. 

  • During the 1980s, infl uenced by cognitive learning theories, workshops started to address the knowledge, beliefs and attitudes that underlie desirable behaviors (Wilkerson and Irby 1998 ). 

Despite their rich variety in content and focus, characteristics common to workshops include 

  • a limited time investment (usually between a half and 2 days) from both participants and the organization, 

  • a small group (usually less than 20) of active participants, and 

  • a facilitator (Brooks-Harris and Stock-Ward 1999 ; Grossman and Salas 2011 ; Sork 1984 ; Steinert et al. 2008 ).



세미나 (또는 ​​일련의 짧은 세미나)는 일반적으로 참가자의 지식토대를 확대하는 것(예 : 보건 전문가 교육)을 목적으로, 하나의 주제에 집중하는 경향이 있습니다. 일반적으로 세미나는 전문가가 진행하며, 참가자는 서로 및 진행자와 상호 작용하여 지식을 습득하고 공유합니다. 실제로, 세미나는 의도 된 결과, 촉진자의 역할, 그룹의 구성, 크기 및 경험 수준, 기간, 일정 및 세션 수, 교수 설계 원칙의 사용 등 여러 가지 차원에서 다양 할 수 있습니다 (Schmitt 2011, Steinert 외. 2006, Stes et al. , 

Seminars (or short series of seminars) tend to focus on a single, primarily cognitive topic, usually aimed at expanding the participants’ knowledge base (e.g. for education in the health professions). A seminar is usually facilitated by an expert, while participants acquire and share knowledge by interacting with each other and with the facilitator. In practice, seminars may vary on numerous dimensions (Schmitt 2011 ; Steinert et al. 2006 ; Stes et al. 2010 ) such as the intended outcomes, the role of the facilitator, the composition, size and experience level of the group, the duration, scheduling and number of sessions, and the use of instructional design principles.


9.3 워크숍과 세미나의 효과성에 대한 근거

9.3 Evidence for Effectiveness of Workshops and Seminars


고등 교육, 일반 및 보건 전문 교육 분야의 전문성 개발 프로그램은 교수개발 프로그램 및 활동의 효과성에 대한 유용한 통찰력을 제공합니다. Steinert et al. (2006)은 일반적으로 보건 전문가는 교수진 개발 프로그램에 대한 만족도가 높았을뿐 아니라 교수법 및 행동 개선에 대해서도보고하고 시연했다. Steinert et al. (2006) 및 Stes et al. (2010)은 일회성 사건에 비해 종단적 개입이 행동 변화를 성취하는 데 더 효과적이라는 증거를 발견했습니다.

Reviews of programs for professional development in higher education, in general, and in health professions education, in particular, offer useful insights into the effectiveness of faculty development programs and activities. Steinert et al. ( 2006 ) concluded that, in general, health professionals were not only highly satisfi ed with faculty development programs, but they also reported and demonstrated improve- ment of their teaching skills and behaviors. Both Steinert et al. ( 2006 ) and Stes et al. ( 2010 ) found evidence that, compared to one-time events, longitudinal interventions are more effective in achieving behavior changes.


교육 환경에서와 마찬가지로 전문적 행동에 대한 영향은 (혼합 된) 상호작용적 방법, 특히 기술 연습 (Davis 외. 1999); 교육 모임은 복잡한 행동에 영향을 주는 데 효과적이지 못했다.

As in the educational setting, the effects on professional behavior appeared stronger when (mixed) interactive methods were used, especially the practicing of skills (Davis et al. 1999 ); educational meetings were not found to be effective in infl uencing complex behavior.


Steinert et al. (2006)은 효과적인 faculty 개발 워크샵의 중요한 특성을 추론했다 : 

  • 체험 학습의 사용; 

  • 피드백의 공급; 

  • 효과적인 동료 및 동료 관계; 

  • 교수 및 학습의 원칙 적용; 그리고 

  • 여러 가지 교육 방법의 사용. 

이러한 사실은 Wilkerson and Irby (1998)에 의해 인용 된 증거에 의해 뒷받침된다. 교사의 지식, 기술, 태도는 오랜 기간 진행되는 워크샵이나 복수 유형의 인터벤션을 통해 향상시키는 것이 가능하다고 강조한다.

Steinert et al. ( 2006 ) deduced fi ve important characteristics of effective fac- ulty development workshops: the use of experiential learning; the provision of feed- back; effective peer and colleague relationships; the application of principles of teaching and learning; and the use of multiple instructional methods. These fi ndings are supported by evidence cited by Wilkerson and Irby ( 1998 ) who state that teachers’ knowledge, skills and attitudes can be enhanced by workshops of long duration and by two or more types of interventions, followed by practice. 


이러한 성과의 패턴은 새로운 지식의 습득, 변화의 의향, 교육에 대한 인식 개선을 보고 한 신임 교수진에 대한 세미나 효과에 대한 최근의 질적 연구 결과와 일치합니다. 그러나 교사의 실제 행동에 대한 변화는 소수뿐이었다.

This pattern of outcomes is in line with the results of a recent qualitative study about the effects of a seminar for new faculty ( Behar-Horenstein et al. 2008 ) which reported the 

  • acquisition of new knowledge, 

  • intent to change, and 

  • increased awareness of educational topics (in this order of importance), 

  • but only a few perceived changes in actual teacher behavior.



다음 차원은 세미나의 긍정적 인 결과를 설명 할 수 있습니다. 

  • 상호 작용 및 소그룹에서 상호 작용의 품질. 

  • 소그룹 학습의 여러 가지 방법의 사용; 

  • 참여자의 수를 제한하고, 그룹 구성을 안정화함; 

  • 사례에 초점을 맞추고 획득 한 지식을 적용하는 것; 

  • 진행자의 역할과 세미나를위한 적절한 준비; 

  • 회의 간의 충분한 시간 계획 (Davis and Davis 2010, Spruijt et al., 2012). 

the following dimensions can explain the positive outcomes of seminars: 

    • interactivity and the quality of the interaction in small groups; 

    • the use of multiple methods of small group learning; 

    • the limited number of participants and stability of the group composition; 

    • the focus on cases and the application of the acquired knowledge; 

    • the role of the facilitator and adequate preparation for the seminar; and 

    • the scheduling of suffi cient time between meetings (Davis and Davis 2010 ; Spruijt et al. 2012 ). 


상호 작용을 강조하는 것, 세미나 시리즈의 기간, 그룹 구성의 안정성 등은 태도 변화를 가져 오는 데 필수적인 것으로 보인다.

The emphasis on interaction, the duration of the seminar series, and the stability of group composi- tion are likely essential in bringing about attitude change.


기존 리뷰에서 교수개발 방식의 설계를 설명 할 필요성이 제기되었습니다. Guskey (2003)는 특정 상황에 대한 우수 사례를 기술하면 효과적인 교수 개발 이니셔티브에 대한 새로운 통찰력을 얻을 수 있다고 주장했다. Amundsen and Wilson (2012)은 디자인의 목표와 형식과 관련하여, 전문성 개발을 시행한 것을 묘사하고, 그 결과에 대해 상세히 설명할 것을 권고했다. 그들은 이러한 설명이 학습 성과와 과정에 초점을 맞추어야한다고 말했다. Bakkenes et al. (2010)은 전문 개발 활동 설계를 위해서는 교사의 학습 이론을 포괄하는 개념적 틀이 중요하다는 것을 확인했다. 그들은 교육 혁신의 성공이나 실패가 교사의 노력에 크게 의존하고 있음에도 불구하고 교사의 학습 과정은 거의 기술되지 않았다고 지적했다.

Reviews have also indicated a need to describe the design of faculty development practices. Guskey ( 2003 ) argued that describing good practices for a specifi c context can result in new insights for effective faculty development initiatives. Amundsen and Wilson ( 2012 ) recommended detailed descriptions of professional development practices and their outcomes in relation to the objectives and format of the design. They stated that these descriptions should focus on learning outcomes and processes. Bakkenes et al. ( 2010 ) identifi ed the importance of a conceptual frame- work encompassing theories of teachers’ learning for designing professional development activities. They also noted that the learning processes of teachers are rarely described, even though the success or failure of educational innovations relies heavily on their efforts.


위의 내용을 토대로 워크샵 및 세미나의 효율성을 높이는 두 가지 방법, 

  • 학습 목표 및 디자인과 관련하여 세부 활동을 설명

  • 교사 학습에 대한 이론적 틀을 기반으로 한 교수개발 활동

Based on the above, we recommend two ways to improve the effectiveness of workshops and seminars: 

  • to describe the activities in detail, in relation to their learning objectives and design; and 

  • to ground faculty development activities in a theoretical framework of teacher learning.



9.4 워크숍과 세미나 개발을 위한 새로운 프레임워크

9.4 A New Framework for the Development of Workshops and Seminars



교수진 개발 프로그램에 참여할 때, 교수진은 성인학습의 원리에 따라 학습자의 역할을 맡는다. 교수개발자는 교수들이 학습 활동을 통해 적극적으로 지식을 구축 할 것을 기대합니다. 따라서 학생들의 학습 활동을 시작점으로 삼는 Vermunt and Verloop (1999) 이론을 교수진 개발 워크샵 및 세미나 설계에 적용하기로 결정했습니다.

When taking part in faculty development programs, faculty members adopt the role of learners, and in line with the literature on adult learning (Cercone 2008 ), we expect them to actively construct their own knowledge by undertaking learning activities. We have therefore chosen to apply the theory of Vermunt and Verloop ( 1999 ), which takes students’ learning activities as the starting point, to the design of faculty development workshops and seminars.


교수진 개발 워크샵 및 세미나에서 학습 활동에 교수진을 적극적으로 참여시키는 것이 과제입니다. 학습 활동은 관찰 할 수 있으며, 책이나 기사를 읽고 요약하고, 동료, 교사 또는 진행자와 토론하거나 과제 또는 프로젝트를 함께 작업하는 등 명백한 활동을 할 수 있습니다. 

In the context of faculty development workshops and seminars, the challenge is to actively engage faculty members in learning activities. Learning activities can be observable, overt activities such as 

  • reading a book or article and making a summary, 

  • taking part in a discussion with peers, teachers or facilitators, or 

  • working together on assignments or projects. 

동시에, 참여자가 잘 참여한다면, 중요하지만 보이지 않는 경우, 정신 활동이 발생할 수 있습니다.

At the same time, if the participants are engaged, important, but invisible, mental activities can occur.


여기에는 사전 지식과 새로운 지식을 연관짓기, 텍스트 또는 프리젠테이션에서 관련 정보를 선택하기, 저자의 결론을 비판적으로 처리하기 등이 포함됩니다 (Vermunt and Endedijk 2011, Vermunt and Verloop 1999).

These include... 

  • relating new knowledge to prior knowledge, 

  • selecting relevant information from a text or presentation, or 

  • critically processing an author’s conclusion (Vermunt and Endedijk 2011 ; Vermunt and Verloop 1999 ).


그러므로 교수 개발 활동의 설계는 학습 목표 (즉, 무엇을 배울 것인가)를 정의하는 것으로 시작해야한다. 그 다음에, 교습 방법을 선택하고, 사용할 활동 유형 (즉,이 내용이 어떻게 가장 잘 배울 수 있는지)을 결정해야합니다 (Steinert 1992).

Therefore, the design of faculty development activities should begin with defi ning the learning objectives (i.e. what is to be learned). The objectives should, in turn, determine the choice of teaching methods and the types of activities to be used (i.e. how this content can best be learned) (Steinert 1992 ).


여기에서는 기대한 학습 결과와 관련 학습 활동의 조합에 따라 워크숍 디자인을 안내하는 프레임 워크를 제공합니다. 프레임 워크는 세 가지 주요 요소로 구성됩니다 : 

  • (1) 학습 성과; 

  • (2) 학습 활동; 

  • (3) 구체적인 학습 활동을 이끌어내는 교수 방법.

In this section, we provide a framework to guide workshop design based on combinations of desired learning outcomes and related learning activities. The frame- work consists of three main elements: (1) learning outcomes; (2) learning activities; and (3) instructional methods to elicit specifi c learning activities.


인지 수준에서 두 가지 학습 결과, 즉 지식과 신념 (인식, 확신 또는 새로운 아이디어)의 변화와 실천의 의향(새로운 관행을 시도하거나 계속 사용하거나 현재 관행을 계속 사용함)행동 수준에서의 학습성과, 즉 스킬과 행동의 변화를 구별합니다 (Bakkenes et al., 2010). 우리는 또한 학습 과정을 기술하기 위해 3 가지 유형의 학습 활동을 구별한다 : 

  • (1)인지 학습 활동; 

  • (2) 정서적 학습 활동; 

  • (3) 규제 적 또는 메타인지 적 활동. 

We distinguish two learning outcomes on a cognitive level, that is, 

  • changes in knowledge and beliefs (awareness, confi rmed or new ideas) and intent to practice (to try or continue to use new practices, or to continue using current practices) and 

  • one learning outcome on a behavioral level, that is, changes in skills and behavior (Bakkenes et al. 2010 ). 


We also distinguish three types of learning activities to describe the learning process: (1) cognitive learning activities; (2) affective learning activities; and (3) regulative or metacognitive activities. 


  • 인지 학습 활동은 학습자가 정보를 처리하고 (예 : 정보를 연관 시키거나 구조화하여) 지식과 신념을 변화시키는 데 사용하는 정신 활동입니다.

  • 정서적 학습 활동에는 주의 집중, 자기 동기 부여 및 불확실성, 지루함 또는 산만 함의 감정에 대처하는 것이 포함됩니다. 

  • 규제 적 또는 메타인지 적 활동은 스스로 인지 및 정서적 학습 활동을 모니터링, 조정 및 평가하는 정신 활동입니다. 예를 들어, 학습자는 어떤 지식, 기술 및 / 또는 태도를 습득해야하는지 의문을 제기함으로써 학습 과정을 촉진 할 수 있습니다. 그 다음에는 학습 목표를 달성하기 위해 적절한 학습 전략을 선택할 수 있습니다

  • Cognitive learning activities are those mental activities that learners use to process information, leading to changes in knowledge and beliefs, (e.g. by relating or structuring information).

  • Affective activities include focusing attention, self-motivation and coping with feel- ings of uncertainty, boredom or distraction. 

  • Regulative or metacognitive activities are mental activities by which learners monitor, adjust and evaluate their cognitive and affective learning activities. For example, learners can facilitate their own learning pro- cess by starting to question which knowledge, skills and/or attitudes should be acquired. Subsequently, they can select the appropriate learning strategy to achieve their learning goals





9.5 사례

9.5 Case Examples


9.5.1 A Teach-the-Teacher Workshop


To illustrate the use of learning activities, we describe a 2-day, small group (8–12 participants) workshop for clinical teachers who supervise students and residents. This workshop is given at the Erasmus University Medical Center, in Rotterdam, the


Netherlands, but is comparable in content and methods to the so-called ‘Teach theTeacher’ workshops given at other Dutch medical centers (Busari et al.  2006 ). 


9.5.2 A Seminar Series on the Integration of Technology Tools in a Problem-Based Learning Curriculum


We will illustrate the basic principles of seminar design by describing a seminar that focused on the integration of technology tools in a problem-based learning curricu- lum at the Faculty of Health, Medicine, and Life Sciences, Maastricht University.


9.6 워크숍과 세미나에서 훈련한 내용의 전이에 영향을 미치는 요인

9.6 Factors Affecting Transfer of Training from Workshops and Seminars to Educational Practice


따라서 Grossman과 Salas (2011)는 Transfer에 강력한 관계가 있는 요인들을 선택하였다..

Therefore, Grossman and Salas ( 2011 ) selected factors from the available literature which have a strong relationship to transfer and used these to provide guidance for evidence-based training programs.


표 9.4의 세 가지 범주 중 가장 명백한 것은 교육 디자인 인 것으로 나타났습니다

  • 워크샵은 참가자들이 다양한 전략을 연습하고 자신과 타인의 실수에서 배우는, 즉 '위험으로부터 자유로울' 수 있는 현실적인 환경을 제공한다는 점에서 이상적입니다. 

  • 실제 활동 상황에서 경험 한 내용을 역할극에서 토론하고 재생할 수있는 후속 미팅이 있는 경우 효과가 더욱 향상 될 수 있습니다. 

  • 중요한 것은 모든 참가자의 작업 상황과 유사한 명확한 목표를 정의하고, 관련 내용을 제공하며, 피드백을 제공하는 안전한 분위기와 환경을 조성하는 것입니다 (Carnes 2010). 

  • 조직이 당면한 과제는 학습자가 새로 획득 한 기술을 실제 상황에서 연습 할 수 있는 기회이기도 하다.

The most obvious of the three categories in Table 9.4 appears to be the training design. Workshops are close to ideal in providing realistic environments for participants to practice various strategies and learn from their own and others’ errors, ‘risk free’. The effectiveness may be further improved if follow-up meetings, in which experiences from the work situation can be discussed and/or replayed in role plays, are organized. The challenge for the designers and facilitators is to create a safe atmosphere and environment that suffi ciently resembles the work situation of all participants, defi ning clear objectives, providing relevant content and giving feedback (Carnes 2010 ). The challenge for the organization as a whole is to give the learners opportunities to practice their newly acquired skills in authentic situations.


연수생의 특성에는 학습에서 배우는 동기, 전달 동기, 효용성에 대한 인식 등이 관련되어 있다

  • 워크숍이나 세미나 이전에 (또는 초기에) 신중한 요구사정이 수행되면 이러한 요소가 긍정적으로 작용할 있으나, 현재 많은 경우 무시되곤 한다. (Burke and Hutchins 2007). 

  • 새로운 교수 철학의 도입이나 커리큘럼 변화와 같은 교육 환경의 변화는 절박감을 유발함으로써 새로운 교육적 환경을 위하여 고도로 동기 부여가 된 학습자를 양성 할 기회가 될 수 있다.

In the category trainee characteristics motivation to learn, motivation to transfer, and perceived utility form a cluster of related factors. These factors may be posi- tively infl uenced if a careful needs assessment is performed preceding (or at the start of) the workshop or seminar, a practice that currently appears to be neglected (Burke and Hutchins 2007 ). A (pending) change in the educational environment, such as a new teaching philosophy or curriculum change, may create a sense of urgency that can be seized as an opportunity to train highly motivated learners for a new educational working environment.


작업 환경은 교육 워크샵 및 세미나에서 다룰 수 있는 영역을 벗어납니다. 

  • 그러나 워크샵과 세미나는 참여자의 태도 변화 (피드백 제공 문화)와 조직 전체 네트워크와 학습 공동체 개발 (Steinert et al.)에 의해 업무 환경의 상향식 변화에 기여할 수 있습니다

  • 또한 리더십 및 경력 개발 워크샵 및 세미나와 같은 다른 교수진 개발 활동도 작업 환경의 변화를 유발할 수 있습니다 (Burke and Hutchins 2007, Steinert 2011).

The category of the work environment is largely beyond the domain of educational workshops and seminars. However, workshops and seminars may contribute to a bottom-up change in the work climate by a change in attitude of the participants (e.g. a culture of giving feedback), and the development of organization-wide networks and communities of learning (Steinert et al. 2006 ). In addition, other faculty development activities, such as leadership and career development workshops and seminars, may induce a change in the work climate as well (Burke and Hutchins 2007 ; Steinert 2011 ).




9.7 미래의 워크숍과 세미나

9.7 Opportunities and Challenges for the Future of Workshops and Seminars


일반적으로 워크샵이나 세미나와 같은 교수 개발 활동이 짧은 기간만 이뤄지면 효과성이 제한될 수 있으며, 특히 태도 및 행동 변화와 관련된 효과는 제한적일 수 있습니다. 태도 변화 또는 새로운 교수법 접근이 포함될 때, 그룹 역동성에 대한 시간과 관심은 필수적입니다. 다른 한편, 간결함 때문에 이 형식은 여러 교수 개발 활동에서 유연하게 사용할 수 있으며 때로는 '적시에' 사용될 수 있습니다. 따라서 효과가 덜 할지라도, 워크샵 및 세미나는 다른 교수진 개발 환경에서 유연성을 발휘함으로써 효율성을 높일 수 있습니다.

The generally short duration of faculty development activities such as workshops and seminars can limit their effectiveness for certain outcomes, particularly with respect to those related to attitudinal and behavioral change. When attitudinal change or new approaches for teaching are involved, time and attention to group dynamics is mandatory. On the other hand, because of their brevity, these formats can also be used fl exibly in different faculty development activities and very often ‘just in time’. Thus, although the risk may be less effectiveness, workshops and seminars provide an opportunity for fl exibility in different faculty development contexts, which can also enhance their effectiveness.


그들의 효과를 결정하지만 그들의 위험과 기회를 높이는 워크샵과 세미나의 또 다른 특징은 상호 작용과 능동적이고 경험적인 학습 방법이 차이를 만드는 소그룹 상황입니다. 워크샵과 세미나 시리즈는 때때로 상호 작용과 적극적인 학습 방법이 감소한다는 위험성이 있습니다. 예를 들어, 세미나는 때로는 청중과의 상호 작용이 거의없는 일방 프리젠 테이션으로 축소 될 수 있습니다. 따라서 이러한 접근 방식에 능동 학습을 통합하여 양질의 상호 작용을 창출해야합니다.

Another characteristic of workshops and seminars which determines their effectiveness, but also heightens their risks and opportunities, is the small group context, where interaction and active and experiential learning methods make the difference. A risk is that workshops and seminar series sometimes decrease the emphasis on interaction and active learning methods. As an example, seminars can sometimes be reduced to one-way presentations with little or no interaction with the audience. The challenge is therefore to create high quality interaction, incorporating active learning in these approaches.


이러한 포맷이 효과적으로 사용되기 위해서는 facilitator가 핵심적이며, 이러한 포맷을 작동시키기위한 퍼실리테이터의 전문성 개발에 관심을 기울여야합니다 (O'Sullivan and Irby 2011). 이론과 증거 기반의 트레이너 - 트레이너 모델은 도움이 될 수 있습니다 (Pearce 외. 2012).

The facilitator in these formats plays a key role in their effective use, and attention must be paid to the professional development of the facilitators to make these formats work (O’Sullivan and Irby 2011 ). A train-the-trainer model which is theory and evidence-based can be of help (Pearce et al. 2012 ).


9.8 결론

9.8 Conclusion


사실, 워크샵 및 세미나는 새로운 통찰력 (예 : 학습 이론)과 새로운 개발 (예 : 기술)에 의해 형성되는 끊임없이 변화하는 풍경 속의 고정물입니다. 가장 큰 과제는 이러한 접근 방법의 잠재력을 최적화하는 것입니다.

In fact, workshops and seminars are fixtures in an ever changing landscape that is shaped by new insights (e.g. learning theories) and new developments (e.g. technology). The main challenge is to optimize the learning potential of these approaches.



9.9 핵심 메시지

9.9 Key Messages


• 워크샵 및 세미나 설명 및 디자인에 이론 및 증거를 포함시킵니다. 구체적으로 목표를 정의하고 필요한 학습 활동을 확인하며 적절한 교수 설계를 선택하십시오.


• 강사 개발에 대한 좀 더 긴 접근 방식에서 워크샵 및 세미나의 통합 및 효과를 실험하고 연구합니다.


• 리더쉽과 조직 개발을 포함한 다양한 상황에서 워크숍과 세미나 시리즈의 새로운 사용을 실험하고 그 효과를 평가하십시오.

• Incorporate theory and evidence in the description and design of workshops and seminars. Specifi cally, defi ne the goals, identify the required learning activities, and select the appropriate instructional design.


• Experiment with and study the integration and effects of workshops and seminars in more longitudinal approaches to faculty development.


• Experiment with new uses of workshops and seminar series in different contexts, including leadership and organizational development, and assess their effectiveness.


Grossman, R. & Salas, E. (2011). The transfer of training: What really matters. International Journal of Training and Development, 15 (2), 103–120.








Chapter

Faculty Development in the Health Professions

Volume 11 of the series Innovation and Change in Professional Education pp 181-195

Date: 

Workshops and Seminars: Enhancing Effectiveness

  • Willem de Grave
  • Anneke Zanting
  • Désirée D. Mansvelder-Longayroux
  • Willemina M. Molenaar 

Abstract

Workshops and seminars are well-known and frequently used formats for faculty development, characterized by their formal nature and short-term activities. However, what is meant by these formats is not always clear and their learning potential is not always realized. This chapter outlines the main characteristics of these formats and their potential contribution to faculty development programs. After a brief review of the literature on the effectiveness of workshops and seminars, we recommend a new framework for their design. This framework is based on theories about learning for teachers and combines learning outcomes, learning activities, and instructional methods. Case examples of a teach-the-teacher workshop and a seminar series on the integration of technology tools in a problem-based learning curriculum are given. Factors that enhance the transfer of learning from workshops and seminars to practice are discussed, as are suggestions for improving this format, based on evidence and new developments in this field.

현상학적 연구방법의 비교고찰  - Giorgi, Colaizzi, Van Kaam방법을 중심으로 (JKAN, 1999)

A Comparison of Phenomenological Research Methodology : Focused on Giorgi, Colaizzi, Van Kaam Methods

김분한, 김금자, 박인숙, 이금재, 김진경, 홍정주, 이미향, 김영희, 유인영, 이희영

JKAN(대한간호학회지) 제29권 제6호, 1999.12, 1208-1220 (13 pages)




Ⅰ. 서 론 

1. 연구의 필요성 


20세기 동안 제 학문을 주도해 온 2가지 패러다임은 논리 경험주의적 접근을 근거로 한 실증주의적 패러다임 과 인본주의에 근거한 자연주의적 패러다임이라 볼 수 있다. 오랫동안 많은 학문분과들이 실증주의적 패러다임 을 채택함으로써 자신의 학문분야를 '과학'으로 인정받 기 위해 노력해왔고, 간호학 역시 과학적 방법과 통계처 리, 연역법, 인과관계 추론의 방법을 통해 기능적 수준에 머물렀던 간호를 professional discipline과 practice science 로 정착하는데 어느정도 성공하였다(김남선, 1992). 


그러나 실증주의적 패러다임은 인간을 너무 단순화하 여 양적인 구성단위로서 인간이 갖는 의미를 축소함으로 써 인간을 전체로 파악하는데 제한적이며, 살아있는 인 간을 역동적인 전체로 어떻게 되돌려 줄 것인가에 대한 단서를 제공하지 못한다.  


이에 많은 간호 연구자들은 대안을 찾고자 하여 1960 년대에 이르러 간호에 있어서 인간 경험의 의미와 본질 을 찾고 간호 현상을 포괄적으로 탐구하기 위한 주관적 이고 통찰, 발견, 해석에 중점을 두는 자연주의적 연구방 법인 질적 연구방법의 필요성이 대두되었다. 1970년대에 는 간호학계에서 질적 연구접근에 본격적인 관심을 보이 기 시작하였고, 국내에서도 1980년대 후반기부터 간호학 박사과정생을 중심으로 질적 연구방법이 쓰여지면서 최 근 들어 간호연구에 있어 질적 연구접근이 활발하게 전개 되고 있다(신경림, 1996; Oiler, 1980; Anderson, 1991). 


질적 연구의 철학적 배경은 다양하지만, 참여자 중심의 시각에 근거하여 실재세계를 자연주의적, 총체적, 맥락중 심적, 역동적, 개별적, 사례중심적, 연역적, 서술적으로 발 견하고자 하며, 연구방법으로는 현상학적 접근, 근거이론 적 접근, 문화기술지적 접근으로 연구가 진행되고 있다. 


현상학적 접근은 인간의 경험에 대한 연구에서 중요 하다. 현상학 연구자들은 지각과 판단의 모든 복합성을 가진 인간에 의해 경험되는 현상을 연구함으로써, 경험 의 개인적 의미를 파악하는 기술(description)을 통하여 대상자들의 실재에서 그들을 알고, 대상자들을 도울 수 있다.   


이에 본 연구자들은 현상학적 질적연구를 시도하려는 초보 연구자들을 위한 길잡이 역할로써 암환자 가족의 경 험을 중심으로 Giorgi(1970), Colaizzi(1978), Van kaam (1969)의 세가지 방법을 비교 고찰하여 각 분석법에 따른 결과의 측정을 비교해 실제에 적용하는데 도움을 주고자 한다.  


2. 연구의 목적  


II. 방법론적 배경 


학문을 연구하는 방법에서는 자연과학 철학에 근거한 양적 연구방법만이 과학적이며 객관성이 높고 체계적이 라는 생각이 오랫동안 지배해 왔다. 그러나 여러 학문 분야에서 인간을 탐구하는데 있어서 인간을 너무 단순화 하고 의미를 박탈한다는 양적 연구방법의 한계를 지적하 였다. 


간호학문 역시 인간을 총체적으로 보며, 인간은 통합 된 전체(unitary whole)라는 신념과 이런 통합체로서의 인간을 이해하기 위해서는 인본주의에 기반을 두고 총체 적으로 접근해야 함을 강조하고 있다(Oiler, 1982; Omery, 1983). 


따라서 인간의 주관적 경험이 중요함을 인지하고, 인 간의 생활세계와 밀접히 관련을 맺고 있는 인간 과학 철 학에 근거한 질적 연구방법의 필요성이 강조되고 있다 (신경림, 1997). 질적연구 방법론은 사회적 세계에 대한 일련의 철학적, 인식론적, 이념적 가정들을 그 밑바탕에 깔고 있으며, 구체적인 질적 연구방법들은 서로 다른 이 론적 전통에 그 뿌리를 두고 있다. 질적 연구에 인식론 적 근거를 제공해 주는 주요 학문적 이론적 전통은 다양 하지만 가장 대표적이면서 질적 연구방법의 기초를 이루 고 있는 것은 현상학, 상징적 상호작용주의, 해석학 문화기술학이다(최영희, 1993). 


현상학은 살아 있는 인간 경험을 기술하는 것이며, 대 상자의 실재에 접촉하는 총체적인 접근을 요구한다. 현상 학(phenomenology)의 목적은 인간에 대한 이해의 증진으 로 명상적인 사고를 기초로 행동의 본질을 설명하는 것이 다(Omery, 1983). 현상학적인 방법은 몇 개의 학파가 있는 철학이며 연구 방법으로, 그 방법은 철학에 기인하는 것으 로서 후설(Edmund Husserl), 하이데거(Martin Heidegger), 사르트르(Jean- Paul Sartre), 그리고 메를로퐁티(Maurice Merleau- Ponty)의 연구를 이용한다(Cohen, 1987; Van Manen, 1990). 현상학적인 전통은 각자의 삶의 경험과 자신의 생활 세계 내의 목적을 이해하려고 노력한다. 상학은 사물의 현상과 외양에 대한 연구이고, 그들의 본질 을 발견하는 것이 연구의 궁극적인 목적이다(Van Manen, 1990). 


따라서 현상학적인 접근은 간호의 맥락과 일치하며 통합된 인간에 대한 간호 개념을 파악하는데 가치가 있 다고 인식하였다. 현상학적인 방법은 대상자의 기술에 대한 분석을 통해 인간이 경험하는 현상의 의미를 밝히 는 것으로, 귀납적이고 기술적(descriptive)인 연구 방법이다. Davis (1978)는 현상학이 임상 실무로부터 나오는 연구 문제와 임상 간호의 기능에 좀 더 적합하게 연구 문제를 제공할 수 있다고 밝혔다. 현상학적인 방법이 주시를 받기 시작한 것은 1970년대이고 1980년대에 간호 연구에 현상학적 접근의 사용이 급증한다. 


간호학적 지식을 탐구하는 방법론적 원리로서 현상학적 접근이 지니는 의의는, 현상학적 판단중지는 기존의 지배적인 이론과 실천의 모든 간호모델에 대해 그 모델 속에 포함되어 있는 선관념적 요소들을 불식할 것을 요 구한다. 특히, 경험분석적 과학주의에 상응하는 인간관, 간호관 및 그러한 방법적 원리에 바탕한 질병위주의 목적달성 이론에 대해 현상학은 깊이 있는 반성적 성찰의 근거가 된다는 점이다. 또한 현상학적 상호주관성은 간호주체와 간호 대상의 간호관계에서 인간애에 바탕한 간 호를 할 수 있다는 것이다(최남희, 1991). 즉 현상학이 간호에 의미하는 바는 주의깊은 기술과 대화를 통해 타 인을 알게 되는 인식을 만듬으로써 그리고 간호 경험에 서의 다양한 견해를 탐구함으로써 우리의 실재를 증가시 킬 수 있다는 것이다(최영희, 1993). 


훌륭한 현상학적 질적 연구 결과가 될 수 있도록 하 기 위해서 

- 첫번째는 적절하고 충분한 자료를 수집하는 것이고, 

- 두번째는 자료 분석의 창의성이다. 

연구자의 입 장에서 보면 창의적인 견고한 자료 분석을 위해서는 능 수능란한 질문과 가차없는 답변 추구, 적극적인 관찰, 그 리고 정확한 회상이 필요하다. 그것은 자료를 서로 조화 시키고, 보이지 않는 것을 분명하게 만들고, 그 결과들을 선례와 연결해서 인과 관계를 만드는 과정이다. 그것은 추측과 검증, 수정과 변형, 제안과 방어의 과정이다(신경 림, 1997). 


현상학 연구과정의 일련의 절차는 설명하기 어렵고, 그래서 많은 사람들에게 당혹감을 주는 원천이 되지만 성(reflection), 직관(intuiting), 판단중지(bracking ), 현상학적인 시각(seeing)은 현상학의 방법에서 그 과정을 밝히 기 위한 것이며, 분석단계의 기술은 이를 성취하기 위한 노력이다(최영희, 1993). 현상학적 방법의 자료분석은 현 상학적 분석을 이끄는 원리(guiding principles)를 준수할 것을 연구자에게 강요한다. 즉 연구참여자의 살아있는 경험의 의미를 밝히려는 의도를 가지고, 다른 데로 주의를 돌리지 않고 기술을 읽고 또 다시 읽어 연구자로 하여금 자료에 있는 함축적인 메시지 및 명백한 메시지에 대해 개방적이 되도록 하는 것이다(Parse et al, 1985). Boyd (1989)는 현상학적 연구의 자료 분석은 대상자의 면담 내 용으로부터 경험의 의미를 서술하는 것이라 하였다. 


현상학적 연구에서 사용되고 있는 대표적인 자료 분 석방법으로는 Spiegelberg에 의해 제시된 철학적 방법과 그로부터 변형되어 사회과학에서 사용되고 있는 Giorgi, Colaizzi, Van Kaam, Van Manen의 방법 등을 들 수 있 으며, 간호학자 Benner와 Paterson과 Zderad가 변형시킨 현상학적 방법도 있다. 이들 방법은 다소의 차이를 가지 고 있다. 현상학적 자료분석방법의 진행 절차는 Giorgi, Colaizzi, Van Kaam, 등에 의해 제시되고 있다(Oiler, 1982 ; Omery, 1983). 



Ⅲ. 연구 방법 


1. 자료 수집  


2. 자료 분석 방법 


본 연구는 연구 참여자들로부터 얻은 면담내용을 Giorgi(1970), Colaizzi(1978), Van Kaam(1969)의 세가지 연구방법으로 분석하여 비교하는 것에 초점을 두었다. 면담자료는 현상학적 연구 경험이 있는 간호학 교수 1인 과 박사과정생 9명이 서로 토의하여서 타당성을 검정하 였고 Giorgi(1970), Colaizzi(1978), Van Kaam(1969)의 자료 분석방법의 절차는 다음과 같다. 


1) Giorgi의 방법 

Giorgi에 의해 제시된 현상학적 분석은 연구대상자의 기술에 대한 심층 연구를 통해 살아있는 경험의 의미를 밝히는데 초점을 두고 있다. 

  • ① 사고를 시작하고 끝내는 단위 즉, 대상자의 언어 그대로 의 자신의 경험을 표현한 본래의 의미단위(identifying natural meaning unit )을 규명한다. 

  • ② 대상자의 언어로 표현된, 대상자의 경험을 나타내는 주제(theme)를 규명한다. 

  • ③ 연구자의 언어로 주제를 구체화하여 대상자의 경험이 대상자에게 의미하는 중심의미(focal meaning )을 규 명한다. 

  • ④ 중심의미를 통합하여 연구대상자의 관점에서 파악된 경험의 의미인 상황적 구조적 기술(situated structural  description)을 만든다. 

  • ⑤ 상황적 구조적 진술을 통해 전체 대상자의 관점에서 파악된 경험의 의미인 일반적 구조적 기술(general structural description)을 만든다(최영희, 1993). 



2) Colaizzi의 방법 

Colaizzi는 자료수집 방법을 기술하는데 거의 전체적 인 강조점을 두었다. 특히 그는 적절한 자료출처를 적절 한 자료 수집방법과 일치시키는 것에 강조를 두고 있다. Colaizzi 방법의 자료 분석과정은 다음과 같다. 

  • ① 자료에서 느낌을 얻기 위해 대상자의 기술(protocols) 을 읽는다. 

  • ② 탐구하는 현상을 포함하는 구, 문장으로부터 의미있 는 진술(significant statement )을 도출한다. 

  • ③ 의미있는 진술에서 좀 더 일반적인 형태로 재진술 (general restatement)한다. 

  • ④ 의미있는 진술과 재진술로부터 구성된 의미(formulated meaning)를 끌어낸다. 

  • ⑤ 도출된 의미를 주제(themes), 주제모음(themeclusters), 범주(categories)로 조직한다. 

  • ⑥ 주제를 관심있는 현상과 관련시켜 명확한 진술로 전하게 최종적인 기술(exhaustive description)을 한다(김분한외, 1996). 


3) Van Kaam의 방법 

Van Kaam(1969)은 Spiegelberg (1976)에 의해 규정된 필수 활동과 일치되는 현상학적 분석을 위해 다음과 같 은 수정한 방법을 제시하였다. 

  • ① 대상자와 녹음한 면담 내용을 여러 번 반복하여 들으 면서 대상자의 말 그대로를 글로 옮겨 기록하였다. 

  • ② 기술된 내용에서 본 연구와 관련하여 의미있는 진술 을 추출하였다. 

  • ③ 추출된 의미 있는 진술 즉, 원자료(raw data)를 반복 하여 읽으면서 각 진술에서 공통의 속성으로 묶어지 도록 범주화 작업을 실시하였다. 원자료(raw data)에서 공통적인 요소들끼리 모아서 부주제(subtheme)를 정했고, 비슷한 속성을 지닌 부 주제들을 다시 모아 주제(theme)로 모았으며 주제들 의 속성을 전체적으로 모아 범주화(category)하였다. 범주화된 자료에서 주제들은 자료의 우선 빈도별의 순위에 따라 나열하였다. 

  • ④ 분류된 범주화를 통해서 분석과 통합을 통해 현상에 대한 기술을 하였다(조영숙외, 1992). 


Ⅳ. 연구결과 및 논의 


1. Giorgi(1970) 방법의 결과 


암환자 가족의 질병경험은 암을 진단 받은 이후 치료 과정에 있어서 가족의 느낌, 생각, 행동, 생활변화를 중 심으로 연구참여자(사례1, 2, 3)의 경험을 표현한 43개의 의미있는 진술을 도출하였고, 연구참여자의 의미있는 진 술을 연구자의 언어로 주제를 구체화하면서 연구참여자 에게 의미하는 중심의미를 규명하였으며, 중심의미를 통 합하여 연구참여자의 관점에서 파악된 경험의 의미로서 상황적 구조적 기술이 <표1- 1, 1- 2, 1- 3>에서 제시되고 있다. 또한 연구에 참여한 사례1, 2, 3의 개별적인 상황 적 구조적 기술을 종합하여 일반적 구조적 기술로써 암 환자 가족경험을 말해주고 있다.  


2. Colaizzi(1978) 방법의 결과 


암환자의 가족경험을 나타내는 원 자료(protocols)로부 터 도출된 43개의 의미있는 진술(significant statements) 을 주의깊게 보면서 의미를 구성하였다. 이때 연구자는 통 찰력을 가지고 직관과 분석기술을 이용하여 원 자료와의 일치여부를 확인하면서 연구참여자의 의도를 명확히 기 술하고자 노력하였고 이 과정에서 연구 참여자의 표현을  가능한 그대로 사용하여 좀 더 일반적인 형태로 재진술 (general rest atement )하여 <표 2>에서와 같이 21개의 구성된 의미(fomulated meaning )를 도출하였다. 도출된 의미에서 15개의 주제(themes)를 선정하였고, 이 과정에 서 현상학을 이해하고 있는 간호학 교수 1인, 간호학 박 사과정생 9인으로부터 타당성을 검정한 후 5개의 주제 모음(theme clusters)-부담감, 역할갈등, 가족이나 타인에 대한 고마움, 간병의지, 치료에 대한 양가감정으로 확정하 였고. 이를 부정적 대처, 긍정적 대처의 범주(categories)로 최종적으로 조직하였다.  


3. Van Kaam(1969) 방법의 결과 


43개의 의미있는 진술을 여러번 반복하여 읽고 문헌 고찰 및 국어사전을 참조하여 연구자의 직관에 의해 분 석한 암환자 가족의 경험을 가족기능의 변화 의 경험과 부담감 경험의 두가지로 범주화(categories) 하였다   


〈표 l> Giorgi 방법 분석결과 

<표 1- l> 사례 1(남편 )   



4. 논 의  

세 가지 방법의 분석결과가 모두 주제(theme)를 기술한다는 점이 기술(description of reporting )상의 공통 속성이면서도 분석상의 서로 다른 특징을 보이고 있다. 


  • Giorgi 방법의 특성은 상황적 구조적 진술에서 연구 참여자의 개인의 독특성을 자세히 설명해 주고 있으며, 전체 연구 참여자의 경험은 일반적 구조적 진술에서 통 합하였다  

  • Colaizzi 방법의 특성은 개인적 속성보다는 전체 연구 참여자의 공통적인 속성을 도출해 내는데 초점을 맞춘 방법이다. 참여자의 의미있는 진술에서 구성된 의미가 도출되고, 구성된 의미(formulated meaning )에서 주제 (theme) 및 주제모음(theme cluster )을 확인하여 범주화 (category )한 결과 부정적 대처의 범주에는 부담감, 역할 갈등, 치료에 대한 양가감정이 나타났고, 긍정적 대처의 범주에는 간병의지, 가족이나 타인에 대한 고마움으로 나타났다. Colaizzi 방법은 가족구성원 전체의 경험을 도출해 내기 때문에 암환자 간호중재를 위한 이론개발을 하기에 용이한 방법으로 사료되나, 가족구성원 개개인의 경험을 파악하기는 어렵다는 단점을 고려해야 한다. 

  • Van Kaam 방법의 특성은 의미있는 진술문의 빈도와 순서를 찾아낼 수 있는 양적 특성도 가지고 있다. 또한 전체 연구참여자의 공통적인 속성을 도출한다는 점과 분석한 내용을 주제(theme)와 범주(category)로 조직한다 는 점에서 Colaizzi의 방법과 유사하나 분석 기술상의 차이는 Colaizzi의 방법에서의 주제(theme)는 연구참여자가 표현한 언어를 빌어서 기술하는 특성을 갖고있는 반면에 Van Kaam 방법에서는 참여자의 의미있는 진술에서 부 주제(subtheme)를 선정하고 이를 다시 통합하여 주제 (theme) 및 범주(category)로 조직하는데, 주제(theme)를 기술함에 있어서 Van Kaam과 Giorgi의 방법은 참여자 의 표현 그대로가 아니라 연구자의 정련된 언어로 기술 한다는 점이 다르다.  


V. 결 론 


본 연구는 현상학적 질적연구를 시도하려는 초보 연 구자들을 위한 길잡이 역할로써 암환자 가족의 경험을 중심으로 Giorgi(1970), Colaizzi(1978), Van Kaam(1969) 의 현상학적 방법론적 결과의 특성을 비교 고찰하기 위 한 목적으로, 경기지역 S병원 암환자 병동에 입원 중인 말기 암환자의 가족들을 면담한 결과 가족구성원을 대표 하는 환자 배우자, 딸, 맏며느리를 연구참여자로 하여 심 층면담한 자료를 Giorgi(1970), Colaizzi(1978), Van Kaam(1969)의 방법으로 분석한 결과는 다음과 같다.  


암환자 가족경험을 세가지 방법으로 분석해 보았을 때 

  • Giorgi의 방법은 가족 구성원중 개인적 경험에 초점 을 두고 있으므로 암환자를 간호하는 가족 구성원 개인 의 주관적인 경험을 자세하게 파악할 수 있었고, 

  • Colazzi 의 방법은 가족 전체의 경험을 광범위한 차원에서 분석 함으로써 암환자 가족간호중재를 위한 이론개발에 유용 한 자료가 될 것이며, 

  • Van Kaam의 방법은 암환자 가족 구성원 전체의 경험을 빈도별로 제시함으로써 우선순위를 고려할 수 있다. 



현상학적 연구방법의 비교고찰: Giorgi, Colaizzi, Van Kaam방법을 중심으로
= A Comparison of Phenomenological Research Methodology : Focused on Giorgi, Colaizzi, Van Kaam Methods

http://www.riss.kr/link?id=A100114825 복사


질적연구 Part II: 참여자, 분석, 질 확보 (J Grad Med Educ, 2012)

Qualitative Research Part II: Participants, Analysis, and Quality Assurance 

Joan Sargeant, PhD






이전의 editorial을 요약하면, 양적 연구는 개입의 영향에 주로 초점을 맞추고 '일반적으로 효과가 있었습니까?', '성과는 무엇입니까?'와 같은 질문에 주로 답하는 반면, 질적 연구는 중재 또는 현상을 이해하는 데 초점을 맞추며, '왜 이것이 효과적 이었는가', '이것이 학습에 도움이 되는가?'와 같은 질문을 탐구했다. 표 1은 정량적 연구와 정량적 연구를위한 방법 론적 접근 방법을 요약 한 것이다.

To summarize the previous editorial, while quantitative research focuses predominantly on the impact of an intervention and generally answers questions like ‘‘did it work?’’ and ‘‘what was the outcome?’’, qualitative research focuses on understanding the intervention or phenomenon and exploring questions like ‘‘why was this effective or not?’’ and ‘‘how is this helpful for learning?’’ TABLE 1 provides a compara- tive summary of methodological approaches for quantita- tive and qualitative research.

 

 



참가자 선택

Selecting Participants



샘플링 된 대상은 연구하려는 현상과 관련된 중요한 측면과 관점을 알려줄 수 있어야합니다. 예를 들어, 프로페셔널리즘 인터벤션 연구에서 연구참여자는 역할 (거주자 및 교수), 관점 (개입을 승인 / 거부하는 사람), 경험 수준 (중년 및 고령자), 다양성 (성별, 인종, 기타 배경)을 대표할 수 있어야 한다.

The subjects sampled must be able to inform important facets and perspectives related to the phenomenon being studied. For example, in a study looking at a profession- alism intervention, representative participants could be considered by role (residents and faculty), perspective (those who approve/disapprove the intervention), experience level (junior and senior residents), and/or diversity (gender, ethnicity, other background).



그러나 질적 인 연구에서 표본 크기는 일반적으로 미리 결정되지 않았다. 참가자의 수는 연구되는 현상의 모든 중요한 요소를 완전히 알리는 데 필요한 숫자에 따라 다릅니다. 즉, 추가 인터뷰 또는 포커스 그룹이 새로운 개념을 발견해주지 못할 경우, 즉 데이터가 포화되었을 경우 샘플 크기가 충분하다고 볼 수 있다. 데이터 포화가 발생할 때를 결정하기 위해 이상적으로는 반복적인 사이클에서 데이터 수집과 동시에 분석이 진행된다. 이를 통해 연구원은 새로운 주제의 출현을 문서화하고 간과 할 수있는 시각을 식별 할 수 있습니다.

In qualitative research, however, the sample size is not generally predetermined. The number of participants depends upon the number required to inform fully all important elements of the phenomenon being studied. That is, the sample size is sufficient when additional interviews or focus groups do not result in identification of new concepts, an end point called data saturation. To determine when data saturation occurs, analysis ideally occurs concurrently with data collection in an iterative cycle. This allows the researcher to document the emergence of new themes and also to identify perspectives that may otherwise be overlooked.


데이터 분석

Data Analysis



정 성적 분석의 목적은 연구되는 현상에 대한 이해를 돕기 위해 데이터와 데이터에서 나온 theme를 해석하는 것입니다. 종종 내용분석과 혼란을 겪기도 하는데, 내용분석은 결과를 identify and describe하는 것이다.

The purpose of qualitative analysis is to interpret the data and the resulting themes, to facilitate understanding of the phenomenon being studied. It is often confused with content analysis, which is conducted to identify and describe results.12

 

In the professionalism intervention example,

  • content analysis of responses might report that residents identified the positive elements of the innovation to be integration with real patient cases, opportunity to hear the views of others, and time to reflect on one’s own professionalism.

  • An interpretive analysis, on the other hand, would seek to understand these responses by asking questions such as, ‘‘Were there conditions that most frequently elicited these positive responses?’’

  • Further interpretive analysis might show that faculty engagement influenced the positive responses, with more positive features being described by residents who had faculty who openly reflected upon their own professionalism or who asked probing questions about the cases.


해석적 분석은 일반적으로 해체, 해석 및 재건의 3 단계로 수행되는 것으로 보여진다 .11

Interpretive analysis is generally seen as being conducted in 3 stages: deconstruction, interpretation, and reconstruc- tion.11



1. 해체 (deconstruction) 란 무엇이 포함되어 있는지 확인하기 위해 데이터를 구성 요소로 분해하는 것을 말합니다. 위에서 언급 한 내용 분석과 유사합니다. 인터뷰 또는 그룹의 성적표를 읽고 다시 읽은 다음 내용을 설명하는 범주 또는 코드로 데이터를 분류해야합니다.

1. Deconstruction refers to breaking down data into component parts in order to see what is included. It is similar to content analysis mentioned above. It requires reading and rereading interview or focus group transcripts and then breaking down data into categories or codes that describe the content.


2. 해석은 해체 다음에 진행되며, 코딩 된 데이터를 이해하는 것을 의미합니다. 이 시험은 하나의 transcript 내에서, 그리고 여러 transcript 사이에서 중요하다고 여겨지는 변수 (예 : 거주 기간, 징계, 교수 참여)간에 데이터 코드와 카테고리를 비교하는 것을 포함합니다. 데이터와 결과를 해석하는 기술에는

  • 주제 간 유사점과 차이점을 찾기 위한 연구 팀 구성원 간의 토론과 코드 비교,

  • 연구 결과를 다른 연구와 비교,

  • 주제 간 관계를 설명 할 수있는 이론을 탐구,

  • 부정적인 결과를 탐구 (지배적인 주제를 confirm하지 않는 것들).

2. Interpretation follows deconstruction and refers to making sense of and understanding the coded data. It involves comparing data codes and categories within and across transcripts and across variables deemed important to the study (eg, year of residency, discipline, engagement of faculty). Techniques for interpreting data and findings include

  • discussion and comparison of codes among research team members while purposefully looking for similarities and differences among themes,

  • comparing findings with those of other studies,

  • exploring theories which might explain relationships among themes, and

  • exploring negative results (those that do not confirm the dominant themes) in more detail.



3. 재구성이란 해석 단계에서 도출 된 관계와 통찰력을 보여주고 현존하는 지식과 이론적 관점에 비추어보다 광범위하게 설명하는 방식으로 주요prominent 코드와 주제를 재창조하거나 재 포장하는 것을 말한다. 일반적으로 하나 또는 두 개의 중심 개념이 중심 또는 포괄적으로 등장 할 것이고 다른 주제는 중심 개념에 기여하는 하위 주제로 나타납니다. 재건은 발견 된 내용을 맥락화하는 것, 즉 기존의 이론과 증거 범위 내에서 그 위치를 정하고 짜 맞추는 것을 필요로 한다.

3. Reconstruction refers to recreating or repackaging the prominent codes and themes in a manner that shows the relationships and insights derived in the interpretation phase and that explains them more broadly in light of existing knowledge and theoretical perspectives. Generally one or two central concepts will emerge as central or overarching, and others will appear as subthemes that further contribute to the central concepts. Reconstruction requires contextualizing the findings, ie, positioning and framing them within existing theory, evidence, and practice.



연구의 퀄리티  확보

Ensuring Research Quality and Rigor


질적 연구 내에서 두 가지 주요 전략

Within qualitative research, two main strategies promote the rigor and quality of the research:

  • ensuring the quality or ‘‘authenticity’’ of the data and

  • the quality or ‘‘trustwor- thiness’’ of the analysis.8,12


 

 

 

1. 데이터의 진위성은 데이터 및 데이터 수집 절차의 품질을 의미합니다. 고려해야 할 요소는 다음과 같습니다.

1. Authenticity of the data refers to the quality of the data and data collection procedures. Elements to consider include:


 

  • Sampling approach and participant selection to enable the research question to be addressed appropriately (see ‘‘Selecting Participants’’ above) and reduce the potential of having a biased sample.

  • Data triangulation refers to using multiple data sources to produce a more comprehensive view of the phenomenon being studied, eg, interviewing both residents and faculty and using multiple residency sites and/or disciplines.

  • Using the appropriate method to answer the research questions, considering the nature of the topic being explored, eg, individual interviews rather than focus groups are generally more appropriate for topics of a sensitive nature.

  • Using interview and other guides that are not biased or leading, ie, that do not ask questions in a way that may lead the participant to answer in a particular manner.
  • The researcher’s and research team’s relationships to the study setting and participants need to be explicit, eg, describe the potential for coercion when a faculty member requests his or her own residents to participate in a study.

  • The researcher’s and team members’ own biases and beliefs relative to the phenomenon under study must be made explicit, and, when necessary, appropriate steps must be taken to reduce their impact on the quality of data collected, eg, by selecting a neutral ‘‘third party’’ interviewer




2. 분석의 신뢰성은 데이터 분석의 품질을 의미합니다. 분석의 질을 평가할 때 고려해야 할 요소는 다음과 같습니다.

2. Trustworthiness of the analysis refers to the quality of data analysis. Elements to consider when assessing the quality of analysis include:


  • Analysis process: is this clearly described, eg, the roles of the team members, what was done, timing, and sequencing? Is it clear how the data codes or categories were developed? Does the process reflect best practices, eg, comparison of findings within and among transcripts, and use of memos to record decision points?

  • Procedure for resolving differences in findings and among team members: this needs to be clearly described.

  • Process for addressing the potential influence the researchers’ views and beliefs may have upon the analysis.

  • Use of a qualitative software program: if used, how was this used?

.



 




 2012 Mar;4(1):1-3. doi: 10.4300/JGME-D-11-00307.1.

Qualitative Research Part IIParticipantsAnalysis, and Quality Assurance.

PMID:
 
23451297
 
PMCID:
 
PMC3312514
 
DOI:
 
10.4300/JGME-D-11-00307.1


질적연구의 퀄리티 Part I (J Grad Med Educ, 2011)

Qualities of Qualitative Research: Part I

Gail M. Sullivan, MD, MPH

Joan Sargeant, PhD




많은 중요한 의학 교육 연구 질문은 질적 인 연구 접근법을 요구한다.

Many important medical education research ques- tions cry out for a qualitative research approach:



이러한 'why'를 묻는 질문 유형에는 질적 또는 혼합 질적 및 양적 접근이 더 적절하고 도움이 될 수 있습니다 .2

For these why types of questions, qualitative or mixed qualitative and quantitative approaches may be more appropriate and helpful.2


이론과 방법론

Theory and Methodology



양적 연구는 객관적이고 체계적으로 증거가 인과 모델 또는 가설을 증명하기 위해 얻은 실증주의적 관점을 사용합니다. 대안 적으로, 질적인 접근법은 무언가가 어떻게 작동하고 왜 작동하는지, 그리고 이해를 구축하는 데 초점을 맞춘다. 실증주의 모델에서 연구 대상 (예 : 학습자)은 연구자와 독립적이며 지식이나 사실은 직접 관찰을 통해서 확인가능하다. 또한 관측이 이루어지는 맥락은 안정적으로 제어되거나 가정된다. 대조적으로, 질적 인 패러다임에서 연구원은 관찰 대상을 수집하기 위해 연구 대상 (학습자)과 상호 작용할 수있다.

Quantitative research uses a positivist perspective in which evidence is objectively and systematically obtained to prove a causal model or hypothesis; what works is the focus.3 Alternatively, qualitative approaches focus on how and why something works, to build understanding.3 In the positivist model, study objects (eg, learners) are independent of the researchers, and knowledge or facts are determined through direct observations. Also, the context in which the observations occur is controlled or assumed to be stable. In contrast, in a qualitative paradigm researchers might interact with the study objects (learners) to collect observations, which are highly context specific.3 


질적 연구와 양적 연구의 차이는 가설 검정과 가설 생성의 차이이다.4 질적 연구 방법은 특히

"불확실하고 미성숙한 개념에 대해서 

민감하고 socially dependent한 개념에 대해서

복잡한 인간의 의도와 동기 부여에 대해서

...탐구하거나, 묘사하거나, 이론을 생성한다. "4

Qualitative research has often been differentiated from quantitative as hypothesis generating rather than hypothesis testing.4 Qualitative research methods ‘‘ex- plore, describe, or generate theory, especially for uncer- tain and ‘immature’ concepts; sensitive and socially dependent concepts; and complex human intentions and motivations.’’4 



그것은 현상이나 관계를 설명하려고 시도합니다. 일반적으로 질적 연구의 결과는 연구 된 소그룹에만 적용되는 것으로 가정되었으므로 다른 집단에 대한 결과의 일반화 가능성은 기대할 수 없습니다. 이러한 이유로 일부 전문가들이이 한계에 이의를 제기하기는하지만 정 성적 연구는 가설 생성으로 간주됩니다 .5

It attempts to explain a phenomenon or relationship. Typically, results from qualitative research have been assumed to apply only to the small groups studied, such that generalizability of the results to other populations is not expected. For this reason, qualitative research is considered to be hypothesis generating, although some experts dispute this limitation.5

 

 


질적 연구가 의미를 가질 때

When Qualitative Studies Make Sense



질적 연구는 why와 how를 이해하는 데 도움이됩니다. 양적 연구는 원인과 결과, 양 및 상관 관계에 중점을 둡니다.

Qualitative studies are helpful to understand why and how; quantitative studies focus on cause and effect, how much, and numeric correlations.


학습은 복잡한 상호 작용을 특징으로하는 사회적 환경에서 일어나기 때문에, 정량적 인 원인과 결과 모델은 종종 너무 단순하다.

Because learning takes place in social environments characterized by complex interac- tions, the quantitative ‘‘cause and effect’’ model is often too simplistic.7


행동 양식

Methods


TABLE 2 provides examples of these methods.


TABLE 3 provides one example of an analysis plan.


 

 

질적 인 방법은 연구자와 연구 대상 사이의 '객관성의 신화'를 인정한다 .7 사실 연구원은 순수하게 분리 된 관찰자가 아닐 것이다.

Qualitative methods acknowledge the ‘‘myth of objectivity’’ between researcher and subjects of study.7 In fact, the researcher is unlikely to be a purely detached observer.

 

 


윤리적 문제

Ethical Issues



질적 연구자는 보통 자연 환경에서 주제와 상호 작용을 연구하려고 시도하기 때문에 윤리적 문제가 자주 발생합니다. 연구자와 참가자 간의 관계뿐만 아니라 일부 토론의 민감한 특성 때문에 정보에 입각 한 동의가 종종 필요합니다. 질적 연구를하는 이유 - 즉, 특히 어려운 주제에 대한 이유와 방법을 파악하려는 목적 - 때문에 민감한 의견, 감정 및 개인 정보가 노출 될 수 있습니다. 따라서 참가자를 harm으로부터 어떻게 보호 할 것인가에 대한 고려는 연구가 시작될 때 필수적이다.

As qualitative researchers usually attempt to study subjects and interactions in their ‘‘natural settings,’’ ethical issues frequently arise. Because of the sensitive nature of some discussions as well as the relationship between researchers and participants, informed consent is often required. The very reason for doing qualitative research—to discover why and how, particularly for thorny topics—can lead to potential exposure of sensitive opinions, feelings, and personal information. Thus, consideration of how to protect participants from harm is essential from the very onset of the study.



퀄리티 평가

Quality Assessment


질적 연구자들은 그들의 연구 결과가 신뢰할 만하다는 것을 보여줄 필요가있다. 양적 접근법과 마찬가지로, 강력한 연구 프로젝트는 기존 지식에 대한 기본적인 검토로 시작됩니다 : 견고한 문헌 검색. 그러나 양적 접근과 달리 대부분의 질적 패러다임은 단일 '진리'를 찾는 것이 아니라 상황에 맞는 '현실'의 여러 견해를 찾는다.

Qualitative researchers need to show that their findings are credible. As with quantitative approaches, a strong research project starts with a basic reviewof existing knowledge: a solid literature search. However, in contrast to quantitative ap- proaches, most qualitative paradigms do not look to find a single ‘‘truth,’’ but rather multiple views of a context-specific ‘‘reality.’’



일부 전문가는 '신뢰도'가 질적 연구와 거의 관련이 없다고 하지만, 연구자에 따라서는 질적연구에 대한 유사한 척도로서 '의존성'이라는 용어를 제안합니다. Dependability는 데이터의 일관성을 통해 얻어지며, 이는 투명한 연구 단계 및 연구 결과를 통해 평가됩니다.

Although some experts find that reliability has little relevance to qualitative studies, others propose the term ‘‘dependability’’ as the analogous metric for this type of research. Dependability is gained though consistency of data, which is evaluated through transparent research steps and research findings.9,10

 


 

Summary



4 Maudsley G. Mixing it but not mixed-up: mixed methods research in medical education (a critical narrative review). Med Teach. 2011;33:e92–e104.


8 Hanson JL, Balmer DF, Giardino AP. Qualitative research methods for medical educators. Acad Pediatr. 2011;11:375–386.


11 Cote´ L, Turgeon J. Appraising qualitative research articles in medicine and medical education. Med Teach. 2005;27:71–75.


 

 

 

 

 




 2011 Dec;3(4):449-52. doi: 10.4300/JGME-D-11-00221.1.

Qualities of qualitative researchpart I.

PMID:
 
23205188
 
PMCID:
 
PMC3244304
 
DOI:
 
10.4300/JGME-D-11-00221.1


질적평가자료 분석을 위한 귀납적 접근법(American Journal of Evaluation, 2006)

A General Inductive Approach for Analyzing Qualitative Evaluation Data

David R. Thomas

University of Auckland





평가에서 질적 인 데이터의 수집은 일반적입니다. 그러나 질적 데이터 분석을위한 효율적이고 defendable한 절차에 대한 전략에 대한 지식은 덜 일반적입니다. 광범위한 문헌에서 자료 평가를 포함하여 정성적 데이터 분석과 관련된 기본 가정과 절차를 설명하였다. 이 중 많은 것들은 근거 이론 (Strauss & Corbin, 1998), 현상학 (van Manen, 1990), 담론 분석 (Potter & Wetherell, 1994), 내러티브 분석 (예. , Leiblich, 1998)에 대한 것이다. 그러나 일부 분석 접근법은 generic하며 질적 연구의 특정 전통 (예 : Ezzy, 2002; Pope, Ziebland, & Mays, 2000, Silverman, 2000) 중 하나로 label되지 않는다.

The collection of qualitative data in evaluation is common. However, knowledge about strat- egies for efficient and defendable procedures for analyzing qualitative data is less com- mon. A wide range of literature documents the underlying assumptions and procedures associ- ated with analyzing qualitative data, including evaluation data (e.g., Patton, 2002). Many of these are associated with specific approaches or traditions, such as grounded theory (Strauss & Corbin, 1998), phenomenology (e.g., van Manen, 1990), discourse analysis (e.g., Potter & Wetherell, 1994), and narrative analysis (e.g., Leiblich, 1998). However, some analytic ap- proaches are generic and are not labeled within one of the specific traditions of qualitative research (e.g., Ezzy, 2002; Pope, Ziebland, &Mays, 2000; Silverman, 2000).



질적 데이터의 분석을 보고하는 몇몇 저자는 "General inductive approach"으로 분류 할 수있는 전략을 설명합니다.많은 질적자료분석이 이 전략을 사용하고 있으나 (Bryman & Burgess, 1994, Dey, 1993) 종종 분석 전략을 명확히 label하지 않기도 한다. 이 논문의 목적은 General inductive approach에서 분명히 드러난 핵심 기능을 설명하고 질적 데이터 분석에 사용할 수있는 일련의 절차를 개괄적으로 설명하는 것입니다.

Several authors reporting analyses of qualitative data in journal articles describe a strategy that can be labeled as a “general inductive approach.” This strategy is evident in much qualita- tive data analysis (Bryman &Burgess, 1994; Dey, 1993), often without an explicit label being given to the analysis strategy. The purpose of the present article is to describe the key features evident in the general inductive approach and outline a set of procedures that can be used for the analysis of qualitative data.


  • 이 기사에서 inductive analysis는 주로 raw 데이터를 꼼꼼히 정독하여 개념, 테마, 모델을 유도하는 것으로, 평가자가 연구자가 원 자료를 해석하는 과정이다. 귀납적 분석에 대한 이러한 이해는 Strauss and Corbin (1998)의 설명과 일치한다. "연구자는 연구 영역에서 시작하여 데이터로부터 이론을 출현시킨다"(12 페이지).

  • Deductive analysis는 데이터가 (연구자가 확인하거나 작성한) 기존의 가정, 이론, 가설과 일치하는지 테스트하기 위해 설정된 데이터 분석을 나타냅니다.

실제로 많은 평가 프로젝트는 귀납적 및 연역적 분석을 사용합니다.

  • In this article, inductive analysis refers to approaches that primarily use detailed readings of raw data to derive concepts, themes, or a model through interpretations made from the raw data by an evaluator or researcher. This understanding of inductive analysis is consistent with Strauss and Corbin’s (1998) description: “The researcher begins with an area of study and allows the theory to emerge from the data” (p. 12).

  • Deductive analysis refers to data analyses that set out to test whether data are consistent with prior assumptions, theories, or hypotheses identified or constructed by an investigator. In practice, many evaluation projects use both inductive and deductive analysis. 



귀납적 접근법의 주된 목적은 구조화 된 방법론에 의해 제약받지 않고 원시 데이터에 내재 된 빈번하고 지배적 인 또는 중요한 주제에서 연구 결과가 출현하도록 만드는 것입니다. 실험이나 가설을 검증하는 방식의 deductive analysis에서는 데이터 수집 및 데이터 분석 절차에 대한 연구자의 preconception 때문에 주요 주제가 종종 흐려 지거나 재구성되거나 보이지 않게됩니다. Scriven이 이야기한(1991, 56 페이지) "goal-free"평가에 대한 설명은 평가자가 계획된 효과뿐만 아니라 실제 프로그램 효과를 설명하고자하는 inductive approach와 일치합니다.

The primary purpose of the inductive approach is to allow research findings to emerge from the frequent, dominant, or significant themes inherent in raw data, without the restraints im- posed by structured methodologies. In deductive analyses, such as those used in experimental and hypothesis testing research, key themes are often obscured, reframed, or left invisible because of the preconceptions in the data collection and data analysis procedures imposed by investigators. Scriven’s (1991, p. 56) description of “goal-free” evaluation is consistent with an inductive approach whereby evaluators wish to describe the actual program effects, not just planned effects.

 

 

inductive approach의 사용은 몇 가지 유형의 질적 데이터 분석, 특히 근거이론 (Strauss & Corbin, 1998)에서 일반적입니다. 이것은 다른 저자 (Miles & Huberman, 1994, 9 페이지, Pope et al., 2000, Punch, 1998)가 기술 한 일반적인 데이터 패턴 분석과 일치합니다. 질적 데이터 분석을위한 세 가지 작업은 Miles and Huberman (1994, pp. 10-11)에 의해 설명되었는데, 데이터 축소, 데이터 표시 및 결론 그리기 또는 검증입니다. general inductive approach 은 Miles와 Huberman의 분석 프레임 워크와 일치하지만, 질적 자료를 분석하고 보고하기 위한 자세한 절차(데이터 축소 및 표시)를 제공하는 점에서 더 자세하다.

The use of an inductive approach is common in several types of qualitative data analyses, especially grounded theory (Strauss &Corbin, 1998). It is consistent with the general patterns of qualitative data analysis described by other authors (e.g., Miles & Huberman, 1994, p. 9; Pope et al., 2000, Punch, 1998). Three broad tasks for qualitative data analysis were described by Miles and Huberman (1994, pp. 10-11): data reduction, data display, and conclusion draw- ing or verification. Although the general inductive approach is consistent with Miles and Huberman’s analytic framework, it differs in providing a more detailed set of procedures for analyzing and reporting qualitative data (data reduction and display) than is provided in their description.

 


이 논문에서 설명한 inductive appraoch는 원시 데이터에서 summary theme이나 category를 개발하여 복잡한 데이터에서 의미를 생성하는 절차를 설명함으로써 데이터 축소 프로세스를 명확히하기위한 것입니다. 이 절차는 몇 가지 설명적인 질적자료분석에서 분명합니다.

  • 어떤 사람들은 그들의 접근법을 명시적으로 "inductive"(backett & Davison, 1995, Stolee, Zaza, Pedlar, & Myers, 1999)으로 명시 하였지만,

  • 다른 사람들은 명확한 이름을 부여하지 않고 접근법을 사용했다 (Jain & Ogden, 1999 Marshall, 1999).

  • Punch (1998, p. 201)는 "analytic induction"가 정성적 분석에서 일반적으로 사용되는 접근법이라고 지적했다.

  • general inductive approach는 Miles와 Huberman (pp. 69-71)에 의해 기술 된 "패턴 코딩"과 약간의 유사점을 가지고 있지만, inductive coding이 패턴 코딩과 다른 점은, general inductive approach에서는 원인이나 설명, 사람들 간의 관계를 포함하지 않는다는 점이 다르며, 이것들은 패턴코딩에서는 흔하게 포함되는 내용이다. (70 페이지).

The inductive approach described in this article is intended to clarify the data reduction process by describing a set of procedures for creating meaning in complex data through the development of summary themes or categories from the raw data. These procedures are evident in several descriptive qualitative data analyses.

 

  • Some have described their approaches explicitly as “inductive” (e.g., Backett & Davison, 1995; Stolee, Zaza, Pedlar, & Myers, 1999),

  • whereas others have used the approach without giving it an explicit label (e.g., Jain &Ogden, 1999; Marshall, 1999).

  • Punch (1998, p. 201) noted that “analytic induction” is a commonly used approach in qualitative analysis.

  • The general inductive approach has some similarity with the “pattern coding” described by Miles and Huberman (pp. 69-71), but the out- comes of inductive coding differ from pattern coding in that the general inductive approach may not involve causes or explanations and relationships among people that are commonly part of pattern coding (p. 70).


분석 전략

Analytic Strategies


General inductive approach을 사용하는 몇 가지 분석 전략이나 원리가 아래에 설명되어 있습니다.

Some of the analytic strategies or principles underlying the use of a general inductive ap- proach are described below.



1. 데이터 분석은 평가 목표에 따라 진행되며, 평가목표는 연구할 영역과 주제를 드러내어준다. 분석은 rawdata, 유도 성 구성 요소에 대한 여러 가지 판독 및 해석을 통해 수행됩니다. 연구 결과가 연구자가 제시 한 평가 목표 또는 질문의 영향을 받지만, 연구 결과는 (선험적인 기대나 모델이 아닌) 원시 자료를 분석함으로써 arise합니다. 평가 목표는 특정 결과에 대한 기대치가 아니라 분석 수행에 대한 관련성이나 초점 영역을 제공합니다.

1. Data analysis is guided by the evaluation objectives, which identify domains and topics to be inves- tigated. The analysis is carried out through multiple readings and interpretations of the rawdata, the inductive component. Although the findings are influenced by the evaluation objectives or questions outlined by the researcher, the findings arise directly from the analysis of the raw data, not from a priori expectations or models. The evaluation objectives provide a focus or domain of relevance for conducting the analysis, not a set of expectations about specific findings.


2. 기본 분석 모드는 원시 데이터에서 카테고리를 개발하여 모델이나 프레임워크를 만드는 것입니다. 이 모델에는 코딩 과정에서 평가자가 확인하고 작성한 주요 theme와 프로세스가 포함되어 있습니다.


2. The primary mode of analysis is the development of categories from the raw data into a model or framework. This model contains key themes and processes identified and constructed by the evalu- ator during the coding process.


3. 결과는 데이터를 코드화하는 평가자가 원 데이터로부터 여러 해석을하여 얻은 결과입니다. 필연적으로, 결과는 연구를 수행하고 데이터 분석을 수행하는 평가자의 가정과 경험에 의해 형성됩니다. 유용한 결과를 얻으려면 평가자는 데이터에서 무엇이 더 중요하고 덜 중요한지에 대한 결정을 내려야합니다.


3. The findings result from multiple interpretations made from the raw data by the evaluators who code the data. Inevitably, the findings are shaped by the assumptions and experiences of the evalua- tors conducting the study and carrying out the data analyses. For the findings to be usable, the eval- uator must make decisions about what is more important and less important in the data.


4. 다양한 평가자들은 동일하지 않으며 구성 요소가 중복되지 않는 다양한 결과를 산출 할 수 있습니다.


4. Different evaluators may produce findings that are not identical and that have non overlapping components.


5. 귀납적 분석에서 파생 된 결과의 신뢰성은 다른 유형의 정성 분석 (예 : Lincoln & Guba, 1985)에 사용 된 것과 유사한 기술을 사용하여 평가할 수 있습니다.


5. The trustworthiness of findings derived from inductive analysis can be assessed using similar tech- niques to those that are used with other types of qualitative analysis (e.g., Lincoln&Guba, 1985).

 

 


평가 프로젝트에는 종종 데이터 수집 및 분석을 안내하는 구체적인 목표가 있습니다. 흔히 설정하는 목표 중 하나는 프로그램에서 잘 작동하고 개선해야 할 부분을 파악하는 것입니다. 특정 목표 또는 평가 질문이 데이터의 특정 측면에 주의를 기울이게 만들어서 귀납적 분석의 가능한 해석 및 결과의 범위를 제한한다는 점은 분명하지만, 이 접근법은 특정 가설, 이론 또는 모델을 테스트하는 deductive 조사와는 다릅니다 .

It is worth noting that evaluation projects often have specific objectives that guide data collection and analysis. Some common objectives are to identify what is working well ina program and what needs improving. Although specific objectives or evalua- tion questions undoubtedly constrain the range of possible interpretations and outcomes from an inductive analysis by focusing attention on specific aspects of the data, the approach is unlike deductive investigations in which a specific hypothesis, theory, or model is being tested.


코딩으로 개발 된 카테고리의 특징

Features of Categories Developed From Coding


귀납적 분석의 결과는 원시 데이터를 요약하고 핵심 주제 및 프로세스를 전달하는 모델 또는 프레임 워크로 카테고리를 개발하는 것입니다.

The outcome of an inductive analysis is the development of categories into a model or frame- work that summarizes the raw data and conveys key themes and processes.



1. 범주 레이블 : 범주를 나타내는 데 사용되는 단어 또는 짧은 구. 레이블에는 범주의 특정 기능이 반영되어 있거나 반영되지 않은 고유 한 의미가 포함되어있는 경우가 많습니다.

1. Category label: a word or short phrase used to refer to the category. The label often carries inherent meanings that may or may not reflect the specific features of the category.



2. 범주 설명 : 주요 특성, 범위 및 제한을 포함하여 범주의 의미에 대한 설명.

2. Category description: a description of the meaning of the category, including key characteristics, scope, and limitations.



3. 카테고리와 관련된 텍스트 또는 데이터 : 카테고리와 관련된 의미, 연관성 및 관점을 설명하는 카테고리로 코딩 된 텍스트의 사례들.

3. Text or data associated with the category: examples of text coded into the category that illustrate meanings, associations, and perspectives associated with the category.



4. 링크 : 각 카테고리에는 다른 카테고리와의 링크 또는 관계가있을 수 있습니다. 계층적 카테고리 시스템 (예 : 트리 다이어그램)에서 이러한 링크는 상위, 병렬 하위 카테고리 (예 : "상위, 형제"또는 "하위"관계)를 나타낼 수 있습니다. 링크는 범주 간 또는 가정 된 인과 관계의 의미에서 공통점을 기반으로 할 것입니다.

4. Links: Each category may have links or relationships with other categories. In a hierarchical category system (e.g., a tree diagram), these links may indicate superordinate, parallel, and subordi- nate categories (e.g., “parent, sibling” or “child” relationships). Links are likely to be based on commonalities in meanings between categories or assumed causal relationships.



5. 카테고리가 내장 된 모델 : 개발된 카테고리들은 모델, 이론 또는 프레임 워크에 통합 될 수 있습니다. 이러한 프레임 워크에는

  • 개방형 네트워크 (계층 또는 시퀀스 없음),

  • 시간 순서 (예 : 시간 경과에 따른 이동) 및

  • 인과 관계 네트워크 (한 범주는 다른 범주에서 변경을 초래 함)등이 있다.

귀납적 과정과 일관되게, 그러한 모델 또는 틀은 귀납적 분석의 end point을 나타내며, 모델은 분석 전에 설정되지 않는다. 물론 카테고리가 어떤 모델이나 프레임 워크에 포함되지embed 않을 수도 있습니다

5. The type of model in which the category is embedded: The category system may be subsequently incorporated in a model, theory, or framework. Such frameworks include

  • an open network (no hierarchy or sequence),

  • a temporal sequence (e.g., movement over time), and

  • a causal network (one category causes changes in another).

To be consistent with the inductive process, such models or frameworks represent an end point of the inductive analysis. They are not set up prior to the analysis. It is also possible that a category may not be embedded in any model or framework.


다른 데이터 분석 접근 방식과의 비교

Comparison With Other Data Analysis Approaches


general inductive approach 은 근거이론과 가장 유사하지만 코딩 과정을 개방 코딩과 축 코딩으로 명확하게 구분하지 않습니다. 뿐만 아니라 일반 유도 기법을 사용하는 연구자는 일반적으로 이론 구축을 구축하더라도, 가장 중요한 범주를 표현하거나 설명하는 것으로 제한합니다.

The general inductive approach is most similar to grounded theory but does not explicitly separate the coding process into open coding and axial coding. As well, researchers using the general inductive approach typically limit their theory building to the presentation and description of the most important categories.



현상학은 일반적인 경험 (예 : 암으로 살아가는 사람들)의 경험을 이해하고 그 경험의 의미에 대한 coherent한 설명을 작성하고자 합니다.

Phenomenology seeks to understand the lived experiences among people who have had a common experience (e.g., living with cancer) and to write a coherent account of the meaning of those experiences.


귀납적 코딩의 프로세스

The Process of Inductive Coding


 

귀납적 코딩은 텍스트를 자세히 읽고 텍스트 본래의 여러 의미를 고려해보는 것으로 시작됩니다. 그런 다음 평가자는 의미있는 단위를 포함하는 텍스트 세그먼트를 식별하고 텍스트 세그먼트가 할당 된 새 카테고리의 레이블을 작성합니다. 새로운 텍스트 세그먼트는 관련된 카테고리에 추가됩니다. 어떤 단계에서 평가자는 카테고리의 의미에 대한 초기 설명을 개발하고 카테고리에 대한 메모 (예 : 연관, 링크 및 의미)를 작성할 수 있습니다.

Inductive coding begins with close readings of text and consideration of the multiple meanings that are inherent in the text. The evaluator then identifies text segments that contain meaningful units and creates a label for a new category to which the text segment is assigned. Addi- tional text segments are added to the categories to which they are relevant. At some stage, the evaluator may develop an initial description of the meaning of a category and write a memo about the category (e.g., associations, links, and implications).

 


1. 원시 데이터 파일 준비 (데이터 정리) : 필요에 따라 원시 데이터 파일을 공통 형식 (예 : 글꼴 크기, 여백, 질문 또는 면담자 주석 강조 표시)으로 포맷합니다. 각 원시 데이터 파일을 인쇄 및 / 또는 백업합니다 (예 : 각 인터뷰).

1. Preparation of raw data files (data cleaning): Format the rawdata files in a common format (e.g., font size, margins, questions or interviewer comments highlighted) if required. Print and/or make a backup of each raw data file (e.g., each interview).



2. 텍스트 자세히 읽기 : 텍스트가 준비되면 평가자가 내용에 익숙하고 텍스트에서 다룬 주제와 사건을 이해할 때까지 원본 텍스트를 자세하게 읽습니다.

2. Close reading of text: Once text has been prepared, the raw text is read in detail until the evaluator is familiar with its content and gains an understanding of the themes and events covered in the text.



3. 범주 생성 : 평가자는 범주 또는 주제를 식별하고 정의한다.

  • 상위 레벨 또는 일반적인 카테고리는 평가 목표로부터 도출 될 수있다.

  • 하위 레벨 또는 구체적인 카테고리는 원시 데이터를 여러 번 읽음으로써 생성되며 때로는 in vivo 코딩이라고도합니다.

귀납적 코딩에서 카테고리는 일반적으로 특정 텍스트 세그먼트의 실제 구 또는 의미에서 만들어집니다. 카테고리 생성을위한 몇 가지 절차가 사용될 수 있습니다. 워드 프로세서를 사용할 때, 표시된 텍스트 세그먼트를 새로운 범주로 복사 할 수 있습니다.

3. Creation of categories: The evaluator identifies and defines categories or themes.

  • The upper-level or more general categories are likely to be derived from the evaluation aims.

  • The lower-level or specific categories will be derived from multiple readings of the raw data, sometimes referred to as in vivo coding.

In inductive coding, categories are commonly created from actual phrases or meanings in specific text segments. Several procedures for creating categories maybe used. When using a word processor, marked text segments can be copied into the emerging categories.


4. 중복된 코딩 및 코딩되지 않은 텍스트 : 일반적으로 가정 된 규칙 중 질적 코딩의 기본이되는 규칙 중 두 가지가 정량 코딩에서 일반적으로 사용되는 규칙과 다릅니다.

  • (a) 텍스트의 한 세그먼트가 둘 이상의 범주로 코딩 될 수 있으며

  • (b) 텍스트의 상당 부분이 평가 목적과 관련이 없을 수 있기 때문에, 상당한 양의 텍스트 (예 : 50 % 이상)는 어떤 카테고리에도 할당 될 수 없다.


4. Overlapping coding and uncoded text: Among the commonly assumed rules that underlie qualita- tive coding, two are different from the rules typically used in quantitative coding:

  • (a) one segment of text may be coded into more than one category, and

  • (b) a considerable amount of the text (e.g., 50%or more) may not be assigned to any category, because much of the text may not be relevant to the evaluation objectives.


5. 범주 체계의 계속적인 수정 및 개선 : 각 범주 내에서 상충되는 관점 및 새로운 insight를 포함하여 하위 주제를 검색하십시오. 카테고리의 핵심 주제 또는 본질을 전달하는 적절한 인용구를 선택하십시오. 의미가 유사한 경우 상위 카테고리 아래에서 카테고리를 결합하거나 연결할 수 있습니다.


5. Continuing revision and refinement of category system: Within each category, search for sub- topics, including contradictory points of viewand newinsights. Select appropriate quotations that convey the core theme or essence of a category. The categories may be combined or linked under a superordinate category when the meanings are similar.

 


주요 테마가 너무 많을 경우(예 : 8 개 이상), 귀납적 코딩은 완료되지 않은 것으로 간주 될 수 있습니다. 이 경우, 평가자는 일부 카테고리를 서로 합치거나, 어떤 주제 나 카테고리가 가장 중요한지에 대해 어려운 결정을 내려야 만한다.

Inductive coding that finishes up with many major themes (e.g., more than eight) can be viewed as incom- plete. In this case, some of the categories may need combining, or the evaluator must make hard decisions about which themes or categories are most important.


Example of the General Inductive Approach





신뢰성 평가

Assessing Trustworthiness


Lincoln and Guba (1985)은 질적 연구에서 신뢰할 수있는 4 가지 일반적인 유형, 즉 신뢰성, 전달 성, 의존성 및 확인 가능성을 설명했다. 이들이 설명하는 절차 중 데이터 분석을 수행하는 데 가장 활용할 만한 방식은...

Lincoln and Guba (1985) described four general types of trustworthiness in qualitative re- search: credibility, transferability, dependability, and confirmability. Among the procedures they described, those most applicable to performing data analyses include

  • conducting peer debriefings and stakeholder checks as part of establishing credibility and

  • conducting a research audit (comparing the data with the research findings and interpretations) for dependability.

데이터 분석의 신뢰성을 평가하는 데 사용할 수있는 다른 절차에는

일관성 검사 또는 평가자 간 신뢰도 검사 (예 : 다른 코더가 범주 설명을 가져 와서 해당 범주에 속하는 텍스트 찾기)

구성원 또는 이해 관계자 확인 Erlandson, Harris, Skipper, & Allen, 1993, 142 쪽).

Other procedures that can be used for assessing the trustworthiness of the data analysis include

  • consistency checks or checks of interrater reliability (e.g., having another coder take the cate- gory descriptions and find the text that belongs in those categories) and

  • member or stakeholder checks (e.g., Erlandson, Harris, Skipper, &Allen, 1993, p. 142).

 


 

코딩의 일관성 확인

Coding Consistency Checks


독립적 인 병렬 코딩.

Independent parallel coding.


초기 코더는 분석을 수행하고 예비 결과를 구성하는 일련의 범주를 개발합니다. 두 번째 코더에는 평가 목적과 초기 범주가 개발 된 원시 텍스트 일부 또는 전체가 제공됩니다. 초기 범주를 보지 않고도 두 번째 코더는 원시 텍스트에서 두 번째 범주의 범주를 생성해야합니다. 그런 다음이 두 번째 범주 집합을 첫 번째 집합과 비교하여 중복 정도를 확인한다. 두 세트의 카테고리는 하나의 세트로 병합 될 수 있습니다. 카테고리 간 ovelap이 적다면, 보다 견고한 카테고리 세트를 개발하기 위하여 더 많은 분석과 토론이 필요할 수 있습니다.

An initial coder carries out an analysis and develops a set of categories that constitute the preliminary findings. A second coder is given the evaluation objectives and some or all of the raw text from which the initial categories were developed. Without seeing the initial categories, the second coder is asked to create a second set of cate- gories from the raw text. This second set of categories is then compared with the first set to establish the extent of overlap. The two sets of categories may subsequently be merged into a combined set. When overlap between the categories is low, further analysis and discussion may be needed to develop a more robust set of categories.



카테고리의 선명도를 확인

Check on the clarity of categories.



원시 데이터의 초기 코딩이 완료됩니다. 두 번째 코더에는 원시 텍스트가 첨부되지 않은 상태로 평가 목표, 개발 된 카테고리 및 각 카테고리에 대한 설명이 제공됩니다. 그런 다음 두 번째 코더에 원시 텍스트의 샘플이 제공되고 (초기 코더에 의해 이전에 코드화 됨) 텍스트의 섹션을 개발 된 카테고리에 할당하게 됩니다. 그런 다음 두 번째 코더가 첫 번째 코더와 같은 텍스트 세그먼트를 초기 범주에 할당 한 정도를 확인할 수 있습니다.

An initial coding of the raw data is completed. A second coder is given the evaluation objectives, the categories developed, and descriptions of each cate- gory, without the raw text attached. The second coder is then given a sample of the raw text (pre- viously coded by the initial coder) and asked to assign sections of the text to the categories that have been developed. A check can then be made of the extent to which the second coder allo- cated the same text segments to the initial categories as the first coder.

 

범주의 명확성에 대한 검사의 변형은 두 번째 독립 코더에 초기 범주와 이 범주에 할당 된 텍스트를 제공하는 것입니다. 두 번째 코더에는 코딩되지 않은 새로운 텍스트 집합이 주어지며 새 텍스트의 섹션을 초기 범주에 할당해야합니다.

A variation of the check on the clarity of the categories is to give a second independent coder both the initial catego- ries and some of the text assigned to these categories. The second coder is then given a new set of text that has not been coded and asked to assign sections of the new text into the initial categories.



이해 관계자 또는 연구대상자의 확인.

Stakeholder or member checks.



이해 관계자 확인은 참가자와 평가에 대한 특정 관심사를 가진 다른 사람들이 연구 결과, 해석 및 결론에 대해 의견을 제시하거나 평가할 수있게함으로써 조사 결과의 신뢰성을 향상시킵니다. 이러한 확인은 조사 결과의 신뢰성을 확립하는 데 중요 할 수 있습니다. 예를 들어, 연구에 참여한 참가자는 연구 결과에 나타난 범주와 결과가 자신의 개인 경험과 관련이 있는지 여부에 대해 의견을 말할 기회를 얻습니다. 이해 관계자 참여는 초기 서류 (예 : 면접 필사본 및 요약)와 데이터 해석 및 결과에 대해 수행 될 수 있습니다. 이해 관계자에 의한 점검은 형식적 으로든 비공식적 으로든 연구 프로젝트 중에 점진적으로 수행 될 수 있습니다. 다음 목록은 평가 프로젝트 동안 가능한 이해 관계자 점검을 요약 한 것입니다.

Stakeholder checks enhance the credibility of findings by allowing participants and other people who may have specific interests in the evaluation to comment on or assess the research findings, interpretations, and conclusions. Such checks may be important in establishing the credibility of the findings. For example, participants in the set- tings studied are given a chance to comment on whether the categories and outcomes described in the findings relate to their personal experiences. Stakeholder checks may be carried out on the initial documents (e.g., interview transcriptions and summaries) and on the data interpreta- tions and findings. Checks by stakeholders may be conducted progressively during a research project both formally and informally. The following list outlines possible stakeholder checks during an evaluation project:


    •   인터뷰가 완료되고 요약된 데이터에 대해서 응답자는 사실 또는 도전 해석의 오류를 즉시 수정할 수 있습니다.

        At the completion of interviewing, data can be summarized and respondents allowed to immedi- ately correct errors of fact or challenge interpretations.

    •   후속 인터뷰에서 응답자는 이전 인터뷰에서 수집 된 해석 및 데이터를 확인하도록 요청받을 수 있습니다.

        During subsequent interviews, respondents can be asked to verify interpretations and data gathered in earlier interviews.

    •   비공식 대화는 관심이있는 조직의 구성원과 연구에 대해서 대화 할 수 있습니다.

        Informal conversations can take place with members of an organization with interests in the setting being studied.

    •   평가 보고서의 예비 버전 또는 특정 섹션의 사본을 이해 관계자 그룹에 제공 할 수 있으며 보고서에 대한 서면 또는 구두 설명을 요청할 수 있습니다. 일부 유형의 평가에서는 특정 이해 관계자가 카테고리 및 해석을 승인 또는 서명하는 것이 적절할 수 있습니다.

        Copies of a preliminary version, or specific sections, of the evaluation report can be provided to stakeholder groups, and written or oral commentary on the report can be solicited. In some types of evaluations, it may be appropriate for specific stakeholders to approve or signoff the categories and the interpretations made from them.

    •   최종 보고서를 제출하기 전에 이해 관계자 확인은 연구중인 환경에서 응답자 또는 다른 사람들이 검토 할 수 있도록 전체 초안을 제공함으로써 수행 될 수 있습니다.

        Before the submission of the final report, a stakeholder check may be conducted by providing a complete draft copy for review by respondents or other persons in the setting being studied.


결과 기술

Writing the Findings


귀납적 분석의 결과를 보고 할 때, 요약 또는 최상위 카테고리는 소견으로 주요 카테고리로 사용되며, 특정 카테고리는 부제로 사용됩니다. 범주의 의미를 설명하기 위해 텍스트의 범주 및 적절한 인용문에 대한 자세한 설명을 포함하는 것이 좋습니다.

When reporting findings from inductive analysis, the summary or top-level categories are often used as main headings in the findings, with specific categories as subheadings. It is good practice to include detailed descriptions of categories and suitable quotations from the text to illustrate the meanings of the categories.

 


윌리엄스 (Williams)와 이리타 (Irurita) (1998)가 분류에 대한 핵심 정보를 기술하기 위해 사용한 순서는 질적 결과를보고하는 효과적인 방법이다. 그것은

The sequence used by Williams and Irurita (1998) to describe key information about the cat- egory is an effective style for reporting qualitative findings. It consists of

 


    •    카테고리의 라벨,

       a label for the category,

    •   범주의 의미에 대한 저자의 설명,

        the authors’ description of the meaning of the category, and

    •    카테고리의 의미를 정교화하고 카테고리에 코딩 된 텍스트의 유형을 보여주는 원시 텍스트의 인용.
       a quotation fromthe rawtext to elaborate the meaning of the category and to showthe type of text coded into the category.


요약

Summary


처음으로 질적분석을 시작하는 평가자는 종종 그런 분석을 수행하는 옵션과 전략의 어지러운 배열을 경험합니다. 이 논문에서 자세히 설명하는 일반적인 유도 접근법은 정성 분석을 수행하기위한 간단하고 nontechnical 방법을 찾는 평가자에게 옵션을 제공합니다.

Evaluators beginning qualitative analyses for the first time often experience a bewildering array of options and strategies for conducting such analyses. The general inductive approach, described in detail in this article, provides an option for those evaluators who seek a simple, nontechnical means to carry out qualitative analy- ses.






    A general inductive approach for analysis of qualitative evaluation data is described. The purposes for using an inductive approach are to (a) condense raw textual data into a brief, summary format; (b) establish clear links between the evaluation or research objectives and the summary findings derived from the raw data; and (c) develop a framework of the underlying structure of experiences or processes that are evident in the raw data. The general inductive approach provides an easily used and systematic set of procedures for analyzing qualitative data that can produce reliable and valid findings. Although the general inductive approach is not as strong as some other analytic strategies for theory or model development, it does provide a simple, straightforward approach for deriving findings in the context of focused evaluation questions. Many evaluators are likely to find using a general inductive approach less complicated than using other approaches to qualitative data analysis.


    왜 질적연구에서 이론을 사용하는가? (BMJ, 2008)

    QUALITATIVE RESEARCH

    Why use theories in qualitative research?

    Scott Reeves,1 Mathieu Albert,2 Ayelet Kuper,3 Brian David Hodges2




    이 시리즈의 이전 기사에서는 질적 연구에 사용 된 몇 가지 방법론을 다루었습니다. 또한 질적연구자는 연구 프로세스를 가이드하고 연구 결과를 밝히기 위하여 사회과학과 인문학에서 이끌어 낸 이론에 많이 의존한다. 이 글에서는 건강 영역에서 질적 연구자가 일반적으로 사용하는 세 가지 이론적 접근 방법 인 상호작용론, 현상학 및 비판이론의 역할과 사용에 대해 논의합니다.

    Previous articles in this series have addressed several methodologies used in qualitative research. Qualita- tive researchers also rely heavily on theories drawn from the social sciences and humanities to guide their research process and illuminate their findings. This article discusses the role and use of three theoretical approaches commonly used by qualitative researchers in health domains: interactionism, phenomenology, and critical theory.



    왜 이론이 유용합니까?

    Why is theory useful?


    이론은 사회가 작동하는 방식, 조직이 운영되는 방식, 사람들이 특정 방식으로 상호 작용하는 이유와 같이 고정 될 수없는 것에 대한 복잡하고 포괄적 인 개념을 이해하게 해준다. 이론은 연구자에게 복잡한 문제와 사회적 이슈를 바라보는 다양한 "렌즈"를 제공합니다. 또한 연구자가 데이터의 다양한 측면에 관심을 갖게 해주며, 분석을 수행 할 수있는 틀을 제공해준다.
    Theories provide complex and comprehensive con- ceptual understandings of things that cannot be pinned down: how societies work, how organisations operate, why people interact in certain ways. Theories give researchers different “lenses” through which to look at complicated problems and social issues, focusing their attention on different aspects of the data and providing a framework within which to conduct their analysis.


    예를 들어, 의료 병동에서 의사 간호사 상호 작용에 대한 연구에 있어서, 다양한 이론이 병원 및 병동 문화의 다양한 측면에 대한 통찰력을 제공 할 수 있습니다. 상자 1
    For example, to study doctor- nurse interactions on medical wards, various theories can provide insights into different aspects of hospital and ward cultures. Box 1




    질적 연구자들이 사용하는 이론의 예는?

    What are examples of theories used by qualitative researchers?


    현상학

    Phenomenology


    이 이론은 원래 Edmund Husserl이 개인이 일상 생활에서 사회 현상에 의미를 부여하는 방법을 설명하기 위해 개발되었습니다. 따라서 현상학의 역할은 "일인칭 관점에서 경험 한 의식의 본질"을 탐구하는 것이 었습니다. 현상학적 연구는 한 개인이 자신의 의미와 분류를 가지고 어떻게 세상을 이해하는지 탐구하는데 집중합니다. 이와 같이 현상학은 개인의 주관적인 "살아있는"경험에 대한 통찰력을 제공하는 설명을 제공하는 것을 목표로한다 .2) 따라서 현상 학적 연구는 wider한 설명을 생성하려고 시도하지 않는다. 오히려 그들의 관심은 특정 환경에서 개인을 설명하기 위한 연구를 하는 데 있습니다.

    This theory was originally developed by Edmund Husserl to explain how individuals give meanings to social phenomena in their everyday lives. The role of phenomenology was therefore to explore “the essence of consciousness as experienced from the first-person point of view.”1 Studies that draw upon this theoretical perspective concentrate on exploring how individuals make sense of the world in terms of the meanings and classifications they employ. As such, phenomenology aims to provide accounts that offer an insight into the subjective “lived” experience of individuals.2 Given the emphasis, phenomenological studies do not attempt to generate wider explanations; rather their focus is on providing research accounts for individuals in a specific setting.


    일반적으로 현상 학적 접근법을 사용하는 연구는 심층적 인 반 구조적 또는 비 구조적 인터뷰와 일기와 같은 개인 문서의 형태로 데이터를 수집합니다. 예를 들어, 포터 (Porter)와 동료들은 깊이있는 개인 면담을 사용하여 보육사에 관한 주거용 가정에서 생활하는 사람들의 의미를 이해했습니다.

    In general, studies that draw upon a phenomenolo- gical approach gather data in the form of in-depth semistructured or unstructured interviews and perso- nal documents such as diaries. For example, Porter and colleagues used in-depth individual interviews to understand the meanings people living in residential homes held about their caregivers,3


    현상학과 같은 개인 의식의 관점에서의 인간 경험에 대한 이해를 특권으로 하는 이론들은 독일 철학자 게오르그 빌헬름 프리드리히 헤겔 (Georg Wilhelm Friedrich Hegel)과 장 폴 사르트르 (Jean-Paul Sartre)와 같은 프랑스 실존 주의자들과의 관계를 공유한다. 그러나 현상학적 연구는 개별 경험에 대한 구체적이고 경험적인 초점의 결과이며, 이 철학적 오리 엔테이션 내의 미시적 수준 이론의 한 예이다.

    Theories that privilege understanding of human experience in terms of individual consciousness, such as phenomenology, share links to the work of the German philosopher Georg Wilhelm Friedrich Hegel and French existenti- alists such as Jean-Paul Sartre. However, phenomen- ology, as a result of its specific, empirical focus on the individual experience, is an example of a micro level theory within this philosophical orientation.


    상호작용주의

    Interactionism



    상호 작용주의는 개인의 지각을 이해하는 현상학적 연구와는 달리 집단적 (집단적 또는 팀적) 행동과 지각을 탐구하는 데 집중한다. 조지 미드 (George Mead)가 처음 개발 한 이 접근법은, 일상적 만남에서 사용하는 기호, 특히 언어를 검사하여 개인의 상호 작용을 이해하기 위한 것입니다. 특히, 상호작용주의는 사회적 행동, 상호 작용 및 반응을 통해 개인이 의미를 어떻게 만들고 개조했는지 이해하려는 접근법입니다. 

    In contrast to the phenomenological focus on under- standing individual perceptions, interactionism con- centrates on exploring collective (group or team) behaviours and perceptions. Originally developed by George Mead, this approach aimed to provide an understanding of individuals’ interactions by examin- ing the symbols, especially the language, they use in their daily encounters. In particular, interactionism is an approachthat aims to elicit an understanding of how meaning is created and modified by individuals through their social actions, interactions, and reactions. 


    허버트 블루머 (Herbert Blumer)는 상호 작용주의의 세 가지 가정을 다음과 같이 설명했다 : 

      • 인간은 이것들이 가지고있는 의미에 기초하여 사물을 향해 행동한다

      • 그러한 것들의 의미는 자기 동료들과의 사회적 상호 작용에서 파생되고 발생한다

      • 이 의미는 그 사람이 만나는 것을 다루는 사람이 사용하는 해석 과정에서 다루어지고 수정된다

    Herbert Blumer outlined interactionism’s three guid- ing assumptions: 

      • that human beings act towards things on the basis of the meanings that these things have for them; 

      • that the meaning of such things is derived from, and arises out of, social interaction with one’s fellows; 

      • that these meanings are handled in, and modified through, an interpretative process used by the personin dealing with the things he or she encounters.5


    사회적 상호 작용의 과정을 이해하기 위하여, 상호작용론적 연구는 사회 행동의 이러한 요소를 포착하기 위하여 참여자 관찰이나 인터뷰와 같은 데이터 수집 방법을 사용합니다.

    Given the emphasis on understanding the processes of social interactions, interactionist research studies often draw on methods of data collection such as participant observation and interviews to capture these elements of social action.


    몇몇 이론은 사회적 또는 집단적 구성으로서의 개념적 실재를 개념화하고 있으며, 이들은 에밀 뒤르켐이나 레프 비고츠키와 미국인 피터 버거 (Peter Berger)와 토마스 럭크만 (Thomas Luckman)과 같은 유럽 작가들의 작품에 뿌리를두고있다. 상호 작용주의는 개인적인 경험을 넘어서려고 시도하지만, 사회적 구성주의자 내에서 지역 시스템과 맥락 수준의 중급 초점을 유지한다.

    Several theories conceptualise reality as a social or collective construction, and these have roots in the work of European writers such as Émile Durkheim and Lev Vygotsky and of Americans Peter Berger and Thomas Luckman. Interactionism attempts to general- ise beyond the individual experience but retains a mid- range focus on local systems and contexts within this broader social constructivist school.



    비판 이론

    Critical theory


    비판이론은 사회 전체를 비판하고 변화시키는 방향으로 향하고있다. 생산과 자본주의에 관한 맑스의 연구에 뿌리를 둔 이 이론은 1930 년대 프랑크푸르트 대학의 사회 연구 연구소에서 더 발전되었다. 최근에이 전통은 피에르 부르디외 (Pierre Bourdieu)와 미셸 푸코 (Michel Foucault)와 같은 사회 과학자들에 의해 계속 이어져 왔습니다.


    Critical theory is oriented towards critiquing and changing society as a whole.8 With roots in the work of Marx on production and capitalism, it was further developed at the Institute for Social Research of the University of Frankfurt in the 1930s. More recently, this tradition has been carried on by social scientists such as Pierre Bourdieu and Michel Foucault.


    비판이론가들은 일반적으로 사회 및 학교, 병원, 정부 기관과 같은 기관에서의 지식 구축과 권력 조직이 어떻게 특정 개인, 집단 또는 관점의 종속이나 억압으로 이어지는지를 연구합니다. 비판적 이론가들은 인종, 사회 경제적 지위, 종교 및성에 관한 평등과 정의와 관련하여 공평과 정의에 관심을가집니다 .9)Muzzin은 건강 전문가의 학습에 대한 비판적 이론을 사용하여 기업의 이익을 반영함으로써 성별과 계층의 불평등을 재현했습니다. 대학이 "학문적 자본주의"를 개발함에 따라 계급 불평등을 낳았다.


    Critical theorists study how the construction of knowledge and the organisation of power in society generally, and in institutions such as schools, hospitals, and governments specifically, can lead to the subjuga- tion or oppression of particular individuals, groups, or perspectives. Critical theorists are concerned with equity and justice in relation to issues such as race, socioeconomic status, religion, and sexuality.9 Muzzin used critical theory in her study of howeducation of health professionals has come to reflect corporate interests, thereby reprodu- cing gender and class inequity, as universities devel- oped “academic capitalism.”11


    비판적 이론은 하나의 특정 방법론에 묶여 있지 않으며 마이크로 (개인), 매크로 (로컬 시스템과 맥락) 또는 매크로 (사회적) 수준에서 적용될 수 있습니다.


    Critical theory is not tied to one specific methodol- ogyandcanbe appliedat the micro(individual), macro (local systems and contexts), or macro (societal) level.






    그 외 다른 이론들

    Aren’t there a lot more theories?


    Box 2는 의약 관련 분야의 질적 연구 연구에 사용 된 다른 이론의 몇 가지 예를 제공한다.

    Box 2 provides some further examples of other theories that have been used in qualitative research studies in domains related to medicine.


    머튼 (Merton)의 연구에 따르면, 이론들은 특정 연구 문제를 다루는 데 도움이 될지에 관해 초보자 연구자를 안내하는 분류법으로 그룹화 될 수 있습니다. 

    • 표에서 볼 수 있듯이 거대하거나 "거시적"이론은 비교적 구체적이지 않으며 상대적으로 추상적 인 개념으로 구성됩니다. 폭 넓은 본성의 결과로, 이러한 유형의 이론은 경험적으로 조작 가능하고 검증하기가 어렵습니다. 

    • 중급 이론은 특정 현상을 고려하고 제한된 범위의 상황과 관련하여 소수의 개념을 포함합니다. 

    • "마이크로"또는 실무 이론은 가장 좁은 범위의 관심을 가지고 특정 현상과 맥락에 초점을 맞 춥니 다.

    Following work by Merton, such theories can usefully be grouped into a taxonomy to guide novice researchers as to which theories are likely to be helpful in dealing with a particular research problem(table). 12 

    • As shown in the table, grand or “macro” theories are non-specific and constructed from relatively abstract concepts. As a result of their wide ranging nature, these types of theories are difficult to operationalise and verify on an empirical basis. 

    • Mid-range theories consider specific phenomena and involve a small number of concepts relating to a restricted range of contexts. 

    • “Micro” or practice theories have the narrowest range of interest and are focused on specific phenomena and contexts.




    건강 정책과 환자 치료에 이론이 중요한 이유는 무엇입니까?

    Why is theory important to health policy and patient care?


    위에 설명 된 것과 같은 이론은 건강 정책과 환자 치료의 전달에 중요합니다. 즉, 그들이 자극한 통찰력이 실무자에게 일상 생활에서 직면하는 상황을 폭넓게 이해하는 연구를 가능하게 하기 때문입니다. 이론을 활용함으로써 연구자는 가시적인 표면 아래에서 발생하는 프로세스를 이해할 수 있으며, 그것을 해석하여 정책 결정자와 건강 관리 제공자에게 제공할 수 있다. 또한 underlying (generating) principle에 대한 지식을 개발할 수있게합니다.

    Theories such as those described above are important to health policy and the delivery of patient care, as the insights they provoke enable research that provides practitioners with a broader understanding of the situations they face in their daily working lives. The use of theory makes it possible for researchers to under- stand, and to translate for policymakers and healthcare providers, the processes that occur beneath the visible surface and so to develop knowledge of underlying (generating) principles.


    훌륭한 이론 기반 연구는 즉각적이고 통찰력이 있으며 실제 적용 가능합니다. 커트 루인 (Kurt Lewin)의 말에 따르면, "좋은 이론만큼 실용적인 것은 없다."

    Good theory based research is immediate, insightful, and applicable in practice; in the words of Kurt Lewin, “there’s nothing so practical good theory.”13









     2008 Aug 7;337:a949. doi: 10.1136/bmj.a949.

    Why use theories in qualitative research?

    Author information

    1
    Department of Psychiatry, Li Ka Shing Knowledge Institute, Centre for Faculty Development, and Wilson Centre for Research in Education, University of Toronto, Toronto, Ontario, Canada. scott.reeves@utoronto.ca
    PMID:
     
    18687730


    비판적으로 질적연구 평가하기(BMJ, 2008)

    QUALITATIVE RESEARCH

    Critically appraising qualitative research

    Ayelet Kuper,1 Lorelei Lingard,2 Wendy Levinson3



    이 논문에서는 질적 연구를 읽을 때 질문 할 여섯 가지 핵심 질문을 제공함으로써 질적 연구 방법을 사용하는 연구를 평가하는 방법에 대한 독자를위한 지침을 제공합니다 (상자 1). 그러나 질적 연구에 대한 철저한 평가는 해석적인 행위이며 채점 시스템의 단순한 적용보다는 정보에 입각 한 반성적 사고가 필요합니다.

    In this article we offer guidance for readers on how to assess a study that uses qualitative research methods by providing six key questions to ask when reading qualitative research (box 1). However, the thorough assessment of qualitative research is an interpretive act and requires informed reflective thought rather than the simple application of a scoring system. 




    연구에 사용 된 표본이 연구 질문에 적합 했습니까?

    Was the sample used in the study appropriate to its research question?


    질적 연구에서 중요한 결정 중 하나는 표본에 포함시킬 대상 또는 대상 (인터뷰 대상, 관찰 대상, 분석 할 텍스트)입니다. 질적 연구가 경험과 의미 구축에 기초하고 있으며, 특정 연구 문제와 결합되어 있다는 것을 이해하고 샘플링 과정을 진행해야 한다.

    One of the critical decisions in a qualitative study is whom or what to include in the sample—whom to interview, whom to observe, what texts to analyse. An understanding that qualitative research is based in experience and in the construction of meaning, combined with the specific research question, should guide the sampling process.


    표본은 현상의 여러면을 포착 할 수있을 정도로 충분히 넓어야하며 표본에 대한 제한은 명확하게 정당화되어야한다. 경험과 의미에 대한 질문에 대한 답변은 사람들의 사회적 소속 (문화, 종교, 사회 경제적 그룹, 직업, 연구자가 연구 표본을 선택할 때 이러한 맥락을 인정하는 것도 중요하다.

    The sample should be broad enough to capture the many facets of a phenomenon,and limitations to the sample should be clearly justified.Since the answers to questions of experience and meaning also relate to people’s social affiliations(culture, religion, socioeconomic group, profession,etc), it is also important that the researcher acknowl-edges these contexts in the selection of a study sample



    정량적 접근법과는 대조적으로, 성적 연구는 일반적으로 미리 결정된 표본 크기를 가지고 있지 않습니다. 샘플링은 연구중인 현상에 대한 철저한 이해가 끝나면 끝납니다.이 시점은 종종 포화라고합니다.
    In contrast with quantitative approaches, qualitative studies do not usually have predetermined sample sizes. Sampling stops when a thorough understanding of the phenomenon under study has been reached, an end point that is often called saturation. 


    따라서 포화 상태로 샘플링하려면 새로운 데이터가 수집되는 동안 데이터 분석이 이루어져야합니다. 여러 샘플링 방법을 사용하여 연구에서 얻은 이해를 넓힐 수 있습니다 (상자 2).

    Thus, to sample to saturation, data analysis has to happen while new data are still being collected. Multiple sampling methods may be used to broaden the understanding achieved in a study (box 2).



    데이터가 적절하게 수집 되었습니까?

    Were the data collected appropriately?



    특정 연구 문제에 사용하기로 선택한 방법의 적합성은, 이상적으로는 연구 문헌을 참고하여 정당화되어야 합니다. 방법이 체계적으로 체계적으로 사용 되었음이 분명해야합니다. 호손 효과 (Hawthorne effect)와 같은 특정한 방법 론적 문제에주의를 기울여야한다. 관찰자의 존재가 참가자의 행동에 영향을 줄 수있다.

    The appropriateness of the method(s) selected to use for the specific research question should be justified, ideally with reference to the research literature. It should be clear that methods were used systematically and in an organised manner. Attention should be paid to specific methodological challenges such as the Hawthorne effect,1 whereby the presence of an observer may influence participants’ behaviours.



    두터운 기술 (thick description)이라는 기술을 사용함으로써 질적 연구는 종종 독자가 마치 연구 환경에 있었던 것과 같은 감각을 가질 수 있을 만큼의 자세한 문맥 정보를 포함시키는 것을 목표로합니다.

    By using a techni- que called thick description, qualitative studies often aim to include enough contextual information to provide readers with a sense of what it was like to have been in the research setting.



    자주 사용되는 또 다른 기법은 포괄적인 결과 집합을 생성하기 위하여 다양한 연구방법이나 관점을 사용하는 삼각 측량입니다. 다양한 상황에서 현상을 검사하기 위해 다양한 데이터 소스를 사용하여 데이터를 삼각 측량 할 수 있습니다. 또한 연구 방법을 삼각측량함으로써 다양한 유형의 데이터 (예 : 인터뷰, 포커스 그룹, 관찰)를 수집하여 현상에 대한 통찰력을 높일 수 있습니다.

    Another technique that is often used is triangulation, with which a researcher uses multiple methods or perspectives to help produce a more comprehensive set of findings. A study can triangulate data, using different sources of data to examine a phenomenon in different contexts ; it can also triangulate methods, collecting different types of data (for example, interviews, focus groups, observations) to increase insight into a phenomenon.


    또 다른 흔히 사용되는 기술은 iterative process의 사용으로, 데이터 분석을 데이터 수집과 동시적으로 진행하여, 데이터 수집에 inform하는 것입니다. 예를 들어, 특정 사회적 집단 간의 약물 고착에 대한 인터뷰 연구의 동시 분석은 조기 참여자가 지역 약사의 노력을 배척하는 것처럼 보일 수 있습니다. 인터뷰 스크립트는이 현상을 탐구하는 것을 포함하도록 변경 될 수 있습니다. 정량적 연구에서 안정된 (자료수집)과정과 측정을 중요시하는 전통과는 달리, 질적연구에서의 iterative process는 독특한 질적 전통을 구성한다.

    Another common technique is the use of an iterative process, whereby concurrent data analysis is used to inform data collection. For example, concurrent analysis of an interview study about lack of adherence to medications among a particular social group might show that early participants seem to be dismissive of the efforts of their local pharmacists; the interview script might then be changed to include an exploration of this phenomenon. The iterative process constitutes a distinctive qualitative tradition, in contrast to the tradition of stable processes and measures in quantita- tive studies.



    데이터가 적절하게 분석 되었습니까?

    Were the data analysed appropriately?


    정 성적 연구에는 체계적인 형태의 데이터 분석에 대한 명확한 설명이 포함되어야합니다. 많은 legitimate한 분석 접근법이 존재합니다. 어떤 방법이 사용되었는지에 관계없이 연구는 무엇을 하였고, 어떻게, 누구에 의해서 하였는가를 보고해야 한다. 

    • 반복적인 프로세스가 사용 되었다면 명확하게 기술되어야한다. 

    • 한 명 이상의 연구원이 데이터를 분석 한 경우 (사용 된 방법에 따라) 분석자 간 차이를 어떻게 조율하였는지가 분명해야합니다. 

    • 많은 연구에서 member check이라는 기술을 사용합니다. 연구원은 연구 결과의 전부 또는 일부를 참가자에게 보여주고 경험과 일치하는지 확인합니다 .2 

    • 연구에서는 audit trail을 설명 할 수도 있습니다. audit trail에는 연구원 분석 노트, 연구자 회의록 및 연구 프로세스를 수행하는 데 사용할 수있는 기타 자료가 포함됩니다.

    Qualitative studies should include a clear description of a systematic form of data analysis. Many legitimate analytical approaches exist; regardless of which is used, the study should report what was done, how, and by whom. If an iterative process was used, it should be clearly delineated. If more than one researcher analysed the data (which depends on the methodology used) it should be clear how differences between analyses were negotiated. Many studies make refer- ence to a technique called member checking, wherein the researcher shows all or part of the study’s findings to participants to determine if they are in accord with their experiences.2 Studies may also describe an audit trail, which might include researchers’ analysis notes, minutes of researchers’ meetings, and other materials that could be used to follow the research process.


    이 연구 결과를 내 자신의 상황으로 옮길 수 있습니까?

    Can I transfer the results of this study to my own setting?


    연구 결과가 기존 문헌과 얼마나 resonance하는지를 논의해야하지만, transferability를 평가하는 책임은 독자들에게 맡겨져 있습니다. 독자는 연구의 setting이 자신의 상황에 transferable할 수있을 정도로 충분히 유사한지 결정해야합니다 문맥. 그렇게함으로써 독자는 연구 결과가 독자에게 의미가있는 범위 내에서 resonance을 찾습니다.

    Though the study should discuss the extent of the findings’ resonance with the published literature,3 muchof the onus of assessing transferability is left to readers, who must decide if the setting of the study is sufficiently similar for its results to be transferable to their own context. In doing so, the reader looks for resonance—the extent that research findings have meaning for the reader.


    Transferability은 연구의 고찰 부분에서 여러 상황과 관련된 이론적 이해를 어떻게 발전시키는지를 기술함으로써 향상될 수 있다. 우리는 이 시리즈에서 질적 연구에서의 이론의 중요성에 대해 설명해 왔으며, 질적 연구의 퀄리티를 보여주는 중요 지표에는 지식적 유용성 뿐만 아니라 이론적 이해를 발전 시키는데 기여하는 것에 있다고 믿는 사람들이 많습니다. 이에 대한 논쟁이 계속되고 있지만, 실용 주의적 관점에서 보건 전문 분야의 대부분의 질적연구저널은 practice와 관련된 결과를 강조한다. 이론적 토론은 다른 분야의 저널에서 발표되는 경향이있다.

    Transferability may be helped by the study’s discussion of how its results advance theoretical understandings that are relevant to multiple situations. We have explained else- where in this series the importance of theory in qualitative research, and there are many who believe that a key indicator of quality in qualitative research is its contribution to advancing theoretical understanding as well as useful knowledge. This debate continues in the literature,4 but from a pragmatic perspective most qualitative studies in health professions journals emphasise results that relate to practice; theoretical discussions tend to be published elsewhere.


    이 연구가 반사성Reflexivity을 포함하여 잠재적 인 윤리적 문제를 적절하게 다루고 있습니까?

    Does the study adequately address potential ethical issues, including reflexivity?


    반사성Reflexivity은 질적 패러다임에서 특히 중요합니다. 반사성이란 연구원이 연구 과정에 미치는 영향을 인식하는 것을 의미합니다. 특히 연구원이 보건의료전문가 또는 교육자이고 참가자가 환자, 고객 또는 학생 인 경우 연구원과 연구 참가자 간의 잠재적 인 권력 관계가 있을 수 있다 .5 또한 연구원의 성별, 인종, 직업 및 사회적 지위는 연구 질문 자체 및 데이터 수집 방법과 같은 연구 내에서의 선택에 영향을 미친다.

    Reflexivity is particularly important within the quali- tative paradigm. Reflexivity refers to recognition of the influence a researcher brings to the research process. It highlights potential power relationships between the researcher and research participants that might shape the data being collected, particularly when the researcher is a healthcare professional or educator and the participant is a patient, client, or student.5 It also acknowledges howa researcher’s gender, ethnic back- ground, profession, and social status influence the choices made within the study, such as the research question itself and the methods of data collection.67


    질적 연구의 윤리는 단순히 규범적 가이드라인이나 연구 윤리위원회에 그치지 않는다. 연구참여자의 경험을 수집하고 그러한 경험을 public scrutiny에 개방하는 것에 따르는 윤리적인 결과의 탐구까지 확장되어야합니다 (그러나 연구보고서 작성시 이에 대한 자세한 논의는 저널의 단어 수 제한에 영향을 받을 수도 있다) .8 데이터가 경험이나 인식에 대한 개인적인 보고서를 구성 할 때 기밀성과 익명성의 문제는 상당히 복잡해 질 수 있습니다. 참가자들을 external scrutiny로부터 보호해야 할 뿐만 아니라 참가자들이 개인적인 이야기를 공유하는 잠재적인 어려움을 경감시키는 메커니즘까지를 포함하여 harm을 최소화 할 필요가 있다

    Ethics in qualitative research should extend beyond prescriptive guidelines and research ethics boards into a thorough exploration of the ethical consequences of collecting personal experiences and opening those experiences to public scrutiny (a detailed discussion of this problem within a research report may, however, be limited by the practicalities of word count limitations).8 Issues of confidentiality and anonymity can become quite complex when data constitute personal reports of experience or perception; the need to minimise harm may involve not only protection from external scrutiny but also mechanisms to mitigate potential distress to participants from sharing their personal stories.



    결론 : 연구자들이 분명히 한 것은 무엇입니까?

    In conclusion: is what the researchers did clear?


    질적 연구 기사 (box1 참조)를 읽을 때 독자들에게 질문하게하는 핵심 질문 목록은 finite checklist가 아니라 초보자를 위한 복잡한 주제에 대한 안내서이다.

    The list of key questions for beginning readers to ask when reading qualitative research articles (see box1) is intended not as a finite checklist, but rather as a beginner’s guide to a complex topic.








     2008 Aug 7;337:a1035. doi: 10.1136/bmj.a1035.

    Critically appraising qualitative research.

    Author information

    1
    Department of Medicine, Sunnybrook Health Sciences Centre, and Wilson Centre for Research in Education, University of Toronto, 2075 Bayview Avenue, Room HG 08, Toronto, ON, Canada M4N 3M5. ayelet94@post.harvard.edu
    PMID:
     
    18687726


    질적연구를 읽고 평가하는 기준에 대한 개요(BMJ, 2008)

    QUALITATIVE RESEARCH

    An introduction to reading and appraising qualitative research

    Ayelet Kuper,1 Scott Reeves,2 Wendy Levinson1



    의학 저널에 게재 된 질적 연구 기사의 수는 지난 몇 년 동안 크게 증가했습니다 .1 그러나 여전히 여러 의료전문직에서는 연구의 성격과 용도에 대한 이해가 크게 부족하다는 것에 대해 강한 우려를 가지고 있습니다 .167

    The number of qualitative research articles published in medical journals has increased substantially over the past few years.1 None the less, healthcare professionals still have strong concerns about a wide-spread lack of understanding of the nature and uses ofsuch research.167


    이러한 지식 격차는 질적 또는 "혼합 된"(양적 및 질적 결합 된) 방법을 사용하는 논문이 늘어나는 가운데, 저널이나 연구비 지원 기관으로부터 이러한 논문을 검토하도록 요청받는 의사에게 특히 문제가 될 수 있습니다. 질적연구방법에 대한 이해가 부족하기 때문에 학술지가 잘 수행 된 연구를 reject하는 결과로 이어질 수있다 .10 유사하게, 반대로 리뷰어들이 지식이 부족할 경우에는 방법론적 퀄리티가 낮은 논문의 출판을 초래할 수있다. 9

    This knowledge gap can be particularly problematic for a physician who is asked to review, for a journal or a grant agency, one of the increasing numbers of papers that makes use of qualitative or “mixed” (combined quantitative and qualitative) methods. It can lead to refusals by journals to publish well conducted research because of a lack of understanding of the methods involved.10 However, this same knowledge deficit among reviewers can also result in the acceptance and publication of qualitative articles that are methodo- logically poor.9


    그러나 일상적으로 의학 저널을 읽는 의사는 방법론적으로 straightforward한 정량적 연구를 비판적으로 평가할 수 있지만 (더 복잡한 연구를 평가할 수있는 우수한 출판물에 대한 액세스 권한이 있음) 질적 연구를 평가하는 데 필요한 자원과 교육에 대한 접근성은 낮습니다.

    However, although physicians who routinely read medical journals are increasingly able to critically appraise methodologically straightforward quantitative studies (and have access to excellent published resources1112 for evaluating more complex studies), they have less access to the resources and training needed to appraise qualitative work. 


    그러나 임상 의학 문헌에서 이러한 차이를 보완하기위한 몇 가지 시도가 있었다 .13-16 그러나 그 논문들은 질적 방법론을 단순화하고, homogeneous한 것들로 취급하였으며, 질적연구의 역사적 전통과 이론적 근거에 거의 주의를 기울이지 않았다. 사실 "질적 방법"은 이론적 토대와 지식에 대한 다양한 사고 방식을 가진 이질적 집단의 방법론의 포괄적 인 용어입니다. 다른 질적 방법론은 다른 종류의 질문을하는 데 유용합니다.

    Several attempts have been made to fill this gapinthe clinical medical literature.13-16 These articles, however, simplify qualitative methodology for the medical reader and treat it as a homogeneous entity, giving little attention to its historical traditions and theoretical bases. In fact, “qualitative methods” is an umbrella termfor a heterogeneous groupof methodologies with different theoretical underpinnings and different ways of thinking about knowledge. Different qualitative methodologies are useful for asking different sorts of questions.


    이 논문은 독자에게 몇 가지 주요 질적 연구 접근법을 소개 할 시리즈 중 첫 번째 기사입니다. 이러한 접근법은 질적 연구자가 사용하는 도구, 도구를 분석하는 데 사용하는 방법, 해당 방법론에 대한 이론 및 지식 자체에 대한 4 가지 수준에서 다를 수 있습니다. 우리는 명확성을 위해 방법론과 이론을 개별적으로 검토 할 것이지만, 질적 연구자가 방법 론적 접근의 이론적 근거에 주의를 기울임으로써 이론과 방법론을 선택하는 것이 중요하다는 것을 인식하는 것이 중요합니다.

    This article is the first in a series that will introduce several major qualitative research approaches to read- ers. These approaches may differ at four different levels: in the tools that qualitative researchers use, in the methodologies they use to analyse those tools, in the theories that inform those methodologies, and in their beliefs about knowledge itself. Although we will examine methodologies and theories separately for the sake of clarity, it is important to realise that qualitative researchers pay attention to the theoretical bases of their methodological approaches, and so their choices of which theory and which methodologies to use are related.


    질적연구는 무엇이 다른가?

    What’s so different about qualitative research? 


    일반적으로 양적 연구는 "무엇?" "얼마나?"와 "왜?"라는 질문에 대답하는 데 중점을 둡니다. 질적 연구는 "왜?"와 "어떻게?"라는 질문에 대답하는 데 초점을 맞추고 있습니다.

    In general, quantitative research focuses on answering the ques- tions “what?”“how much?” and “why?” whereas qualitative research focuses on answering the questions “why?”and“how?”


    Box 1은 질적 연구 방법을 사용한 연구에서 조사 된 최근 질문의 예를 포함하고있다.

    Box 1 contains recent examples of questions examined in studies using qualitative research methods.



    건강 과학 분야의 많은 양적 연구자들은 발견하고자 하는 절대적 진실, 즉 "현실"이 있다는 가정하에 연구하고 있습니다. 그러나 지식에 대한이 객관 주의자들의 믿음의 관련성은 19 세기 말 이래 도전의 대상이되어왔다. 이러한 도전 중 많은 것은 개인 및 집단 행동과 같은 사회적 현상에 대한 연구에서 비롯된 것입니다. 대부분의 질적 연구자들은 오늘날 우리가 인식하는 현실이 우리의 사회적, 역사적, 개별적 맥락에 의해 구성된다고 주장하며, 이와 같은 지식에 대한 다른 믿음을 "구성주의"라고 합니다.

    Many quantitative researchers in the health sciences work from the assumption that there is an absolute truth, a “reality,” which they are trying to discover. However, the relevance of this objectivist belief about knowledge has been the subject of challenges since the end of the 19th century. Many of these challenges have come from studies of social phenomena, such as individual and group behaviour. Most qualitative researchers today share a different belief about knowledge, called “constructi- vism,” which holds that the reality we perceive is constructed by our social, historical, and individual contexts.



    표 2에서 볼 수 있듯이, 구성주의는 여러 이론을 포괄합니다. 이 이론들은 'how much of someone’s perception of reality results from aspects of that individual and how much from aspects of the society that surrounds him or her'의 측면에서 다양하다. 

    어떤 이론들 (상호 작용주의와 같은)은 또한 한 집단의 사람들에게 하나의 공유 된 실체가 있다고 가정하는 반면에 (포스트 모더니즘과 같은) 다른 사람들은 개인 들간의 차이 때문에 여러 개의 실재가 동시에 존재한다고 가정한다. 그러나 이러한 모든 이론적 틀 안에서 개인은 자신의 행동과 그것이 존재하는 사회적 상황에 대한 의미를 만들고 협상하며 해석한다. 이것은 일반적으로 우리 주변의 실제 물리적 세계가 없다는lack 것을 의미하지 않으며, 단지 우리의 사회적 상황에 따라 그 세계에 대한 우리의 해석이 다를 수 있다는 것입니다.

    As table 2 shows, constructivism encom- passes many theories, which differ on such matters as how much of someone’s perception of reality results from aspects of that individual and how much from aspects of the society that surrounds himor her. Some theories (such as interactionism) also assume that there is one shared reality for a group of people, while others (such as postmodernism) assume that multiple realities exist in parallel because of the differences between individuals. However, in all of these theoretical frame- works, individuals create, negotiate, and interpret meanings for their actions and for the social situations in which they exist. This does not usually imply the lack of the real physical world around us, just that our interpretations of that world can differ depending on our social contexts.



    질적연구는 어떻게 하는가?

    How does qualitative research work?


    질적 연구는 개인과 그룹에서 이야기하고, 행동을 관찰하며, 일기, 회의록, 사진과 같은 유물을 분석하고 그들이 기반으로하는 다양한 상황을 고려하여 개인 및 그룹의 in-depth accounts를 생성하는 것을 목표로 합니다. 질적 연구자들은 주로 인터뷰 (반 구조화 또는 비 구조화), 포커스 그룹, 관찰 또는 문서 및 기타 작성물에서 데이터를 수집합니다. 그들의 데이터 분석은 정량적 연구자가 선호하는 더 연역적이고 가설 중심의 접근법보다는 데이터에서 의미가 나오도록하는 귀납적 성격이 강하다.

    Qualitative research aims to generate in-depth accounts from individuals and groups by talking with them, watching their behaviour, and analysing their artefacts (such as diaries, meeting minutes, photographs) and taking into account the different contexts in which they are based. Qualitative researchers primarily gather data from interviews (semistructured or unstructured), focus groups, observations, or documents and other written artefacts. Their data analysis is largely inductive, allowing meaning to emerge from the data, rather than the more deductive, hypothesis centred approach favoured by quantitative researchers.


    질적 연구자들의 핵심 관심사는 사람들이 살아가는 맥락을 이해하는 것입니다. 질적 연구자들은 자신의 견해와 신념이 참여자와의 상호 작용에 어떻게 영향을 미칠 수 있는지를 이해하기 위해서는 자신의 context을 파악할 필요가있다. (이러한 과정을 스스로를 situating한다 라고 부른다)

    Understanding the context in which people live is a central concern for qualitative researchers. Qualitative researchers need to identify their own contexts so that they understand how their own views and beliefs may influence the interactions they have with their partici- pants (a process often referred to as “situating” themselves).


    질적연구는 연구자의 관점과 연구 참여자의 독특한 견해에 늘 직접적으로 영향을 받는다. 이러한 영향은 질적 논문에서 분명하게 제시되어야 한다. 이것은 양적 세계가 "편견"이라고 부르는 것과는 분명히 다르다. 왜냐하면 편견이라는 용어는 진정한 현실true reality이 존재하며, 연구자들의 관점이 진정한 현실을 보는 것을 방해한다고 암시하기 때문이다.

    invariably and directly influenced by the researchers’ perspectives and by the unique perspec- tives of their research participants. This influence should be made explicit in qualitative research papers. It is distinctly different from what the quantitative world would call “bias,” because the term bias implies that there is a true reality that the researchers’ perspectives are hindering them from seeing.


    대조적으로 질적 연구자들은 일반적으로 그런 "현실"이 구성되는 것construction이라고 믿는다. 질적 패러다임에서 목표는 정확하게 다른 관점을 이해하는 것이지, 지우는 것이 아닙니다.

    Qualitative researchers, in contrast, generally believe that such “reality” is a construction. In the qualitative paradigm, the goal is precisely to under- stand, not erase, differing perspectives.


    연구자의 관점을 정립하는 과정은 독자가 그러한 견해가 연구에 미치는 효과를 스스로 결정할 수 있게 해줍니다. 질적 인 연구의 결과는 또한 양적 연구의 결과와 같은 방식으로 일반화 될 수 없다. 그러나 다른 상황으로 전환transferable 할 수 있으며 독자는 자신의 설정에 대한 적용 가능성을 평가할 수 있습니다.

    The process of situating the researcher’s viewpoint allows readers to decide for themselves the effect such perspectives might have had on the research. The findings of a qualitative study are also not intended to be generalisable in the same way as the results of a quantitative study. They may, however, be transferable to other contexts, and readers can assess their applicability to their own settings.


    Conclusions







     2008 Aug 7;337:a288. doi: 10.1136/bmj.a288.

    An introduction to reading and appraising qualitative research.

    Author information

    1
    Department of Medicine, Sunnybrook Health Sciences Centre, University of Toronto, 2075 Bayview Avenue, Toronto, ON, Canada M4N 3M5. ayelet94@post.harvard.edu
    PMID:

     

    18687727





    의과대학의 교수개발: 진화중인 분야(Teaching and Teacher Education, 2007)

    Faculty development in medicine: A field in evolution

    Kelley M. Skeff, Georgette A. Stratos, Jane F.S. Mount






    1. 문헌 고찰

    1. Literature reviews


    1997 년에 Skeff et al. (1997a, b)는 임상교사를 위한 교수 개발에 관한 문헌을 검토했다. 저자들은 지역적, 지역적, 국가적 접근을 포함하여 다양한 방법이 개발되었음을 문서화했다. 그러나 논문은 참여를 방해하는 몇 가지 장벽이 계속되고 있으며, 종종 참여의 장애요인이 참여의 이유를 능가한다고 지적했다.

    In 1997, Skeff et al. (1997a, b) reviewed the literature on faculty development for clinical tea- chers. The authors documented that a wide variety of available methods had been developed, including local, regional, and national approaches. However, the articles also pointed out that several barriers were continuing to impede participation, often outweighing the rationale for faculty involve- ment.


    2000 년에 Steinert는 교수개발 분야의 성공과 과제을 검토하고 '새로운 천년기'에서이 분야의 향후 방향을 제시했습니다. 이전 강의를 요약하면 Steinert는 교수 개발을 기관의 문화로서 통합하고, 성인 학습 원칙을 활용하고, 다양한 교수 개발 접근법을 통해서 real needs에 부응할 필요성을 강조했다.

    In 2000, Steinert reviewed the challenges and successes of the field of faculty development, and suggested future directions for the field in ‘‘the new millennium.’’ In summarising prior lessons, Steinert underscored the need to integrate faculty develop- ment within an institution’s culture, capitalise on adult learning principles, and respond to real needs by offering diverse faculty development approaches.


    2003 년에 Irby와 Wilkerson은 의학 교육에서 일어난 변화를 조사하여 다양한 영향력있는 '의료환경의 변화트렌드'를 조명했다. 

    • (1) managed care와 교육 사명을 탈환 할 필요

    • (2) 다 분야의 관점과 통합 교육 구조의 필요성; 

    • (3) 학습, 기술 및 교육 혁신에 대한 새로운 과학; 

    • (4) 건강과 질병에 대한 견해와 반응이 빠른 교과 과정의 필요성, 

    • (5) 책임 성 및 새로운 평가 테크놀로지


    저자들은 의학 교육자 아카데미, 선교 기반 관리, 교수 개발 프로그램, 커리큘럼 목표에 대한 다 분야의 견해, 통합 커리큘럼, 소그룹에서의 증가와 같은  사례 기반 학습, 학습 공동체, 교육 기술 발전, 통합 교과 과정 주제, 교육 블록에 새로운 주제 삽입, 지역 사회 기반 교육, 객관적인 구조 임상 시험, 임상 시험 연습, 시뮬레이터, 포괄적 인 평가 및 개별 학습 계획 .


    In 2003, Irby and Wilkerson examined the changes occurring in medical education and high- lighted a variety of influential ‘‘environmental trends,’’ including 

    • (1) managed care and the need to recapture the educational mission; 

    • (2) multi- disciplinary perspectives and the need for integra- tive educational structures; 

    • (3) the new science of learning, technology, and instructional innovations; 

    • (4) shifting views of health and disease and need for a responsive curriculum, and 

    • (5) accountability and new assessment technologies. 

    또한 저자들은 이 트렌드와 관련된 15 가지 교육 혁신에 관해 논의했습니다.

    The authors went on to discuss 15 educational innovations which they related to those trends: 

    1. academies of medical educators, 

    2. mission-based management, 

    3. faculty de- velopment programmes, 

    4. multi-disciplinary perspec- tives on curriculum objectives, 

    5. integrative curricula, 

    6. increase in small group and case-based learning, 

    7. learning communities, 

    8. advances in instructional technology, 

    9. integrated curricular themes, 

    10. insertion of new themes in educational blocks, 

    11. community- based education, 

    12. objective structured clinical exams, 

    13. clinical exam exercises, 

    14. simulators, and 

    15. comprehen- sive assessment and individualised learning plans.


    2. 의학에서 교수개발의 진화

    2. The evolution of faculty development in medicine


    이 조사는 1970 년 이후 약 750 편의 논문에서 '교수개발'이라는 단어로 출판되었음을 보여주었습니다.

    This search showed that approximately 750 articles were published since 1970 with the words ‘‘faculty development’’ in the article.


    우리는 검색 결과에서 몇 가지 흥미로운 결과를 확인했습니다. 첫째, 지난 35 년간 교육 개선을 위한 교수 개발을 언급한 빈도가 증가했다 (표 1 참조). 1970 년부터 2005 년까지이 용어를 사용한 연간 논문 수는 1970 년의 0에서 2005 년의 첫 10 개월 동안 약 50 개로 증가했습니다.이 숫자는 90 년대 후반에 상당한 증가로 꾸준히 증가한 것으로 나타났습니다.

    We identified several interesting results in the search output. First, the frequency of references to faculty development for educational improvement has increased during the past 35 years (see Table 1). From 1970 to 2005, the number of articles per year with these terms went from 0 in 1970 to approxi- mately 50 during the first 10 months of 2005. The numbers indicate a steady increase with a sizeable increase in the late 90s.



    우리는 '교수진 개발'이라는 용어가 포함 된 논문를 코딩하기 위해 다음 카테고리 시스템에 도달했습니다.

    We arrived at the following category system for coding articles containing the term ‘‘faculty devel- opment’’:


    1) 의학 교육에 대한 전망.

    2) 문제 기반 학습, 시뮬레이션, 효과적인 교수의 특성 등과 같은 교수 방법 또는 교수 방법 연구에 관한 논문.

    3) 교수 개발을 요구하거나 현존하는 교수법 개발 방법에 대한 설명과 함께 윤리, 의료 실수, 유전학, 수명 말기 치료 등과 같은 의학 교육의 특정 내용 영역에 대한 교육에 관한 논문.

    4) 특정 교과 내용 영역에 초점을 두지 않고 일반 교수 개발 방법론, 예를 들어 교수법 개선 방법에 대한 설명

    1) Perspectives on medical education. 

    2) Articles on teaching methods or research on teaching methods, e.g., problem-based learning,simulations, characteristics of effective teaching. 

    3) Articles on teaching of specific content areas in medical education, e.g., ethics, medical errors,genetics, end-of-life care, etc., either with a call for faculty development or with descriptions of existing faculty development methods. 

    4) Articles on general faculty development meth-ods, e.g., description of a teaching improvement method, without a focus on a specific curricular content area. 




    표 2에서 볼 수 있듯이 몇 가지 패턴이 나타납니다. 

    • 첫째, 의학 교육에 초점을 맞춘 논문이 증가하여 현재 교수가 직면하고있는 어려움과 교사 지원 시스템의 중요성에 대한 인식이 증가하고 있음을 나타낼 수 있습니다. 

    • 둘째, 지난 10 년 동안 교수법을 다룬 논문이 증가하였고, 이는 특정 교육적 접근법의 장점에 대한 강조를 시사한다.

    • 셋째, 교육 역량 향상에 중점을 둔 일반적인 교수개발 방법에 초점을 맞춘 논문이 지속적으로 늘어나고있어이 분야에 대한 학문적 강조가 증가하고 있음을 시사한다.

    As shown in Table 2, several patterns emerge. 

    • First, there has been a recent increase in articles focusing on perspectives regarding medical educa- tion, possibly signalling a growing awareness of the challenges currently facing faculty and the impor- tance of a support system for teachers. 

    • Second, there has been an increase in articles on teaching methods over the past decade that could reflect the increased emphasis on the merits of particular approaches to teaching. 

    • Third, there has been a con- tinual increase in articles focusing on general faculty development methods, such as those concentrating on teaching improvement, suggesting an increasing academic emphasis on this area.


    마지막으로, 가장 인상적인 증가는 교수 중심의 커리큘럼 주제(teaching-specific curricular topics)에 초점을 맞춘 논문에 있습니다. 이 범주의 논문에서 다루고 있는 커리큘럼상의 주제는 끊임없이 늘어나고 있다(표 3 참조). 이 논문은 교수개발 접근법을 설명하기도 하고, FDP를 활용해서 해당 주제를 가르칠 수 있는 교수진을 개발할 필요성을 지적합니다. 특정 교과 주제(specific curricular topics)에 대한 논문의 증가는 확장 된 커리큘럼의 교육이나 새롭게 도입된 필요역량을 가르치는데 있어서 교수들에게 도움을 주어야 할 필요성에 대한 인식이 늘어남을 보여준다. 결과적으로 교수개발자는 특히 새로운 커리큘럼 개발 영역 및 교수진의 새로운 목표와 관련하여 재능을 더 많이 필요로 할 것이다.

    Finally, the most striking increase is in articles focusing on teaching-specific curricular topics. The articles in this category focus on an ever-increasing list of topics to be included in the curriculum (see Table 3). These articles either describe faculty development approaches or point out a need for faculty development programmes to develop faculty to teach those topics. The increase in published articles on specific curricular topics may indicate a growing recognition of the need to help faculty teach an expanded curriculum or master recently introduced required competencies. As a conse- quence, faculty developers may see a greater demand and need for their talents, especially in regards to new curriculum development areas and new goals for faculty.



    교수개발 방법의 보급에 관한 이러한 진화의 의미는 무엇인가? Everett Rogers는 혁신을 채택하는 속도와 관련된 몇 가지 영향 요인을 강조했다. 

    • 혁신에 대한 인식, 

    • 잠재적 Adopter의 특성, 

    • 혁신에 영향을 미치는 맥락적 요인 (Rogers, 1995) 등 

    What does this evolution mean about the dissemination of faculty development methods? The late Everett Rogers highlighted several sources of influence that relate to the speed of adopting an innovation including 

    • the perception of the innova- tion, 

    • characteristics of the potential adopters, and 

    • contextual factors influencing the innovation (Rogers, 1995). 



    교수개발에 대한 인식과 관련하여 문헌의 추세는 교수개발의 중요성과 유용성에 대한 인식이 개선되었음을 보여준다. Adopter와 관련하여 아직 다수의 의대교수들이 교수개발이 자신의 커리어의 중요한 부분이라는 생각을 하지 않고 있음을 암시합니다. 클라크 (Clark) 등 (2004)의 연구에 따르면 generalist가 교수진 개발 프로그램의 주요 참여자였습니다.

    With regards to perceptions about faculty development, the trends in the literature suggest improved perceptions about the importance and utility of faculty development. With regards to the adopters, patterns in the literature imply that there remain a significant number of medical faculty who have not yet adopted the idea that faculty development methods are an important part of their careers. Clark et al.’s (2004) study indicated that generalists were the major participants in faculty development programmes.


    Irby, D. M., & Wilkerson, L. (2003). Educational innovations in Journal of academic medicine and environmental trends. General Internal Medicine, 18, 370–376.








    Faculty Development in Medicine: A Field in Evolution

    Skeff, Kelley M.; Stratos, Georgette A.; Mount, Jane F. S.
    Teaching and Teacher Education: An International Journal of Research and Studies, v23 n3 p280-285 Apr 2007
    This article focuses on the evolution of faculty development in medicine. Of note, improving teaching in medical education is not a new concept. At a minimum, it was seriously discussed by pioneers like George Miller and Steve Abrahamson as early as the 1950s [Simpson & Bland (2002). Stephen Abrahamson, PhD, ScD, educationist: A stranger in a kind of paradise. "Advances in Health Science Education Theory Practice, 7," 223-234]. By 2005, significant numbers of medical school faculty have participated in teaching improvement methods [Clark et al. (2004). Teaching the teachers: National survey of faculty development in departments of medicine of US teaching hospitals. "Journal General Internal Medicine, 19," 205-14]. Yet, views of the importance and value of faculty development have evolved slowly. Fortunately, we are now in a more receptive era for program developers to assist faculty in their difficult roles.
    Elsevier. 6277 Sea Harbor Drive, Orlando, FL 32887-4800. Tel: 877-839-7126; Tel: 407-345-4020; Fax: 407-363-1354; e-mail: usjcs@elsevier.com; Web site: http://www.elsevier.com


    비정기적 교수개발자의 교수개발워크숍 참여의 동기는? (Acad Med, 2015)

    What Motivates Occasional Faculty Developers to Lead Faculty Development Workshops? A Qualitative Study

    Patricia S. O’Sullivan, MS, EdD, and David M. Irby, MDiv, PhD





    일부 의대에서 교수개발자는 교육학 박사 학위를 갖춘 교육자로서, 교수들이 academic role을 잘 할 수 있도록 준비시키는 과정인 교수개발이 주된 업무이다.1 인증기관에 의해서 교수 개발에 대한 요구가 증가하고, 교수진의 역할이 변화함에 따라서, 많은 의대에서는 주 업무가 교육이 아닌 의사와 과학자 등까지를 포함하는 교수개발자 pool을 확대하였다..

    In some medical schools, faculty developers are educators prepared with doctoral degrees in education whose major responsibility is faculty development, which is the process of preparing and updating faculty members for their academic roles.1 With the increasing demand for faculty development driven by accrediting bodies and the changing roles of faculty members (e.g., teaching quality improvement processes), many medical schools will need to expand their pool of faculty developers to include physicians and scientists whose primary expertise is not education.


    동기 부여는 활동을 시작, 지속 또는 중지하려는 개인의 결정에 영향을 미치는 것으로 알려져 있습니다 .2

    Motivation is known to influence an individual’s decisions to initiate, persist, or stop doing an activity.2


    동기부여 이론으로 교수개발자를 위한 잠재적 동기를 확인할 수 있습니다. Kusurkar와 그의 동료들은 의학교육에 영향을 미치는 동기부여 이론을 검토하면서 교수개발자와 특히 관련이있는 4 개의 이론을 찾았다. 즉 Maslow의 5 계층 구조, Bandura의 6 사회적인지 이론, Deci 및 Ryan의 7 가지 자기 결정 이론 , Pintrich's8 목표 이론.

    Motivation theory may identify potential motivators for occasional faculty developers. In their review of motivation theories that influence medical education, Kusurkar and colleagues4 identified four theories that appear to be particularly relevant to faculty developers: 

    • Maslow’s5 hierarchy of needs, 

    • Bandura’s6 social cognitive theory, 

    • Deci and Ryan’s7 self- determination theory, and 

    • Pintrich’s8 goal theory.


    • Maslow5는 생리적 요구, 안전의 필요성, 사랑과 소속의 필요성, 그리고 자기 실현에서 자신의 잠재력을 성취해야 할 필요성으로 상승하는 욕구의 계층 구조를 주장합니다. 교수진은 교수개발 워크샵을 통해 소속감과 자기 실현의 필요성을 충족시킬 수 있습니다. 

    • 사회인지 이론에서 초점은 자기 효능감, 즉 활동을 수행 할 수 있다고 믿는 것이다. 이는 스스로 capable하다고 느끼고, 궁극적으로 전문가가 될 수 있는 영역이라고 생각하기 때문에 개인이 교수개발자로서 자발적으로 참여할 수 있음을 시사합니다. 

    • 자기 결정 이론은 외재적 또는 내재적 동기를 다루고있다. 내재적 동기는 자율성, 역량 및 관계성에 대한 욕망에 기초합니다. 이것은 가끔 교수개발자가 다른 사람들에게 중요하고 관련이 있기 때문에 (관계성) 수행 할 수있는 일을하기 위해(역량) 자발적으로 자원(자율성)한다는 것을 암시합니다. 

    • 마지막으로, 목표 이론은 동기 부여가 두 가지 목표 지향에 기반한다고 주장한다 : 숙달과 수행. 숙달지향적 교수는 교수개발 주제를 배우고 이해하는 데 관심이 있기 때문에 교수진 개발 워크샵을 진행할 수 있습니다. 그들이 수행지향적 교수라면 다른 사람들보다 자신의 워크샵을 더 잘 가르치고 싶을 수 있다.

    • Maslow5 argues for a hierarchy of needs starting with physiological needs, the need for safety, and the need for love and belonging and ascending to the need to fulfill one’s potential in self-actualization. Faculty members might meet their needs for belonging and self-actualization through leading a faculty development workshop. 

    • In social cognitive theory,6 the focus is on self-efficacy, the belief that one is capable of performing an activity. This suggests that individuals might volunteer to do faculty development because they perceive that this is an area in which they are capable and can eventually become an expert. 

    • Self determination theory7 addresses extrinsic and intrinsic motivation; the latter is built on the desire for autonomy, competence, and relatedness. This suggests that occasional faculty developers volunteer (autonomy) to do something they are capable of performing (competence) because it is important to and engages others (relatedness). 

    • Finally, goal theory8 asserts that motivation is based on two different goal orientations: mastery and performance. If faculty members are mastery oriented, they might conduct faculty development workshops because of their interest in learning and understanding the faculty development topic. If they are performance oriented, they might want to teach their workshops better than others.





    Method


    Design


    We conducted a qualitative study using a general inductive approach.11 The question explored in this study was part of a larger study on the identity formation of occasional faculty developers in medical education.3 We chose a qualitative approach because we were uncertain which theories might best explain occasional faculty developers’ motivations to lead faculty development workshops; this justified an exploratory approach.


    Setting and participants


    Since 2007, the University of California, San Francisco (UCSF), School of Medicine’s faculty development program has offered approximately 30 two- to four-hour, face-to-face workshops per year for interprofessional attendees, most of whom are physicians. The workshops are free and offer continuing education credits. Nearly 400 unique faculty members attend these workshops each year, filling over 800 slots at either our main campus or our community partners’ campuses. The workshops, sponsored by the UCSF School of Medicine’s  Office of Research and Development in Medical Education, include topics on teaching improvement, learner assessment, curriculum development, and educational research. The workshops are taught by faculty developers with excellent teaching skills and an interest in faculty development. Many of these faculty developers are members of the Academy of Medical Educators (AME), which requires excellence in teaching for membership.12 Most faculty developers teach a single topic annually, in a team of two. Leading faculty development workshops is voluntary, but these efforts can count toward service expectations for AME members. No monetary incentives are given.



    Procedures


    As part of our larger study,3 we developed an interview guide that included questions on demographics, identity, and motivation. 

      • This study focuses on the responses to the following question on motivation: Why do you do faculty development?” 

      • Potential probes included “What do you personally get out of this activity?” 

    We tested the interview guide on educators not included in the study.


    We adhered to the interview guide and took a naïve stance toward the questions and study participants, meaning that we remained open to new understandings even though we have worked in the area previously. We took extensive field notes during the interviews. The interviews were also audiotaped and transcribed. After the initial interviews, we debriefed and refined questions. We maintained an analytic memo to document our joint reflections as the study progressed.


    Analysis


    Both authors are educators who hold doctoral degrees in education and have training and experience in conducting qualitative research. We have led faculty development workshops and have recruited others to teach in the program. We conducted a thematic analysis of the interview transcripts, using NVivo 10 (QSR International, Doncaster, Victoria, Australia) to manage and code the data. Participants were coded by degree (MD or PhD) and a number. All quotes are identified with these numbering conventions. Our analytic method was a general inductive approach sensitized by motivation theory literature. After reviewing the first six transcribed interviews in May 2012, we jointly developed codes drawing from motivation theories. We augmented our codes based on detailed field notes taken during each interview, which we discussed jointly. Initially, we developed 10 codes that emerged inductively from the interviews and applied them to the transcripts. After further analysis, we consolidated these codes into five themes. We performed a member check by asking the participants to review the derived themes and to verify whether they were an accurate characterization of their motivations.




    Results


    We identified five themes that characterized participants’ motivations to do faculty development: mastery, relatedness, duty, purpose, and satisfaction.



    숙달

    숙달은 전문적으로 배우고 발전하려는 욕구를 나타냅니다. 이 주제의 강조점 중 하나는 최신 정보를 유지하는 것입니다. "교수진 개발은 저의 다른 전문 기술을 고려하는 비 임상 분야에서 진행되고있는 일에 실제로 최신 정보를 제공합니다."(MD-22) . 숙달의 또 다른 표시는 자기 자신의 성과가 향상되었다는 의미입니다. "교수진 개발은 내가 더 나은 선생이되고 더 나은 코스 디렉터가 될 수 있도록 도와줍니다"(PhD-4). 다른 사람들은 다음과 같이 지적했다. "나는 상호 작용에서 매번 많이 배웁니다."(MD-8) 그리고 "그것은 나에게 좋다. 나는 그 과정에서 배웠습니다 ... 기술력이 향상되었습니다 ... 그것은 내 자신의 전문성 개발의 일부입니다 "(MD-2). 교수진 개발은 "더 잘할 수있는 기회를 제공합니다 ... 내가 워크샵을 할 시간이 많을수록 자신의 기술이나 투쟁, 학습 스타일 또는 학습 환경 측면에서 다른 사람들로부터 배울수록 교수 개발을 통해 배울 수 있습니다."( MD-23).

    Mastery indicates a desire to learn and develop professionally. One emphasis of this theme is on staying up-to-date: “Faculty development is what drives me to really stay up-to-date in what is going on in my nonclinical field which I consider my other expertise” (MD- 22). Another indication of mastery is the sense of improvement in one’s own performance: “Faculty development helps me to be a better teacher and helps me to be a better course director” (PhD-4). Others indicated: “I learn a lot each time from the interactions,” (MD-8) and “It’s good for me. I have learned from the process of doing … it’s improved a skill set … it’s part of my own professional development” (MD-2). Faculty development provides an opportunity to “get better … the more time I do the workshops, the more I learn from other people in terms of their techniques or their struggles or their learning styles or learning environments … so I learn through teaching faculty development” (MD-23).



    관계성

    관계성은 다른 사람들과 함께 일하거나 다른 사람에게서 배우는 즐거움을 묘사합니다. 어떤 사람들에게는 다른 사람들을 만날 수있는 기회가 생깁니다 : "나는 또한 다른 교수진을 만날 수있는 좋은 기회라고 생각한다"(MD-8). 관계 개발도 중요합니다. "교수진 개발은 저와 함께하는 사람들에게 나를 묶어주었습니다."(MD-15), "나는 함께 일하는 다른 사람과 파트너십을 많이 얻었습니다."(MD -13), "교수진 개발은 내가 워크샵을 한 사람들과의 나의 상호 작용에 영향을 미쳤다"(MD-19).


    Relatedness describes the pleasure of working with and learning from others. For some individuals, it creates an opportunity to meet others: “I also think it’s a nice chance to meet other faculty” (MD-8). The relationships developed are also important: “Faculty development bonded me to the people who I do it with” (MD-15), “I really get a lot out of the partnership with the other person whom I’m working with” (MD-13), and “Faculty development influenced my interactions with the people that I did the workshops with” (MD-19).


    의무감

    의무감이란 다른 교수들의 교수 기술을 향상을 도우려는 "의무"(MD-20)와 "시민 정신"(MD-17)을 의미합니다. 참가자들은 두 가지면에서 의무감을 나타 냈습니다. 첫째, 그 개인이 다른 사람들로부터 받은 것에 대한 부채감 때문에 되돌려 줄 필요가 있음으로 인해 의무가 생겼습니다. "비슷한 세션에서 나 자신을 유익했기 때문에 교수진의 발전을 되돌아 본다"(MD-14), 그리고 "나는 그들이했던 것처럼 좋은 일을하려고 노력하면서 존경하는 정말로 투자 한 교육자들을 기억할 수있다"(MD-3). 두 번째 의무감은 타인을 도울 필요가 있다는 느낌에서 나왔습니다. "누군가의 학습 곡선을 가속화 할 수 있다면, 나는 시험하고 돕고 싶다"(MD-5). 시민권은 학문 의학 분야에서 훌륭한 시민이되는 것보다 더 중점을 두었습니다 : "저는 시민권 역할의 일부로 교수 개발을 봅니다. 이것이 제가 기여하는 것입니다."(MD-17). 또 다른 한 사람은 더 넓은 의미에서 의무감을 나타 냈습니다. "좋은 시민권의 구성 요소가 분명히 있습니다 ... 모든 자매 캠퍼스에있는 특정 병원의 대사 인 것처럼 느껴집니다"(MD-14). 한 참가자는이를 간결하게 요약했습니다. "교수진 개발은 교육자가해야 할 일의 일부라고 생각합니다."(PhD-3).


    Duty refers to a sense of “obligation” (MD-20) and “citizenship” (MD-17) to help improve the teaching skills of the faculty. Participants expressed this sense of obligation in two ways. First, there was obligation generated from a need to give back because of a sense of indebtedness to what that individual had received from others: “I view faculty development as giving back because I benefitted myself from a similar session” (MD-14), and “I can recall some really invested educators whom I honor by trying to do as good a job as they did” (MD-3). The second sense of obligation emerged from a sense of needing to help others: “If I could accelerate someone’s learning curve, I want to try and help” (MD-5). Citizenship focused more on what it is to be a good citizen in academic medicine: “I view faculty development as part of my citizenship role … this is what I contribute” (MD-17). Another expressed a sense of duty more broadly: “There is definitely a component of good citizenship … I feel like it’s being an ambassador of the [specific hospital] campus to all our sister campuses” (MD- 14). One participant summarized it quite succinctly: “I think faculty development is just part of what an educator should do” (PhD-3).



    목적의식

    목적의식은 헌신의 하나이다. 이것은 환자 치료에 기여할 필요성, 우리가 교육하는 방법에 주의를 기울일 필요성, 교육과정에서 교육적으로 숙련 된 교사를 갖추어야 하는 요구 충족의 중요성의 세 가지 방식으로 표현되었습니다. 한 참가자는 교수진 개발이 "교육자가 더 나은 일을 할 수 있도록 도와줌으로써 사람들의 건강을 향상시키기 위해"환자 치료에 기여할 수있는 방법이라고 강조했다 (MD-3). 또 하나는 교육자들이 "우리가하고있는 일에 대해 더 알고 인식 할 필요가있다"는 말로 교육 방법에 대한 세심한 관심이있었습니다 (MD-21). 참가자들은 또한 교육학적인 숙련 된 교사를 갖기 위해 교과 과정의 필요성을 충족시키는 것이 중요하다고 표명했다. 한 사람은 특정한 상황을 묘사했다 : "나는 사무직을 운영하고, 교훈자가 쌓이면 발전시킬 필요가있다"(MD-4). 또 다른 사람은 이렇게 설명했습니다. "소규모 그룹 교육으로 문화 변화를 시도하는 교수 개발을위한 선동적인 동기가 있습니다."(PhD-3).

    Purpose describes a commitment; this was expressed in three ways: the need to contribute to patient care, the need for attentiveness to how we educate, and the importance of meeting curricular needs to have pedagogically skilled teachers. One participant stressed that faculty development is a way to contribute to patient care, “to improve the health of people, by helping educators to do a better job” (MD-3). Another was concerned with attentiveness to how we educate, stating that educators need to be “more aware and mindful of what we’re doing” (MD-21). Participants also expressed the importance of meeting curricular needs to have pedagogically skilled teachers. One described a specific situation: “I run the clerkship, and in order to have a pool of preceptors, I need to develop them” (MD-4). Another one explained it this way: “There’s an ulterior motive for faculty development—trying to get a culture change toward small- group teaching” (PhD-3).


    만족

    만족은 교수개발 워크샵을 실시하는 재미과 즐거움을 반영하며 긍정적인 감정적인 톤이 있습니다. 참가자 중 한 명은 다음과 같이 이러한 동기를 표현했습니다. "교수진 개발은 깊은 보상과 만족, 그리고 정서적 수준의 일종 ... 나의 삶, 특히 내가 만나는 사람들을 풍성하게합니다."(MD-13). 다른 참가자들은 "재미 있기 때문에 교수진을 개발합니다 ... 다른 사람들을 도우는 것이 정말 즐겁습니다"(PhD-2)와 "나는 정말 즐겁습니다"(MD-10). 또 다른 정교함 : "나는 다른 이들에게 그들이 자랑스러워하는 기술을 갖게하는 것처럼 느껴질 때 많은 보상이 있다고 생각한다"(MD-15).

    Satisfaction reflects the fun and enjoyment of conducting faculty development workshops and has a positive emotional tone. One participant expressed this motivation as follows: “Faculty development is deeply rewarding and satisfying, and kind of at an emotional level … it enriches my life, especially the people I meet” (MD-13). Other participants said: “I do faculty development because it’s fun.… It’s just really enjoyable to help other people,” (PhD-2) and “I just really enjoy it” (MD- 10). Another elaborated: “I think there’s a lot of reward in feeling like you get someone else to have skills that they’re proud of ” (MD-15).



    고찰

    Discussion


    우리는 비정기적 교수개발자가 왜 교수개발에 참여할 동기가 생기는지에 관한 다섯 가지 주제를 발견했습니다(숙달, 관련성, 의무, 목적, 만족도). 모든 비정기적인 교수진 개발자들은 긍정적인 동기부여 요인을 언급했으며 부정적인 결과는 보고하지 않았습니다. 이 토론에서는 주제가 동기 부여 이론과 어떻게 조화되는지를 설명하고 주제가 어떻게 상호 연관되는지 설명 할 것입니다. 그런 다음 교수 개발 프로그램을 이끌어가는 사람들이이 정보로 무장하면 어떻게 채용 및 유지 노력을 할 수 있는지 설명합니다.

    We found five themes that characterized why occasional faculty developers were motivated to do faculty development: mastery, relatedness, duty, purpose, and satisfaction. All occasional faculty developers reported positive motivators, and none reported negative consequences. In this discussion, we will describe how the themes align with motivation theory and illustrate how the themes interrelate. Then, we describe how those who lead faculty development programs, when armed with this information, can tailor recruitment and retention efforts.


    우리의 연구는 비록 각 동기가 이러한 동기 부여에 대한 이해에 기여하지만, 단 한 동기 부여 이론으로는 포괄적으로 설명되지 않는 이따금의 교수진 개발자의 다양한 동기를 설명합니다. 예를 들어, Mastery의 주제는 모든 동기 부여 이론과 관련됩니다. 

    • Maslow는 자아를 실현하는 개인self-actualized individual은 자신의 "재능, 역량, 잠재력을 최대한 발휘하여"5 (p150) 할 수있는 최선을 다하고 "결핍 동기보다는 성장 동기에 의해 추진"한다고 설명합니다. (p162) 

    • 참여자는 '더 배우고자 한다'라는 것을 동기로 언급하였으며, 이는 성과목표지향보다는 숙달목표지향과 일치하는 것이다. 8.9 

    • 숙달은 또한 자기 결정 이론에서 명시적으로 확인 된 핵심 요소이며, 7) 

    • 사회인지 이론은 자기 효능감을 강조하고, 이것은 전문가가 될 능력이 있다는 믿음을 포함합니다. 

    따라서 숙달은 모든 동기 부여 이론에 공통적이며 비정기적 교수개발자에게 공통적인 동기입니다.

    Our study describes the varying motiva- tions of occasional faculty developers, which are not comprehensively explained by any single motivation theory, although each theory contributes to our under- standing of these motivations. For example, the theme of mastery relates to concepts expressed in every motivation theory. Maslow describes self-actualized individuals as fully using and exploiting their “talents, capacities, potentialities … to be doing the best that they are capable of doing”5(p150) and being “propelled by growth motivation rather than by deficiency motivation.”5(p162) Participants reported a motivation to learn more, which is consistent with a mastery rather than a performance goal orientation.8,9 Mastery is also a key element explicitly identified in self-determination theory,7 and social cognitive theory6 emphasizes self-efficacy, which encompasses the belief that one has the capacity to become an expert. Mastery, therefore, is common to all motivation theories and is a common motivator for occasional faculty developers.


    우리 연구의 비정기적 교수개발자는 다른 교수진과 협력하고 동료 관계 네트워크를 확장하며 동료 교수진과 긴밀히 협력함으로써 적극적으로 동기를 부여 받았습니다. 이러한 연관성의 의미는 몇 가지 동기 부여 이론을 반영합니다. 

    • Maslow5는 사랑과 소속의 중요성에 대해 다루고 

    • Bandura6는 사회적 관계의 네트워크 내에서 동기가 발생하며 

    • Deci와 Ryan7은 관계성의 중요성 또는 중요한 인물에 대한 중요성을 설명합니다. 

    그러나, Pintrich8은 다른 사람보다 더 우월하고자 하는 것으로만 관계성을 설명하며, 이는 우리의 참가자들에 의해 표현되지 않은 견해이다.

    The occasional faculty developers in our study were positively motivated by working with other faculty members, expanding their network of collegial relationships, and working closely with their co-faculty developers. This sense of relatedness reflects several motivation theories. Maslow5 addresses the importance of love and belonging, Bandura6 notes that motivations arise within a network of social relationships, and Deci and Ryan7 describe the foundational importance of relatedness, or mattering to significant others. However, Pintrich8 speaks of relatedness only in the sense of being better than others, which is a view that was not expressed by our participants.


    우리는 비정기적 교수개발자들이 강한 이타성에 의지하여 동기를 부여 받았음을 주목합니다. Duty는 Maslow의 자기 실현 수준의 일부로 보입니다.이 수준은 문제 중심적이며 "책임, 의무 또는 의무"때문에 일을 수행하는 개인을 나타냅니다. 이러한 일은 타인의 유익good of others와 같은 비 개인적 또는 비 이기적 행동이다. "5 (p159-160) 의학에서 이타주의는 지배적인 주제인 반면에, 13 명의 사람들은 모든 행위가 이기적 성격과 비-이기적 성격이 모두 있다는 것을 인정합니다. 우리의 비정기적인 교수진 개발자 중 일부는 교수 능력 개발을 수행 할 수있는 능력을 발휘할 수있는 의무를 기술했는데, 이는 자기 효능감의 한 형태로 해석 될 수 있었고, 6) 자신의 롤모델로부터 받은 것을 (다른 사람에게) 돌려줄 수 있게 해주었다 pay back. 우리의 교수진 개발자 중 일부는 순수히 이타적 의도로 참여하기도 했지만, 대부분은 이타주의와 자기중심적 관심 (예 : 숙달)이 모두 있었다. 이전 연구에서 확인한 것처럼 3 명의 교수진 개발자는 새로운 기회를 얻고, 인정받고, 존중받는 형태로 혜택을 누렸습니다. 그러나 이러한 이점은 교수개발 워크샵을 하게 만들어준 동기를 부여한 것이 아니고, 오히려 혜택은 참여의 결과였습니다.

    We note that these occasional faculty developers were motivated by a strong sense of altruism. Duty appears to be a part of Maslow’s self-actualization level, which describes individuals who are problem centered and undertake a task because it is “their responsibility, duty, or obligation. These tasks are non-personal or unselfish, concerned rather with the good of others.”5(p159–160) Whereas altruism is a dominant theme in medicine,13 others5,14 recognize that every act is both selfish and unselfish. Some of our occasional faculty developers described a duty to perform faculty development because they were capable of doing so, which could be construed as a form of self-efficacy,6 and because it allowed them to pay back those who had role modeled for them. Whereas some of our faculty developers functioned out of a pure sense of altruism, most incorporated both altruism and self-centered interest (such as mastery). As we identified in our previous work,3 occasional faculty developers accrued benefits in the form of new opportunities and recognition and respect. However, these benefits were not what motivated them to lead faculty development workshops; rather, the benefits were consequences of their participation. Thus, altruism, as exhibited in the theme of duty, legitimately characterizes these faculty developers.



    목적의 주제는 더 큰 학문 공동체의 효과적인 기능에 기여하는 것과 관련이 있습니다. 비정기적 교수개발자는 교육 지도자로서의 역할에있어 임상 선생님의 직무 또는 레지던트 프로그램을 교육해야하거나 소규모 그룹 진행자를 교실 수업에 대비시켜야 할 필요성에 대해 언급했습니다. 의무와 마찬가지로, '목적성'은 이타적이며 자기 중심적이었다,

    The theme of purpose relates to contributing to the effective functioning of the larger academic community. Occasional faculty developers mentioned, in the context of their roles as educational leaders, the need to train clinical teachers for their clerkship or residency program, or the need to train small-group facilitators for their classroom courses. Similar to duty, purpose is both altruistic, and self-centered,


    목적Purpose은 학문 공동체의 필요를 다루는 반면, 의무Duty는 이타적 목표에 대한 폭 넓은 의무감과 관련이 있습니다. 목적은 비숍과 리즈가 "친 사회적"행동으로 묘사하는 의학 교육에서 이루어지는 것과 상당 부분 일치합니다.

    Purpose addresses academic community needs, whereas duty relates to a broader sense of obligation to altruistic goals. Purpose aligns with much of what is done in medical education that Bishop and Rees13 describe as “pro-social” behavior.


    마지막으로, 'Satisfaction'이라는 주제는 교수개발 업무의 깊은 보람과 활동의 재미와 즐거움을 말하며, 동기 부여의 기초가됩니다. 이따금의 교수진 개발자가 만족감을 묘사 할 때, 숙달과 관련성과 같은 다른 동기부여 요인 중 하나에 만족을 연결하는 맥락에서 표현되었습니다. 동기 이론의 관점에서 볼 때, 만족은 긍정적인 정서적 경험, 고차원 욕구 충족, 하고자 하는 것을 지속하는 것과 관련이 있습니다 .16 교수진 개발 워크샵은 자발적인 활동이기 때문에 이러한 교수들이 그 일을 하면서 만족감을 느끼지 않으면 그 일을 계속 하지 않을 것이다. 본 연구에서 Satisfaction은 다른 주제들을 서로 묶어주는 역할을 하였다. 

    Finally, the theme of satisfaction, which speaks to the deeply rewarding nature of the work and to the fun and enjoyment of the activity, is, we feel, foundational to motivation. When the occasional faculty developers described a sense of satisfaction, it was expressed in the context of connecting satisfaction to one of the other motivators such as mastery and relatedness. From the motivation theory perspective, satisfaction is associated with positive emotional experiences,15 higher-order needs being met,5 and persistence in what one is willing to do.16 Because conducting faculty development workshops is a voluntary activity, it is essential that these faculty members experience satisfaction in the work, or they will not persist in doing it. Our research reinforces the role of satisfaction in motivation theory by identifying satisfaction as the theme that holds the others together (see Figure 1).



    많은 동기 부여 이론 5-7에 등장하지만 참가자 중 누구도 언급하지 않은 한 가지 주제는 자율성입니다. 아마도 교수 개발은 가끔 교수진 개발자를위한 자발적인 활동이기 때문에 자율성에 대한 필요성이 충분하게 충족되었으므로 동기 의식의 측면에서 의식 의식으로 부상하지 않았을 것이다.

    One theme that appears in many motivation theories5–7 but that was not mentioned by any of our participants was autonomy. Perhaps because facultydevelopment is a voluntary activity for occasional faculty developers , the need for autonomy was amply met andwas therefore not a topic that rose to conscious awareness as an aspect of motivation.



    이 연구는 가끔 교수진 개발자가 표현한 네 가지 주제 (숙달, 관련성, 의무 및 목적)가 네 가지 동기 부여 이론 (필요 계층 구조, 사회인지 이론 및 자기 결정 이론) 중 세 가지와 잘 부합한다는 사실을 발견했습니다. 목표 이론이 숙달에 대한 우리의 연구 결과와 관련되어 있지만,이 연구에서 비정기적 교수개발자가 확인한 다른 동기를 이해하는 데 도움이되지는 않습니다. 또한 만족도는 기초적인 것으로 보이고, 다른 네 가지 주제를 하나로 연결합니다. 따라서 이 그룹의 동기 부여를 해결하는 데 필요한 고려 사항입니다.

    This study found that four themes (mastery, relatedness, duty, and purpose) expressed by occasional faculty developers align well with three of four motivation theories (the hierarchy of needs, social cognitive theory, and self-determination theory). Although goal theory connects to our findings on mastery, it does not contribute to understanding any of the other motivators identified by occasional faculty developers in this study. Additionally, satisfaction appears to be foundational and links the other four themes together; thus, it is a necessary consideration in addressing the motivations of this group.



    우리 연구의 테마는 이러한 임시 교수진 개발자를 유지할 수있는 여러 가지 전략을 제시합니다. 

    • 만족도와 관계을 토대로 이 교수개발자들에게 동기를 부여하기 위해 워크숍을 co-facilitate하도록 짝 짓는 방법이 있다. 

    • 숙달Mastery에 집중하려면 지속적인 개선을 강조하십시오. 비정기적 교수개발자에게 학교의 교과 과정 개발 주제에 대한 현재의 문헌을 제공하고,보다 도전적인 수준의 주제에 관한 세미나에 초대하고, 다른 사람들을 관찰하고지도 할 수 있도록 초대하며, 숙달된 교수개발자로서의 인정recognition해주십시오 

    • Purpose에 기반하여 유지하는 방법은 교수개발 워크샵을 커리큘럼의 핵심 부분에 명확하게 연결하여 이러한 워크숍이 학교의 요구에 직접적으로 어떻게 기여 하는지를 알 수 있도록하는 것입니다.

    The themes from our study offer a number of possible strategies to sustain these occasional faculty developers. To motivate these faculty developers on the basis of satisfaction and relatedness, pair individuals to cofacilitate workshops. To address mastery, emphasize continual improvement. Provide occasional faculty developers with current literature on School of their faculty development topic, invite them to attend seminars on more challenging levels of their topic, invite them to observe others and be coached, and provide recognition for them as master faculty developers. A way to keep motivating these faculty developers on the basis of purpose is to clearly tie the faculty development workshops to key parts of the curriculum so that they can see how these workshops directly contribute to the school’s needs.


    이 연구의 독특한 기여는 만족이 다른 동기 부여 요인을 함께 유지하는 역할에 대한 인식이다. 우리는 교수 개발 프로그램을 주도하는 개인이 이러한 주제를 사용하여 간헐적 인 교수진 개발자 간부를위한 채용 및 보존 전략을 수립 할 것을 제안합니다.

    A distinctive contribution of this study is the awareness of the role that satisfaction plays in holding the other motivators together. We propose that individuals leading faculty development programs use these themes to create recruitment and retention strategies for their cadre of occasional faculty developers.







     2015 Nov;90(11):1536-40. doi: 10.1097/ACM.0000000000000767.

    What motivates occasional faculty developers to lead faculty development workshops? A qualitative study.

    Author information

    • 1P.S. O'Sullivan is professor of medicine and surgery and director, Office of Research and Development in Medical Education, University of California, San Francisco, School of Medicine, San Francisco, California. D.M. Irby is professor of medicine and research faculty member, Office of Research and Development in Medical Education, University of California, San Francisco, School of Medicine, San Francisco, California.

    Abstract

    PURPOSE:

    The demand for faculty development is ongoing, and many medical schools will need to expand their pool of faculty developers to include physicians and scientists whose primary expertise is not education. Insight into what motivates occasional faculty developers can guide recruitment and retention strategies. This study was designed to understand the motivations of faculty developers who occasionally (one to three times each year) lead faculty development workshops.

    METHOD:

    Qualitative data were collected in March and April 2012 from interviews with faculty developers who occasionally taught workshops from 2007 to 2012 in the University of California, San Francisco, School of Medicine's faculty development program. The interviews were audiotaped and transcribed. The authors thematically analyzed the transcripts using a general inductive approach and developed codes sensitized by motivation theories.

    RESULTS:

    The authors interviewed 29/30 (97%) occasional faculty developers and identified five themes: mastery (desire to learn and develop professionally), relatedness (enjoyment of working with and learning from others), duty (sense of obligation to give back and be a good academic citizen), purpose (commitment to improving local teaching and ultimately patient care), and satisfaction (fun and enjoyment).

    CONCLUSIONS:

    Four of the themes the authors found are well addressed in motivation theory literature: mastery, relatedness, duty, and purpose. Whereas these four are motivators for occasional faculty developers, it is the fifth theme-satisfaction-that the authors feel is foundational and links the others together. Armed with this understanding, individuals leading faculty development programs can develop strategies to recruit and retain occasional faculty developers.

    PMID:
     
    26017353
     
    DOI:
     
    10.1097/ACM.0000000000000767
    [PubMed - indexed for MEDLINE]


    비정기적 교수개발자의 정체성 개발(Acad Med, 2014)

    Identity Formation of Occasional Faculty Developers in Medical Education: A Qualitative Study

    Patricia S. O’Sullivan, MS, EdD, and David M. Irby, MDiv, PhD



    특정 주제, 교수-학습 향상을 위한 활동, 프로세스 등에 초점을 둔 교수 개발 연구와 대조적으로, 교수개발자들에게만 초점을 둔 연구는 소수이다. 연구자들은 경험이 늘어남에 따라 풀 타임 교수개발자가 교사 중심에서 학습자 중심 모델로 전환하고, 8은 교수개발자로서의 정체성이 solidify되는 데 2 년에서 4 년이 걸린다는 것을 찾아내었다.

    In contrast to faculty development research that focuses on a single topic,2 activities to improve teaching and learning,5,6 and processes,7 only a few studies focused on the faculty developers themselves. The researchers found that, with increased experience, full­time faculty developers shift from a teacher ­centered to a learner­ centered model,8 take two to four years to solidify the faculty developer identity,9


    의과 대학 교수진은 종종 임상의, 연구자, 교육자 및 관리자로서의 역할과 관련된 여러 정체성을 통합하고 협상합니다 .11,12 Monrouxe11에는 4 가지 정체성 정렬 모델이 정의되어 있으며 이들이 의학 교육자에게 어떻게 적용될 수 있는지 제안했습니다 12. 

    • (1) 구획화 된 정체성: 때로는 의사 / 과학자이고 다른 때는 교육자이다. 

    • (2) 계층적 정체성: 의사 / 과학자가 교육자보다 상위에 위치하거나 그 반대 인 경우; 

    • (3) 평행적 정체성: 동시에 존재하지만 의식적인 중복이 없는 상태

    • (4) 통합된 정체성: 동시에 통합되어 공존하는 상태.

    Medical school faculty members often incorporate and negotiate multiple identities associated with their roles as clinicians, researchers, educators, and administrators.11,12 Monrouxe11 des­ cribes four identity alignment models, and we have suggested how these might apply to medical educators12: (1) compartmentalized identities, where at times one is a physician/scientist and at other times one is an educator; (2) hierarchical identities, which place being a physician/scientist over being an educator or vice versa; (3) parallel identities that exist simultaneously but without a conscious overlap; or (4) merged identities that are integrated and coexist simultaneously.


    우리는 FD는 교수들이 모여 교수 학습을 개선하는 방법을 배우고 토론 할 수있는 교습의 장을 마련한다는 것을 알게되었습니다 .14 그러나 우리는 또한 성공적인 FD는 워크숍을 뛰어 넘어 참가자들의 일상이나 교실과 클리닉에서 직장에서의 실천공동체까지도 포함한다고 주장했습니다 .

    We recognized that faculty development creates a teaching commons where faculty members come together to talk about and learn how to improve teaching and learning.14 However, we also asserted that successful faculty deve­ lopment extends beyond work shop(s) to include the participants’ everyday life in their workplace or community of practice in classrooms and clinics.


    네 가지 정체성 정렬 모델에 의해 프레임, 우리의 연구 질문은 다음과 같습니다 : 

    (1) 이 교수개발자들은 어떻게 자신의 정체성과 그 형성을 설명합니까? 

    (2) 교수개발자로서의 역할이 일상 생활에 어떤 영향을 미치나요? 

    (3) 교수개발자로서의 역할은 교수개발자, 교수 교습과 더 큰 교수법 공동체에 어떤 영향을 미칩니 까?

    Framed by the four identity alignment models, our research questions are as follows: (1) How do these faculty deve­ lopers describe their identity and its formation? (2) How does being a faculty developer affect one’s everyday work? and (3) What impact does the faculty development role have on the faculty developer, the teaching commons, and the larger community of teaching practice?




    Method


    Design


    We conducted a qualitative study using structured interviews guided by the identity formation and faculty develop­ment literatures.


    Setting and participants


    Since 2007, the University of California, San Francisco (UCSF) School of Medicine’s faculty development program has offered approximately 30 two­ to four ­hour workshops per year. Attendees are primarily faculty members in the UCSF School of Medicine but also include faculty from dentistry, nursing, pharmacy, and physical therapy.


    All workshops are conducted in person. Individuals recruited to teach in the faculty development program are recognized as good teachers and/or have expressed a strong interest in a specific topic. The leaders of faculty develop­ment know many of these teachers of the faculty development offerings because they have participated in the local longitudinal faculty development program (see http://meded.ucsf.edu/ radme/teaching­scholars­program), thus ensuring that they have a broad background in educational pedagogy and curriculum development.


    We purposively ex­cluded individuals from UCSF School of Medicine’s Office of Medical Education who held doctorates in education or were prepared as educational specialists.




    Interview guide


    Both of us (P.S.O’S., D.M.I.) developed the interview guide based on identity formation and faculty development literatures (see Supplemental Digital Appendix 1, http://links.lww.com/ ACADMED/A217). The guide had two questions on demographics and eight questions on identity, including ones about 

      • early formation as an educator, 

      • motivation to do faculty development, 

      • impact of faculty development on themselves and others, 

      • professional roles, 

      • career trajectories, and 

      • impact on their work environments. 

    Each question had one to six probes; none were specific to the models of Monrouxe11 or O’Sullivan and Irby.13 We piloted the guide with educators not included in the study. For this study, we focused on six questions (see Appendix 1).



    Qualitative approach


    This qualitative study used a modified grounded theory approach sensitized by the literature on identity and faculty development.11,13 Both authors are doctorally prepared educators with training and experience in conducting qua litative research. We knew all of the individuals interviewed, though to varying degrees. Despite the familia rity, we assumed that because the interview did not ask about the faculty develop­ ment program one of us (P.S.O’S.) runs or about the value of the program, the participants would be able to respond to our questions without feeling influenced. As interviewers, we took a naïve stance toward the questions and adhered to the interview guide.



    Procedures


    Thirty participants were solicited via e­mail to participate in 30­ to 60­minute interviews, and no incentives were offered. We conducted interviews in person or over the telephone from March 2012 through April 2012. We took extensive field notes during the interviews. The interviews were also audiotaped and transcribed. We debriefed the initial interviews and refined questions. Subsequently, we maintained an analytic memo docu­ menting our joint reflections and revisions to the interview guide.




    Analysis


    After reviewing the first six transcribed interviews in May 2012, we jointly deve­loped codes in accordance with identify formation and faculty development frameworks. We augmented our codes on the basis of detailed notes taken during each interview, which we also discussed jointly. In our final codebook from September 2012, we generated 139 detailed codes and then clustered them into 55 broader codes. Those codes were applied to the transcripts and managed using NVivo qualitative data analysis software, version 10.0 (QSR International, Melbourne, Australia). We then formed themes from the codes informed by theory and in response to our research questions. We conducted a member check by having participants review an initial draft of our manuscript. All of those who responded endorsed our interpretations and findings as an accurate reflection of their perceptions.


    Results


    All 30 invited faculty members agreed to participate, and we successfully interviewed 29 (97%). 

    This included 

      • 25 (86%) physician educators and 4 (14%) basic science educators; 

      • 5 (17%) assistant professors, 12 (41%) associate professors, and 12 (41%) professors; and 

      • 8 (28%) males and 21 (72%) females. 

    Participants reported having conducted faculty development workshops for between 1 and 22 years. Assistant and associate professors had 3 to 3.5 years of faculty development experience, whereas full professors averaged 11.6 years. List 1 provides the workshop topics that these faculty developers offered.


    연구질문1: 교수개발자들이 자신의 정체성과 그 형성에 대해 어떻게 묘사하는가?

    Research question 1: How do these faculty developers describe their identity and its formation?



    일차적 정체성

    Primary identity.



    참가자는 다음 네 가지 방법 중 하나를 사용하여 기본 정체성을 설명했습니다.

    Participants described their primary identities in one of four ways:


    1. 임상의의 정체성이 지배적인 임상가 교육자.

    1. Clinician educators, where their clinician identity predominates.

    2.  교육자 정체성이 기본인 임상가 교육자 또는 과학자 교육자 (기초 과학자 용)..

    2. Clinician educators or scientist educators (for basic scientists), where their educator identity is primary.

    3. 교육자가 유일한 정체성.

    3. Educator, where this is the sole identity.

    4. 멘토, 고문, 학자, 교수개발자 등 여러 역할이 자신의 정체성을 특징 짓는 리더 및 행정가 (예 : 과정 또는 사무원 또는 거주 프로그램 디렉터, 커리큘럼 학장, 부서장).

    4. Leaders and administrators (e.g., course or clerkship or residency program directors, curriculum dean, department chair), where multiple roles of mentor, advisor, scholar, and faculty developer characterize their identities.




    교수개발자로서의 정체성

    Identity as a faculty developer.


    우리 응답자 중 누구도 자신을 교수개발자로 인식하지 않았지만 몇몇 교사는 스스로를 "선생님의 선생님"라고 묘사했습니다 (MD1).

    Whereas none of our respondents saw themselves primarily as a faculty developer, several described themselves as “a teacher of teachers” (MD­1).


    많은 참가자들의 정체성은 결국 교수개발자를 포함하는 방향으로 진화했습니다. 그 실현은 세 가지 다른 관점에서 비롯된 것입니다. 개인 정체성의 일부로 통합 된 일부 교수진 개발자 :

    Many participants’ identities evolved to eventually include faculty developer. That realization came from three different perspectives. Some incorporated faculty developer as part of their personal identity:


    동료들에게 기대되는 교육의 질을 달성하는데 필요한만큼 교수 개발을 고려했습니다.

    Others considered faculty development as necessary to achieve the quality of teaching expected of their colleagues:


    고품질의 프리셉터를 모집하고 의대생이 훌륭한 교육 경험을 갖출 수 있기를 원한다면 그 사람들을 양성 할 수 있어야합니다. (MD4)

    If you want to be able to recruit high­ quality preceptors and ensure that your medical students have good educational experiences, you have to be able to train those folks. (MD­4)


    세 번째 관점에서, 일부는 교수진 개발이 그들이하는 일과 관계없이 pervasive되어 있다는 것을 인식했습니다.

    In the third perspective, some recognized that faculty development is pervasive regardless of what they do:


    요약하면, 우리는 참가자들이 일차적 정체성에서 출발하여, 교수개발자로서의 정체성을 공유한다는 것을 알게되었습니다. 그 정체성의 강도는 상당히 다양했으며, 종종 그들의 프로그램에서 교수법을 향상시킬 필요성과 관련되어있었습니다.

    In summary, we found that participants come from a primary identity and do share a faculty developer identity. The strength of that identity varied considerably and was often associated with the need to improve teaching in their programs.



    정체성 정렬

    Identity alignment.


    정체성은 교수개발과 specific하게 연결되어있기도 했지만, 그보다는 교수개발자를 포괄하는 "교육자"로서의 더 넓은 차원에서의 정체성과 연결되어 있었다.

    Participants described their current identity in one of the four identity alignment models reported in the literature; sometimes this identity was connected specifically to their faculty development identity, but more often the identity was associated with their broader identity as an educator, which included faculty developer.


    구획화된 정체성

    Compartmentalized identity.


    아주 드물게만 교수개발 워크숍을 진행하는 일부 주니어 교수들이 이 모델을 언급함.

    A few junior faculty members who rarely conducted faculty development workshops mentioned the compartmentalized identity model, in which they saw their faculty development work completely separate from their clinical and/or teaching work (Figure 1A).



    위계적 정체성

    Hierarchical identity.


    Some faculty members viewed their identities hierarchically, with one taking precedence over another (Figure 1B).




    평행적 정체성

    Parallel identity.


    For some participants, their multiple roles formed identities that were parallel, with minimal overlap (Figure 1C).


    인터뷰를 하는 과정에서 parallel에서 merged 로 변화해갔다.

    Interestingly, over the course of the interview, many transitioned from describing themselves as a parallel to a merged identity.



    통합된 정체성

    Merged identity.


    여러 역할이 고도로 통합되고 서로 영향을 주는 상태

    The merged identity was described as all roles becoming highly integrated and influencing the others. Some participants identified this merged identity through the lens of faculty developer (Figures 1D and 1E).





    교사로서의 정체성 형성

    Teacher identity formation.



    교육자로서 자신의 정체성 형성을 반영하듯, 한 참가자를 제외하고는 초기부터 모두 스스로를 교사로 보았습니다. 그들은 초등 학교, 고등 학교를 지나고 professional preparation을 거쳐 교수가 되기까지의 과정에서 교육에 대한 열정을 발견했습니다.

    Reflecting on their own identity formation as educators, all but one participant saw themselves as teachers early on. They described discovering their passion for teaching from elementary school to high school to professional preparation through to being a faculty member.


    나는 내가 어린 시절부터 선생님이되고 싶다는 것을 알고있었습니다. (PhD2)

    I knew I wanted to be a teacher from the time I was a little kid. (PhD­2)



    몇몇 참가자들은 자신의 정체성이 자신의 커리어 과정에서 진화했다는 것을 알고 있으며, 예상했던 방향과 전혀 다른 방향으로 움직이는 경우가 종종 있습니다. 그들이 시니어가 됨에 따라 멘토링과 교수개발 간의 관계가 더욱 분명 해졌다.

    Several participants recognized that their identity evolved over the course of their careers, often moving in quite different directions than they had anticipated and sometimes changing from year to year. As they became more senior, the relationship between mentoring and faculty development became more apparent.




    연구질문2: 교수개발자가 된다는 것이 커리어와 일상생활에 미치는 영향은?

    Research question 2: How does being a faculty developer affect one’s career and everyday work?



    커리어에 미치는 영향

    Impact on career.


    응답자의 대다수에 따르면, 교수개발을 진행하며 경력이 향상되었다. 그들은 종종 전국 회의 및 기타 기관에서 지역 워크숍을 개최했습니다. 이러한 가시적 성과와 보급은 자신의 지역내에서의 위상을 높이고 발전과 승진에 도움을 주었습니다. 새로운 기회는 지역 및 전국 교육위원회, 교육 리더십 직책 (예 :위원회 위원장, 사무장, 레지던트 프로그램 디렉터 및 부서장)을 포함하여 교수진으로서의 활동으로 인해 발생했습니다.

    According to the majority of respondents, conducting faculty development advanced their careers. They often presented their local workshop at national meetings and other institutions. This visibility and dissemination increased their stature locally and helped with their advancements and promotions. New opportunities arose as a result of their work as a faculty developer, including appointments to local and national education committees, and to educational leadership positions (e.g., committee chairs, clerkship directors, residency program directors, and department chairs).


    일상생활에 미치는 영향

    Impact on everyday work.


    또한 교수개발 워크숍이 일반적인 기술 (예 : 피드백, 의사 소통, 임상 적 추론, 임상 교육)을 다루는 경우, 이것이 어떻게 일상적인 업무까지 확장되는지에 대해 말했다. 교수개발자는 일관되게 자신의 교육에서 이 내용을 사용했으며, 종종 환자를 볼 때도 마찬가지였습니다. 이들은 콘텐츠 (예 : 효과적인 의사 소통)가 자신의 교수 (예 : 학습자 및 환자와의 의사 소통)에 정보를 제공해 주고, 반대로 자신의 교육이 교수개발에 도움을 주는 호혜적 또는 교환 프로세스를 설명했습니다.

    Additionally, they conveyed how their faculty development role extended into their everyday work, which occurred especially when their faculty development workshops covered general skills (e.g., feedback, communication, clinical reasoning, clinical teaching). Faculty developers consistently drew on this content in their teaching and often even when working with patients. These developers described reciprocity or an exchange process in which the content (e.g., effective communication) informed their teaching (e.g., communication with learners and patients) and their teaching informed their faculty development.





    연구질문3: 교수개발 역할이 교수개발자, 교육공동체, 실천공동체에 미치는 영향은?

    Research question 3: What impact does the faculty development role have on the faculty developer, the teaching commons, and the community of practice?


    교수개발자

    Impact on the faculty developer.


    교수진 개발 워크샵을 주도한 결과, 참가자들은 자신들이 신뢰와 전문성을 가지고 있다고 생각하고 존경심을 나타 냈습니다.

    As a result of leading faculty development workshops, participants reported that others viewed them as having credibility and expertise, and accorded them respect.


    이것은 자신의 지위를 상승 시켰을뿐만 아니라 스스로를 어떻게 보았는지를 바꾸었습니다. 많은 사람들이 교육에 더 많이 참여하고 전문 네트워크를 확대하여 교육 및 연구 분야에서 새로운 협력 관계를 창출했습니다. 워크샵은 교수개발자가 참석자들과 교육 연구에 관해 깊은 대화를 나눌 수있는 기회를 제공하였고, 이로 인해 faculty vitality가 더 향상되었다. 우리가 확인한 테마는 교수개발자 자신과 네트워크에 미치는 영향, 그리고 기관이 자신의 신원을 발전 시키는데있어 수행 한 역할에 관한 것입니다.

    This not only elevated their status but also changed how they viewed themselves. Many were invited to engage more in education and expanded their professional networks, creating new collaborations in teaching and research. The workshops offered opportunities for faculty deve­ lopers to have deep conversations about educational scholarship with attendees, which further supported faculty vitality. The themes we identified related to the impact on the developers themselves and on their network, and the role their institution played in the development of their identities.



    교수개발이 자기 이미지에 미치는 영향

    Relating to the impact of faculty development on their self image,


    교수개발자가 되어서 네트워크가 어떻게 넓어졌는가

    Citing how being a faculty developer broadened their network,


    교수개발자 정체성을 개발하는 데있어 기관의 역할을 연계 시키며,

    Linking the role of the institution in developing their faculty developer identity,




    기관

    Impact on the institution.



    참가자들은 교수개발 프로그램이 기관 문화의 일부가 되었다고 보고했다. 교수개발 프로그램에서 가르침으로써, 그들은 비슷한 생각을 가진 교사 공동체의 일부가 되어서 가르치고 배우는 것에 관한 공통 언어를 만들어 공유하였고, 교육 문제를 심도있게 토론하였으며, 다른 교수들과의 더 깊은 인간적인 관계를 형성하였다. 교수개발 프로그램은 또한 교사의 형성을 지원하고 학술적 접근을 장려했습니다. 또한 교수개발자로서 했던 것들이 교육 및 환자 치료에서의 전문적인 실천 공동체에 직접적으로 translate된다는 것을 인식하였다.

    Participants reported that the faculty development program has become part of the insti­ tutional culture. By teaching in the faculty development program, they became part of a community of like­ minded teachers who created and shared a common language about teaching and learning, and who discussed educational issues in­depth, fostering deeper inter­ personal relationships with other teach­ ing faculty. The faculty development program also encouraged a scholarly approach to teaching and supported the formation of teachers. Additionally, they recognized that what they did as developers translated directly into their communities of professional practice in teaching and patient care.


    고찰

    Discussion


    우리는 교수개발자의 정체성이 시간이 지남에 따라 발전했으며 교수진의 임상의, 과학자 및 교육자 역할과 밀접한 관련이 있음을 발견했습니다. 대부분은 가르침에 강한 관심을 갖고 이 일을 시작했습니다. 교수진 개발을 통해 지위를 높이고 경력 향상 및 전문직 기회를 지원할 수 있었습니다. 많은 개발자에게 교수개발 워크숍 (예 : 피드백)에서 제공 한 주제가 환자 및 학습자와의 상호 작용에 직접적인 영향을 주었습니다. 또한 교수진 개발자로서 교육 커뮤니티를 확대하고 교육 기관의 교육 문화를 강화했습니다.

    We found that faculty developer identity evolved with time and was closely related to the faculty members’ other roles as clinicians, scientists, and educators. Most came to this work with a strong interest in teaching. Providing faculty development clearly elevated their status and supported career advancement and professional oppor tunities. For many developers, the topic that they offered in faculty deve­ lopment workshops (e.g., feedback) had a direct impact on their interactions with patients and learners. Additionally, as faculty developers they expanded their teaching community and strengthened the educational culture of the institution.


    모델에서 예상했듯이 교수진 개발자는 종종 작업장의 "교습 커먼즈"에서 역할을 workplace에서 멘토링 및 교육 상담을 포함하는데 까지 확장했습니다. 

    As we anticipated in our model, faculty developers often extended their roles in the “teaching commons” of work shops to include mentoring and edu cational consultation in the work­ place.


    우리의 연구는 개인이 기존의 정체성에 추가적 정체성을 통합하는 방법과, 직업에 대한 정체성이 어떻게 진화 하는지를 기술함으로써, 전문적 정체성 형성Professional Identity Formation의 틀을 발전시킵니다. 참가자의 정체성은 4 가지 정렬 모델 중 하나의 라인을 따라 발전합니다 .11 정체성은 교수개발자의 정체성이 기존 정체성에 통합하여, 교육자 및 전문가(MD 또는 PhD)를 aligning하면서 진화합니다. 교수진 개발자로 채용 된 사람들은 이미 훌륭한 교사 였기 때문에 이는 놀라운 일이 아닙니다. 따라서 교수개발자의 정체성은 기존의 교육자 정체성에서 분명하게 나타났습니다.
    Our study evolves the framing of professional identity formation by describing how an individual incorporates an additional identity into existing identities and how identities evolve over a career. Participants’ identities evolve along the lines of one of the four alignment models11 as they incorporated a faculty developer identity into their existing identity, aligning educator and professional (MD or PhD). This is not surprising because individuals recruited as faculty developers were already excellent teachers. Thus, the faculty developer identity was manifest within an existing educator identity.

    • 처음 두 모델 (구획화 된, 계층적)에서 교수개발자의 정체성은 주로 교육자로서의 정체성과 관련이 있습니다. 
    • 병렬 정체성은 아마도 설명하기가 가장 어렵습니다. 이 정렬의 주요 특징은 참여자의 다양한 정체성에 대한 설명으로 완전히 분리되지는 않았지만 병합되지 않았기 때문에 서로 강한 연관성없이 평행하게 존재했다. 
    • 통합된 정체성의 경우 두 가지 모델을 생성했습니다. 그림 1D에서 MD / PhD, 교육자 및 교수진의 역할이 완전히 병합됩니다. 그러나 그림 1E에서 교수진 개발자 신원은 주로 교육자 신원에서 합병되었지만 3 가지 중 하나가 다른 것의 계층 구조가 아닌 방식으로 합병되었습니다.

    In the first two models—compartmentalized and hierarchical—the faculty developer identity was primarily related to their identity as an educator. The parallel identity is perhaps the most difficult to describe. The key distinctive features of this alignment are the participants’ descriptions of their various identities that were not completely separate but were also not merged—they existed in parallel without a strong connection to each other. For the merged identity, we generated two different models. In Figure 1D the roles of MD/PhD, educator, and faculty developer fully merge. However, in Figure 1E the faculty developer identity merged primarily within the educator identity but not in a way that any one of the three was hierarchical to the others.


    교수개발자 정체성을 통합하는 능력은 그들이 진행한 워크샵 주제, 경력 개발 단계 및 교수진 개발을 제공하는 빈도에 따라 달라졌습니다. 참가자들은 시간이 지남에 따라 역할과 책임이 달라지는 정체성의 유동성을 언급했습니다. 경험 많은 교수개발자가 교육자 역할이 발전하고 확장됨에 따라 자신의 정체성을 "merged"로 표시했지만, 여전히 일부 경험이 풍부한 교수개발자들은 "compartmentalized"로 지칭했다. 반대로 소수의 주니어 교수진은 "merged identity"를 가지고 있었다.

    The ability to incorporate the faculty developer identity appeared to be a function of the workshop topic that they presented, the stage of their career development, and the frequency with which they provided faculty development. Participants described fluidity in their identities that shifted as their roles and responsibilities changed over time. Although most experienced faculty developers labeled their identities as merged, especially as their educator roles evolved and expanded, there were a few experienced faculty developers whose identities remained compartmentalized. Conversely, a few junior faculty members had merged identities.


    또한 많은 기관에서 교수개발자가 리더십 역할을 수행한다는 것은 문헌과 일치합니다 .1

    Additionally, it is consistent with literature indicating that at many institutions, faculty developers move into leadership roles.1


    우리는 때때로 비정기적인 교수진 개발자가 개인의 정체성, 실천practice, 공동collegial 네트워크, 발전, 미래의 전문 기회를 변화 시켰음을 발견했습니다. 개인은 교수개발자로서 한 일을 자신의 직업과 정체성에 대한 특정 효과와 연계시킬 수 있습니다. 참가자들은 "신뢰할 수 있는 출처와 전문가가 되는 것"이라는 sense을 자주 언급했으며, 이 전문 지식을 자신의 커리어를 발전시키는 기회로 활용할 수있었습니다.

    We found that even being an occasional faculty developer changed individuals’ identities, practices, collegial networks, advancements, and future professional opportunities. Individuals could link the work they did in faculty development to specific effects on their careers and their identities. Participants frequently mentioned the sense of being a credible source and an expert, and they were able to parlay this expertise into opportunities that advanced their careers.


    참가자들은 또한 기관이 기관에 미치는 영향과 교수 개발 프로그램이 해당 기관에 미친 영향을 설명했습니다. 참가자 중 한 명은 "닭이냐 달걀이냐"의 비유를 사용하여 강력한 교수개발 프로그램이 교육 기관의 교육 가치를 높이고, 이는 결과적으로 교수개발자가 제공하는 것의 가치를 높이는 것으로 나타났습니다.

    Participants also described the impact that the institution had on them, as well as the impact the faculty development program had on the institution. One of our participants used the analogy of the “chicken or the egg,” suggesting that a strong faculty development program enhances the value of education in the institution, which in turn values what the developers offer.


    우리의 연구 결과는 교수개발자가 되기를 고려하는 사람들에게 격려를 제공합니다. 참여가 중요한 장점이 있으며, 많은 사람들이 의학 학계를 떠나는 이유로 지적한 고립과 지원부족을 완화 시켰기 때문입니다 .18 동료 교수자들 사이에서 높아진 명성에 추가하여 교수개발자 역할을 수행함으로써 부서, 학교 및 전국 전문 분야에서 개발자의 네트워크와 역할이 확대되었습니다. 다른 교수개발자들과의 커뮤니티가 교육자로서의 만족감과 웰빙에 중요한 것으로 나타났습니다. 이 교수개발자들은 팀으로 일하고, 서로 보고, 서로 배우고, 학습자, 동료 강사, 교수개발 지도자에게서 자신의 성과에 대해 상당한 피드백을 받았습니다.

    Our findings offer encouragement to those considering becoming faculty developers, because participation bes­ towed significant benefits and miti­ gated the isolation and lack of support identified by many as reasons for leaving academic careers in medicine.18 In addi­ tion to the identified prestige derived from teaching peers, teaching faculty development expanded developers’ networks and roles in departments, schools, and national professional asso­ ciations. Our participants found the community of other faculty developers important to their sense of satisfaction and well­being as educators. These deve­ lopers worked in teams, watched and learned from each other, and received considerable feedback about their performance from learners, coinstructors, and leaders in faculty development.


    우리의 연구에는 몇 가지 한계가 있습니다. 그것은 강력한 교육 문화로 유명한 단일 기관에서 실시되었으며, 특유의 교수진 개발 모델을 사용합니다. 대부분의 train the trainer TOT 모델과는 달리, 20-22 UCSF의 모델은 정기적으로 워크샵을 제공하는 훌륭한 교사 그룹의 개발과 지원에 달려 있습니다. 어떤 모델도 모든 기관에 적합하지 않을 것입니다 .17 또 다른 제약은 한 프레임의 정체성을보고 다른 프레임이 가능하다는 것을 인정한다는 것입니다.

    Our study has a few limitations. It was conducted in a single institution that is noted for a strong culture of education, and it uses a distinctive faculty development model. Unlike most train­ the­trainer models,20–22 UCSF’s model depends on the development and support of a large group of excellent teachers who provide workshops periodically. No one model will fit all institutions.17 Another limitation is that we looked at identity from one framing and acknowledge that other framings are possible.



    2 Skeff KM, Stratos GA, Mount JFS. Faculty development in medicine: A field in evolution. Teach Teach Educ. 2007;23:280–285.


    7 Amundsen C, Wilson M. Are we asking the right questions? A conceptual review of the educational development literature in higher education. Rev Educ Res. 2012;82:90–126.


    17 Austin AE, Sorcinelli MD. The future of faculty development: Where are we going? New Dir Teach Learn. Spring 2013:85–97.


    18 Pololi LH, Krupat E, Civian JT, Ash AS, Brennan RT. Why are a quarter of faculty considering leaving academic medicine? A study of their perceptions of institutional culture and intentions to leave at 26 representative U.S. medical schools. Acad Med. 2012;87:859–869.


    19 Goldie J. Assessment of professionalism: A consolidation of current thinking. Med Teach. 2013;35:e952–e956.



    Appendix 1 Six Questions Focused on in a 2012 Qualitative Study on Identity Formation of University of California, San Francisco School of Medicine’s Faculty Developers From 2007 to 2012a








     2014 Nov;89(11):1467-73. doi: 10.1097/ACM.0000000000000374.

    Identity formation of occasional faculty developers in medical education: a qualitativestudy.

    Author information

    • 1Dr. O'Sullivan is professor, Department of Medicine, University of California, San Francisco School of Medicine, San Francisco, California. Dr. Irby is professor, Department of Medicine, University of California, San Francisco School of Medicine, San Francisco, California.

    Abstract

    PURPOSE:

    Faculty developers play a crucial role in preparing faculty members for their instructional responsibilities. In some programs, faculty developers are clinicians and scientists who only occasionally conduct workshops. The authors examine the identity formation of such part-time faculty developers.

    METHOD:

    From April 2012 through March 2012, structured interviews were conducted with full-time faculty members who, from 2007 to 2012, periodically volunteered to teach workshops in the University of California, San Francisco School of Medicine's faculty development program. This qualitative study used a modified grounded theory approach.

    RESULTS:

    The authors interviewed 29 occasional faculty developers who had 1 to 22 years of experience conducting faculty development programs. All faculty had an educator identity along with their professional identity. The additional faculty developer identity generally evolved over time and aligned with their identity in one of four ways: compartmentalized, hierarchical, parallel, or merged. Their roles as faculty developers enhanced their status in their work community and influenced the way they worked with others and advanced their careers. Faculty development influences the institutional culture, and the institutional culture supports faculty development.

    CONCLUSIONS:

    Most occasional faculty developers possessed a merged identity that developed over time and was moderated by the topic that they taught. Although experience contributed to this development, both junior and senior faculty developers could have a merged identity. Those who lead faculty development programs can use these findings to recruit and retain faculty developers.

    PMID:
     
    24979283
     
    DOI:
     
    10.1097/ACM.0000000000000374
    [PubMed - indexed for MEDLINE] 
    Free full text


    한세기에 걸친 의예과 교육 비판 이후, 우리가 놓치고 있는 것은? (Acad Med, 2008)

    Perspective: After a Century of Criticizing Premedical Education, Are We Missing the Point?

    Jeffrey P. Gross, Corina D. Mommaerts, David Earl, and Raymond G. De Vries, PhD




    흥미롭게도 미래의 의사 양성을 위한 교과외 활동의 중요성에도 불구하고 의예과 교육의 개혁자는 교과 과정 개혁에 거의 전적으로 초점을 맞춘다. 마치 공식 교과 과정이 의사 양성의 모든 것인 듯 보였다. 일반적으로 개혁에 대한 이러한 요구는 "잠재 의예과 교육과정"이라고 불릴 수있는 것에 대한 인식이 부족합니다.

    Curiously, and despite the oft- acknowledged importance of extracurricular activities for the development of future physicians, would- be reformers of premedical education focus almost exclusively on curricular reform, as if the syllabus were all that mattered in the making of a physician. Generally, these calls for reform lack an appreciation of what might be termed the “hidden premedical curriculum”:


    의학 교육에서 잠재 교육과정의 역할은 오랫동안 인정 받아 왔습니다 1-2.이 커다란 커리큘럼은 전임상 학생의 사회화 경험에 필수적이며, medical training에서 성공하기 위해서 그들이 필요로하는 경쟁 전략으로 안내하고 지침을 제시합니다. 잠재 의예과 교육과정은 학생들이 배우는 것 뿐만 아니라, 배우는 방법, 그리고 또한 그들이 누구인지를 형성합니다.

    The role of the hidden curriculum in medical education has long been acknowledged.1–2 Not surprisingly, this larger curriculum is also critical to the socializing experience of premedical students, introducing them to, and instructing them in, the competitive strategies they will need in order to succeed in their medical training. The hidden premedical curriculum shapes not only what students know, but also how they know, and thus, who they are.


    우리는 교실 수업이 도덕적으로 적절한 행동을 생산하기에 충분하지 않다는 것을 알고 있습니다. 그러나 premedical 교육에 관해서는, 마치 "premed"가 되는 사회화 경험이 행동에 영향을 주지 않는 것처럼, 교육내용이 교육맥락을 trump하는 듯이 논쟁이 진행됩니다 미래의 의료 전문가. 우리는 도덕 교육에 관해서, 학생들이 배우는 방법 (그들이 배우는 환경 포함)이 그들이 배운 것보다 더 중요 할 수 있다는 것을 알아야합니다.

    We know that classroom instruction is not sufficient to produce morally proper conduct: When it comes to premedical education, however, the debate goes on as if content trumped context, as if the socializing experience of being a “premed” did nothing to influence the behavior of future medical professionals. We must realize that when it comes to moral education, how students learn (including the environment in which they are learning) may be more important than what they learn.







    Premedical 교육 : 비판의 역사

    Premedical Education: A History of Critique


    의학 교육을 준비하기 위해 무엇을해야합니까? Abraham Flexner의 1910 년 보고서, Medical Education in the United States and Canada에 따르면, 의대 입학 요건은 매우 다양했습니다. 일부 학교는 예비 과정 수료 과정을 수강해야하지만 나머지 과정은 수강료를 납부하기에 충분한 돈만 필요했습니다. 오늘날 Flexner 보고서와 미국 의과 대학 의학 교육 협의회 (American Medical Association)의 협의회 결과에 따라 엄격한 과학 지향적인 의예과 교육은 의과 대학 입학을 위한 필수불가결한 것sine qua non이 되었다. Pre-Flexner 년에는 충분한 돈만 있으면 의사가 될 수 있습니다. 오늘날 의과 대학 입학을 위해서는 생물학, 화학 및 물리 분야에서 높은 점수를 얻은 학부 교육, 광범위한 과외 활동 및 자원 봉사 활동, MCAT에서의 높은 점수 등 다양한 종류의 자본이 필요합니다.

    What should one do to prepare for medical education? Before Abraham Flexner’s5 1910 report, Medical Education in the United States and Canada, requirements for entry to medical school were highly varied. Some schools required completion of a collection of preparatory courses, whereas others required only money enough to pay the tuition. Today, as a result of the Flexner report and the work of the Council on Medical Education of the American Medical Association, a rigorous, science- oriented premedical education is the sine qua non for entry to medical school. In the pre-Flexner years, any student with enough money could become a physician; today, gaining admission to medical school requires a different kind of capital: an undergraduate education, including high marks in biology, chemistry, and physics, extensive extracurricular and volunteer activities, and a high score on the MCAT.


    Flexner의 보고서 이후 거의 100 년 동안 "엄격한" 의예과 교육의 내용에 대해서는 의견이 분분했다. 이러한 불일치에 대한 검토는 세 가지 유형의 비평가를 드러내고있다 : 

    • 기존의 premedical 교과 과정을 제거하자고 주장하는 사람들, 

    • premedical 교육이 중요하다고 믿지만, 과학에 너무 집중되어 있다는 걱정을 하는 사람들

    • premedical 최신 커리큘럼을 통해 학생들이 새로운 과학 및 의학 비즈니스를 제대로 준비 할 수 있도록 하자는 사람들.

    As one would expect, in the nearly 100 years since Flexner’s report, there has been disagreement about the content of a “rigorous” premedical education. Review of these disagreements reveals three types of critics: those who argue for eliminating a defined premedical curriculum, those who believe premedical education is important but worry that it has become too focused on the sciences, and those who call for constant vigilance in keeping the premedical curriculumup-to-date so that students will be properly prepared for the new science and business of medicine.


    루이스 토마스 (Luis Thomas)는 아마도 분절화되고, 명확하게 정의 된 premedical 커리큘럼을 제거하자는 의견에 대한 가장 유명한 옹호자 일 것입니다. 학사 학위 교육의 가치에 대한 그의 강한 믿음은 근대 의과 대학이 교양 과목에 "baleful하고 악의적인"영향을 주었다고 한탄하였다.

    Lewis Thomas6 is perhaps the best- known advocate for eliminating a separate and clearly defined premedical curriculum. His strong belief in the value of a baccalaureate education led himto lament the “baleful and malign” influence of the modern medical school on the liberal arts:


    나는 모든 의과 대학의 학장으로부터 다음과 같은 발표를 요구하는 제안을하고있다 : 이제부터, 스스로 "premed"라고 지칭하는 모든 지원자들, 즉 자신의 동기들과 수강하는 과목이 구분되는 학생들은 3개 stack중 3등이 될 것이다. "premedical society"의 회원 자격은 그 자체로 불합격의 근거가됩니다. "premedical 커리큘럼"이라고 불리는 것을 가지고 있거나 "premedical advisors"라고 불리는 사람들을 위해 사무실을 유지하고있는 모든 대학은 의과 대학의 인정에서 제외됩니다.


    I have a suggestion, requiring for its implementation the following announcement fromthe deans of all the medical schools: henceforth, any applicant who is self-labeled as a “premed,” distinguishable by his course selection fromhis classmates, will have his dossier placed in a third stack of three. Membership in a “premedical society” will, by itself, be grounds for rejection. Any college possessing something called a “premedical curriculum,” or maintaining offices for people called “premedical advisors,” will be excluded from recognition by the medical schools.


    토마스보다 덜 급진적이지만 그럼에도 불구하고 의예과 교육에서의 과학에 대한 과도한 관심은 premedical 교과 과정에서 인문학과 사회 과학을 추구하는 비평가들입니다. 1937 년에 Reinke7은 의사가 기술자가되어 가고 있다고 우려했다. 

    "현대 의사는 전임자보다 인간 본성에 대한 더 나은 통찰력을 가지고 있습니까? 그는 그 단어의 고대 의미에 있는 의사입니까 아니면 장기에 대한 치료자입니까? "

    Less radical than Thomas, but nonetheless concerned with the overemphasis on the hard sciences in premedical education, are those critics who push for more humanities and social sciences in the premedical curriculum. As early as 1937, Reinke7 worried that doctors were becoming technicians: 

    “Does the modern physician have any better insight into human nature than his predecessor? Is he a doctor in the ancient meaning of the word, or is he only a healer of organs?”



    40 년이 지난 후에, Wolf8은 너무 많은 과학에 의해 만들어진 마음의 형태에 대한 견해를 추가하여 이 걱정을 상기시킵니다.

    More than 40 years later, Wolf8 echoes this worry, adding a comment about the types of minds created by too much science:


    나는 우리가 인문학 분야에서 civilizing 배경이 부족한 젊은이들, 즉 거의 (책을) 읽지 않았을 뿐 아니라 전혀 쓰지도 않았을 수 있는 젊은이들을 의과대학에 데려 오는 것을 걱정한다. 또한 배워야 할 자료가 명확하게 정리되어있는 경우에만 배울 방법을 알고있는 사람들, 즉 concrete thinker들만 의과대학 입학이 쉬워지는 것을 우려한다.

    My concern is that we not only are bringing into medical school young men and women who lack a civilizing background in the humanities, who have read little and may have written not at all, but also we are making medical school admission easy for concrete thinkers, those who know how to learn only if the material to be learned is clearly laid out.



    이러한 유형의 비평가들은 과학과목이 인문학 분야를 밀어내고 있는 것을 두려워합니다. Gellhorn9 글 :

    Critics of this stripe fear that science courses tend to crowd out work in humanities and the human sciences. Gellhorn9 writes:


    인문 사회 과학 분야의 광범위한 교육을 위해 의예과 학생에게 헌신 할 시간을주기 위해서는 (의학에) 기여하지 않는 과정을 제거해야합니다. . . 화학, 생물, 물리 등의 교과목을 수정하여 그것이 생물 의학 분야와 직접적으로 관련되도록합니다.

    In order to give the committed premedical student time for a broad education in the humanities and social sciences, it is necessary to eliminate those courses which are not contributory . . . and to revise the course material in mathematics, chemistry, biology, and physics so that it is directly pertinent to the biomedical disciplines.



    premedical 교육에 대한 "수정, 거부하지 않음"접근 방식을 지지하는 사람들은 premedical preparation이 의학 및 의학 실무에 뒤처져 있다고 우려하는 세 번째 비평가 의견에 있습니다. Page10은 끊임없는 경계constant vigilance를 권고합니다.

    Sympathy for a “revise, but do not reject” approach to premedical education is found in the comments of a third set of critics who are concerned that premedical preparation lags behind the science and practice of medicine. Page10 recommends constant vigilance:



    대부분의 학교는 이제 최소한의 양의 생물학, 화학 및 물리학을 요구하지만, 이러한 전제 조건에 대한 명확한 근거가되는 있는 것 같지는 않다. 이 과목들이 학생에게 의학 연구에 중요한 지식의 토대를 제공하고 있습니까? 의술을 행하기 위해서 반드시 이러한 지적 도구가 있어야합니까?

    Although most schools now require ‘minimum’ amounts of biology, chemistry, and physics, there does not seemto be a clear rationale for these prerequisites....Arethecourses needed to give the student a foundation of knowledge important for his medical studies? Must he have these intellectual tools to practice medicine?


    2006 년에 작성한 Emanuel's11의 비판은 "현재 상태 유지"를 우려하는 가장 최근의 예입니다. 그는 메모 :

    Writing in 2006, Emanuel’s11 critique is the most recent example of the “keep it current” concern. He notes:


    많은 사전 준비 요구 사항은 미래의 의학 교육 및 실무와 무관합니다. 죄를 통합하는 방법을 아는 것이 재생 불량성 빈혈에서 TERC의 역할을 설명하거나 환자를 돌보는 것과 관련이 있습니까? 어떤 의사, 심지어 연구원이 Diels-Alder 부가 물에 대해 알아야합니까? 어떤 의료 행위와 관련된 회전 탑의 각운동량을 계산하고 있습니까? 미적분, 유기 화학 및 물리학의 1 년에 포함 된 대부분은 의료 종사자, 연구원 및 관리자에게 관련이 없습니다.

    Many premed requirements are irrelevant to future medical education and practice. Does knowing how to integrate sin  have anything to do with caring for a patient or elucidating the role of TERC in aplastic anemia? Do any physicians, even researchers, have to know about Diels– Alder adducts? Is calculating the angular momentumof a spinning top relevant to any medical practice? Most of what is contained in one year of calculus, organic chemistry, and physics is irrelevant to medical practitioners, researchers, and administrators.



    Emanuel은 premedical education의 많은 요구 사항이 이미 낡았으며, 단순히 학생들을 "제거weed out"하는 역할을한다는 것을 인정합니다.

    Emanuel acknowledges that many of the requirements of premedical education are outdated and serve simply to “weed out” students.



    Kramer13은 의예과 유기 화학의 골치거리(bane)을 변호합니다. "나는 유기 화학을 신청자가 떼를 모으는 단순한 도구로 성급하게 기각하지는 않을 것입니다. 정말로, 나는 (유기화학만큼) 임상 진료에 직접적으로 영향을 미치는 과목은 없다고 믿는다. "Higgins와 Reed14는 hard science의 가치를 무시하는 것에 조심 스럽다."우리는 많은 [Emanuel의 견해에 동의하지만, 유기 화학과 물리학을 배제하다는 것은 잘못되었다고 생각한다. "

    Kramer13 defends that bane of the premed—organic chemistry: “I would not so hastily dismiss organic chemistry as a mere tool to thin the applicant herd. Indeed, I believe that no other premedical course so directly impacts clinical practice.” Higgins and Reed14 are also wary about dismissing the value of hard science: “While we agree with many of [Emanuel’s] views, we think it is misguided to exclude courses in organic chemistry and physics.”




    놓친 것은? 

    What’s Missing?


    프레스 너 (1910)에서 엠마누엘 (Emanuel) (2006)까지 확장되는 의예과 교육에 대한 불만의 전통은 의예과 기간이 미래 의사의 머리에 지식을 채우는 것 이상이라는 사실을 무시합니다. 의과 대학 입학위원회가 수립 한 요구 사항과 의사가되기 위해 자격이없는 사람들을 "제거"하는 데 사용되는 과정 및 시험은 의과 대학의 엄격함을위한 토대를 마련하는 것 이상을 수행합니다. 의과대학의 선발 과정은 의계과 학생에게 독특한 규범과 가치 집합으로 이뤄진 문화를 형성한다. premedical 기간 동안 학생들이 교과서와 교사로부터 얻는 정보보다 더 많은 것을 배운다는 사실을 인정하기 위해서, (성적에 대한 과도한 우려, 극도의 경쟁력, 사교성의 부재로 특징지어지는) "premed syndrome"이 존재한다고 믿지 않아도 된다. 


    The tradition of complaint about premedical education that extends fromFlexner (1910) to Emanuel (2006) ignores the fact that the premedical years do more than fill the heads of future physicians with knowledge. The requirements established by medical school admission committees and the courses and tests used to “weed out” those who are not “qualified” to become physicians do more than lay the groundwork for the rigors of medical school—they also create a premedical student culture with a distinctive set of norms and values. One does not have to believe in the existence of the “premed syndrome”15—excessive concern with grades, extreme competitiveness, and lack of sociability—to acknowledge that during the premedical years, students learn more than information fromtheir textbooks and teachers.




    의예과 학생처럼 생각하기

    Thinking Like a Premed



    의대가 지원서를 검토 할 때, 그들은 이 학생이 성공하고 유능하고 보살피는 의사가 되기에 필요한 것 - 지적 능력과 성격 - 을 갖고 있는지를 알고 싶어 합니다. 의예과 학생들은 "내가 그러한 것을 가지고 있다는 것을 입학위원회에서 알 수 있도록 자신을 소개하는 방법은 무엇일까?"라고 묻습니다.

    When medical schools review applicant dossiers, they rightly want to knowone thing: does this student have what it takes—the intellectual ability and the character—to succeed and become a competent and caring doctor? For their part, premedical students ask, “Howdo I present myself so that an admissions committee will see that I have what it takes?”


    그들이 학부 과정을 통해 길을 탐색하면서, 의예과생들은 이력서의 학문적인 부분과 비 학문적인 부분을 모두 관리하는 법을 배우게됩니다.

    As they navigate their way through the undergraduate years, premeds learn howto manage both the academic and nonacademic portions of their resumes. 



    성공하는 법에 대한 조언

    Advice on how to succeed


    의예과생들이 받게 되는 조언의 유형을 더 잘 이해하기 위해 학부 대학의 계층화 된 무작위 표본의 사전 지향형 웹 사이트를 살펴 보았습니다.

    To better understand the type of advice that premeds receive, we looked at the premed-oriented Web sites of a stratified random sample of undergraduate colleges and universities.



    이 웹 사이트의 대다수는 학부생으로서 수강할 수 있는 과목에 대한 실용적인 조언을 제공하고 어떤 지역 자원이 있는지(premedical clubs, meeting, library libraries)를 설명하고, 지역 절차 (premedical위원회의 역할, 모의 스케줄링 인터뷰,위원회 서신 요구 사항)를 설명하고 있었습니다.

    The majority of these Web sites offer practical advice on the courses one should take as an undergraduate, direct students to local resources (premedical clubs, meetings, lending libraries), and explain local procedures (the role of the premedical committee, the scheduling of mock interviews, the requirements for a committee letter).


    조언의 연속체가 존재합니다. 이 연속체의 한쪽 끝에는 전략적인 조언이 있다 - "입학위원회를 만족시키기 위해이 일을해야만한다."- 그리고 다른 한쪽에는 성격을 형성하는 것에 대한 조언이 있습니다. "좋은 의사가 될 성격을 키우기 위해 이것을하십시오."

    There exists a continuum of advice giving. On one end of this continuumis the strategic—“you must do this to satisfy the admission committee”—and on the other end there is advice on creating character—“do this to develop the kind of character that will make a good physician.”



    언어의 미세한 그라데이션은 "자신의 성격을 만들어가는 방법"에 대한 조언과, 보다 도구적인 조언이라 할 수 있는 "입학위원회에 긍정적 인상을 주는 방법"을 구별합니다. MIT는 학생들에게 "이 과정이 성적표에 있어야한다"고 조언하지만 Yale은 "인문 사회 과학의 견고한 배경"의 가치를 강조했다.

    Fine gradations in language distinguish advice on “how to build one’s character” fromthe more instrumental “how to impress an admissions committee.” MIT simply advises students that these courses must be on their transcript, whereas Yale gives a nod to the value of a “solid background in social sciences in the humanities.”


    premedical 학생들이 연구에 참여해야합니까? 의예과생은 연구가 이러한 자질을 개발할 것이라는 말을 듣지 않습니다; 오히려, 그들에게 주어지는 조언은 "바람직한 성격을 갖추었음을 보여주라"는 전략적 목표에 맞춰져 있습니다.

    Should premedical students get involved in research? Notice that premeds are not told that research will develop these qualities; rather, the advice is geared toward the strategic goal of demonstrating character.


    자원 봉사의 가치에 대한 조언은 거의 동일합니다.

    Advice about the value of volunteer work is much the same.


    강조는 전략적 의료 학교 지원자가 자신의 성격을 “show” or “demonstrate” 해야한다는 것입니다.

    The emphasis is on the strategic— medical school applicants must “show” or “demonstrate” their character.



    여정인가 경쟁인가?

    Journey or tourney?


    우리는 성격을 develop하는 것과 그것을 demonstrate하는 것의 구분이라는 미묘한 본질을 깨닫습니다. 그러나, 그것은 학생의 성격을 확인하기 위한 방법으로 의도된 경험이, 의과대학 지원시에 "체크리스트의 상자"가 되고마는 사회적인 과정을 반영하는 구별입니다.

    We realize the subtle nature of the distinction between developing a trait and demonstrating it. However, it is a distinction that reflects a social process whereby experiences that were meant to be a way to check a student’s character become nothing more than “boxes to be checked” when putting together a medical school application.



    우리는 "성격의 전략화 - 성격의 개발"의 연속체가 학생과 행정관 사이에 입학 과정을 인식하는 방법상의 차이점과 연관되어 있었다. 여러 명의 전임 고문 및 의대 입학위원회 위원은 의과대학에 이르는(입학하는) 과정은 career in medicine 또는 다양한 의과 대학의 특성에 맞는 학생을 찾는데 도움이 되는 "여행"이라고 설명했습니다. 대부분의 학생들은이 비유를 받아들이지 않았습니다.

    We discovered that the “strategic/creating character” continuum tracked closely with differences in how students and administrators perceive the admissions process. Several premedical advisors and medical school admissions committee members described the path to medical school as a “journey” where the demands of the premedical years helped students discover their fit with a career in medicine and/or with the characteristics of different medical schools. Most students did not accept this metaphor, describing their premedical years more as a competition than as a journey.





    의예과 다시 생각하기

    Rethinking the Premedical Years



    premedical 교육 개혁을 요구하는 사람들은 학생들이 의과대학에 지원할 준비를 하면서 배우는 것들을 무시하면서 대부분 교육과정의 내용에만 집중합니다.

    Those who call for the reformof premedical education focus almost exclusively on the content of the courses, ignoring the many lessons learned by premedical students as they prepare their applications to medical school.


    학생들은 의예과 경험이 의대 진학의 수단이 아니라는 것을 알아야합니다. 그들의 성격을 형성하고있는 경험이기도합니다. 의예과 학생들이 잠재 교육과정의 영향력을 이해하는 데 도움이되는 가장 좋은 방법은 윤리 또는 전문성에 대한 또 다른 수업이 아닙니다. 필요로하는 것은 학생들이 조기 진료 전공에서 의사가되기로 선택하는 동기를 반영하고, premedical 문화가 그들의 행동에 미치는 영향을 인식하고, demonstration과 development의 차이점을 이해하도록하는 과정입니다 

    Students must realize that the undergraduate premedical experience is not just a means to enter medical school; it is also an experience that is shaping their character. The best way to help premeds understand the influence of the hidden curriculum is not another class on ethics or professionalism. What is needed is a course that encourages students, early in the premedical careers, 

    • to reflect on their motives for choosing to become a physician, 

    • to recognize the influence of premedical culture on their behavior, and 

    • to understand the difference between the demonstration and the development of character.






     2008 May;83(5):516-20. doi: 10.1097/ACM.0b013e31816bdb58.

    Perspectiveafter a century of criticizing premedical education, are we missing the point?

    Author information

    • 1Department of Psychology, University of Michigan, Ann Arbor, Michigan 48109-5429, USA.

    Abstract

    Ever since Abraham Flexner formalized the idea of premedical education in 1910, medical educators have argued about how best to prepare students for medical school. This back-and-forth about the premedical years has focused almost exclusively on the range and content of the required course work; noticeably absent from the debate is consideration of the ways in which the experience of the premedical years-including the curricular and noncurricular demands placed on students-shape the moral education of the next generation of physicians. The authors review the century-long conversation about premedicaleducation, highlighting the themes of that discussion and the important aspects of being a "premed" that have not been a part of the conversation. From their systematic review of college and university Web sites designed for premedical students and from comments collected from a symposium on the premedical years, the authors describe how life as a premedical student, and not just curricular content, teaches important lessons about what it means to be a professional. The authors also report important disparities in attitudes about premedical education; for example, premedical advisors regard the "sifting process" of premedical education as a "journey of discovery," whereas students describe their premedical years as a competition. The authors' work suggests a new approach to premedicaleducation, an approach that combines the coursework needed to succeed in medical school with formal opportunities to reflect on both the positive and pernicious effects of the premedical years.

    Comment in

    PMID:
     
    18448911
     
    DOI:
     
    10.1097/ACM.0b013e31816bdb58
    [PubMed - indexed for MEDLINE]


    의예과 교육의 관련성Relevance와 엄격성Rigor (NEJM, 2008)

    Relevance and Rigor in Premedical Education

    Jules L. Dienstag, M.D.




    최근 수십 년 사이에 과학 지식은 극적으로 바뀌었습니다. 한때 정착되었던 과학 원리가 정교한 개념과 완전히 새로운 분야로 대체되면서 의료 행위와 의료 전달에도 변화가 일어났습니다. 이러한 새로운 현실에 직면하여 의과대학 교과 과정이 적응해야했습니다. 그러나 분자 생물학과 세포 생물학 및 유전학에 의한 대부분의 의학 분야의 침투를 포함한 이러한 과도한 변화에도 불구하고 의대 입학 요건은 수십 년 동안 사실상 변함없이 유지되고 있습니다.

    In recent decades, scientific knowledge has changed dramatically, once-settled scientific principles have been replaced by more sophisticated concepts and entirely new disciplines, and parallel changes have occurred in medical practice and health care delivery. In the face of these new realities, medical school curricula have had to adapt. Yet despite these sweep- ing changes, including the perme- ation of most areas of medicine by molecular and cellular biology and genetics, requirements for ad- mission to medical school have remained virtually unchanged for many decades.


    아이러니하게도 오늘날 많은 고등학생들이 (제 세대가 대학이나 의과 대학에서 공부한) 고급 과학 및 수학을 배우고 있지만, 미국 의과 대학에서는 초등 생화학, 세포 생물학, 유전체학에 소중한 시간을 헌신하고 있습니다. 

    Ironically, though many of today’s high-school students are learning advanced science and mathematics that my generation studied in college or medical school, U.S. medical schools con- tinue to devote precious time in the preclinical years to elementary- level biochemistry, cell biology, and genetics.


    전임상 과정을 가르치는 교수진에 대한 압박은 임상 교과 과정에 더 빨리 진입 할 수 있도록 많은 의과 대학에서 전임 상 프로그램을 생략함으로써 강화된다. 동시에 많은 의대에서는 4 년 과정의 커리큘럼에 적합한 심층적 인 학술 프로젝트를 요구하고 있습니다.

    Pressure on faculty members teaching preclinical courses is intensified by the truncation of the preclinical program at many medical schools to allow for ear- lier entry into the clinical curricu- lum. At the same time, many med-ical schools are adding a requirement for an in-depth scholarly project that must also fit into a 4-year curriculum.


    일부는 생물학 1 년, 화학 2 년 (특히 유기 화학), 물리 1 년, 일부 학교에서는 1 년의 수학과 같은 현재의 의예과 요구 사항을 applicant pool을 thin out 시키는 necessary gauntlet으로 간주합니다 지원자 풀. 예를 들어 학생들은 생화학 학습을 준비하기 위해 1 년 동안 유기 화학을 정말로 필요로합니까?

    Some view the current pre- medical science requirements — 1 year of biology, 2 years of chem- istry (especially organic chemistry), 1 year of physics, and, in some schools, 1 year of mathematics — as a necessary gauntlet that thins out the applicant pool. Does a stu- dent, for example, really need a full year of organic chemistry to prepare for the study of biochem- istry?



    유전체학와 인포메틱스가 생체 의학 및 건강 관리에 혁명을 일으킬 시대이며, 우리는 의학을 추구하고자하는 학생들에게 높은 기준을 기대해야합니다.

    We should expect a high- er standard from students who wish to pursue medicine in an era in which genomics and in- formatics will revolutionize bio- medical science and health care.


    대학 의예과 과학 과정에 더 많은 시간을 할애해야한다고 주장하는 사람은 아무도 없습니다. 오히려 의학에 중요한"matter" 과학을 더 효율적, 집중적으로 가르쳐야 합니다. 또한 인간은 복잡하고 유기적으로 복잡하고 정교하게 외부의 영향을 받아 복잡한 유기체이기 때문에 우리는 이러한 복잡성을 반영하기 위하여 학생들이 학문 분야에 걸쳐 정보를 종합할 수 있도록 가르칠 필요가 있습니다. 불행히도, 그러한 synthesis을 교수들에게 요구하는 것은 학문별로 고립silo되어 있는 오래된 신성한 구분을 거부하는 것과 같다.

    No one is arguing for more time in college devoted to pre- medical science courses; rather, I support greater efficiency and a tighter focus on science that “matters” to medicine. In addition, because  human beings  are  complex  organisms whose di scret e syst ems are l i nked intricately and elaborately within the body and modified profound-ly by external influences, we need to teach in ways that reflect this complexity and that stimulate stu-dents  to  synthesize  information across disciplines. Unfortunately, asking faculty members to under-take  such  synthesis  defies  the long-sacred compartmentalization of disciplines into departmental silos.


    아픈 환자는 생화학적 문제, 해부학적 문제, 유전학 문제 또는 면역학 문제로 나타나지 않습니다. 오히려 한 사람의 건강 상태와 질병 상태의 결정은 복잡한 방식으로 상호 작용하는 무수한 영향의 산물입니다. 대학과 의과 대학에서 우리의 가르침은 이 개념적 프레임워크를 되풀이하고 여러 분야를 가로 질러야합니다.

    A sick pa-tient  does  not  represent  a  bio-chemistry  problem,  an  anatomy problem, a genetics problem, or an immunology problem; rather, each  person  is  the  product  ofmyriad in- fluences that interact in complex ways to determine health and dis- ease. Our teaching, in both college and medical school, ought to echo this conceptual framework and cut across disciplines.


    2006 년 하버드 메디컬 스쿨 (Harvard Medical School)은 임상기간 동안 기초 및 인구 과학의 강화를 목표로 한 새로운 학제 간 통합 통합 커리큘럼을 출시했습니다. 커리큘럼 개혁을위한 준비 과정에서 워킹그룹은 의예과 과학과목 준비의 엄격성을 강화하고, 생물학적으로 관련성이 높은 학제 간 과학 과정에 집중하였는데, 이 때 생물학, 화학, 물리학 및 수학에 대한 상호 보완적인 개념에 기반을 두고자 하였다.

    In 2006, we at Harvard Medi- cal School launched a new, more cross-disciplinary, integrated cur- riculum, one of whose goals was to amplify reinforcement of ba- sic and population sciences dur- ing  the  clinical  years.  In  prepa-ration  for  curriculum  reform,  a working group advocated for increased rigor of undergraduate science preparation and a refocusing on more biologically relevant and interdisciplinary science courses that demonstrate and build on complementary concepts in biol- ogy, chemistry, physics, and math- ematics.


    많은 대학에서 성공적으로 세포 및 분자 생물학과 유전학을 입문 생물학 과정에 도입했습니다. 그러나 이전의 화학 및 수학 요구 사항의 관련성 및 엄격성을 높이기에는 그다지 성공적이지 못했습니다.

    Many colleges have successful- ly incorporated cellular and mo- lecular biology and genetics into introductory biology courses. They have been less successful, how- ever, at increasing the relevance and rigor of premedical chemistry and math requirements.


    이상적으로, 유기 합성의 두 번째 학기로 시간을 보내는 대신에, 대학생들은 준비적인 유기 화학과 생화학의 기본 원칙 (특히 프로틴 구조와 기능)을 연속적으로 학습함으로써, 의과 대학 입학 전에 기본적인 생화학 학습을 마치고, 의과 대학 과목을 학습하기 위한 기초를 수립해야 한다.

    Ideally, instead of de- voting time to a second semes- ter of organic synthesis, college students could take a seamless sequence of preparatory organic chemistry and basic principles of biochemistry (especially pro-tein structure and function), com- pleting the study of introductory biochemistry before medical school and building a foundation for medical school courses


    대학 수학 과정은 

      • 생물학적으로 관련된 대수학 및 삼각법 양적 기술에 중점을 두어야합니다. 

      • 미적분과 수학적 묘사와 역동적인 생물학적 시스템의 불확실성에 익숙해져야 하지만, 생물과는 관련성이 거의없는 정리theorem을 유도하는데 주의를 돌리지 말아야 한다. 

      • 과학 및 의학 문헌의 이해에 필요한 확률 및 통계에 대한 적절한 근거를 제공해야합니다.

    college math courses should 

      • focus on biologi- cally relevant algebraic and trig- onometric quantitative skills; 

      • re- quire familiarity with calculus and the mathematical description and uncertainties of dynamic biolog- ic systems but not divert atten- tion to the derivation of theorems that have little relevance to biol- ogy; and 

      • provide adequate ground- ing in probability and statistics, which are required for an under- standing of the scientific and medical literature.


    대학 시절은 주로 professional school을 준비하는 학생들을 위하여 설계되어서는 안된다. 대학은 

    • 학문적으로나 지적으로 탐구하고 확장해가는 

    • 문학, 언어, 예술, 인문학 및 사회 과학을 포함하는 광대 한 교양 교육에 창의적으로 참여하는

    • 사회에서 시민권을 준비하는 

    시간이 되어야 한다.

    The college years should not be designed primarily to prepare students for professional schools. College should be a time 

    • to ex- plore and stretch academically and intellectually; 

    • to engage cre- atively in an expansive liberal arts education encompassing literature, languages, the arts, humanities, and social sciences; and 

    • to prepare for citizenship in society. 


    이 기초에는 

    • 분석, 글쓰기 및 의사 소통 기술

    • 유창하고 미묘한 영어 의사소통

    • 외국어 숙달; 

    • 인간 행동을 이해하고, 사회 구조 및 기능을 평가하고, 문화적 인식을 달성하고, 평생 자기 교육의 습관을 촉진하기위한 기초. 

    • 심층적이고, 지속적이고, 독립적인 학습을 통하여 지식을 습득하는데 깊은 성찰과 능동적인 역할을 하고, 탐구 영역에서 학자적 ownership을 갖춰야 한다.

    Includ- ed in this foundation should be 

    • analytic, writing, and communi- cations skills; 

    • fluency and a nu- anced facility in English; 

    • mastery of a foreign language; 

    • the basis for understanding human behav- ior, appreciating societal structure and function, achieving cultural awareness, and facilitating a habit of lifelong self-education; and 

    • in-depth, sustained, independent study, which fosters deep reflec- tion, an active role in acquiring knowledge, and scholarly owner- ship in an area of inquiry.


    효율성과 경제를 위한 합당한 처방은 재조정, 관련성 증가, 더 높은 기준 설정,보다 학제 적 사전 의학 과정의 설계를 장려하는 것을 포함한다.

    A rea- sonable prescription for efficien- cy and economy would involve 

    • refocusing, 

    • increasing relevance, 

    • setting a higher standard, and 

    • encouraging the design of more interdisciplinary premedical sci- ence courses.


    의예과 교육에 대한 동일한 우려에 대응하여 미국 의과 대학 협회와 Howard Hughes Medical Stitute는 사전 및 의학 과학 교육의 연속체에 대한 공동 평가를 수행했습니다. 여기에서의 권고 사항은 specific discrete 과정이 아니라, 과학적 역량을 중요시할 것이며, 엄격한 1 년에서 2 년의 분야 별 과학 과정에 대한 의예과 요건에서 벗어나서, 보다 창조적이고 혁신적인 과정을 도입하고, 생물학자와 의사가 실제 생활 문제를 실제적으로 탐색하는 방식을 엿볼 수 있게 해야 한다는 것이다.

    Responding to the same con- cerns about premedical science education, the Association of American Medical Colleges and the Howard Hughes Medical In- stitute have undertaken a joint, comprehensive assessment of the continuum of premedical and medical science education. The recommendations are likely to favor scientific com- petencies over specific discrete courses, implying that premedical requirements for rigid, 1-to-2-year, discipline-specific science cours- es should give way to more cre- ative and innovative courses that span and unite disciplines, offer- ing a glimpse of the way biolo- gists and physicians actually nav- igate real-life problems.


    이러한 새로운, 학문을 넘나드는 과학 과정을 만드는 것은 대학에 따라 어려울 수도 있다. 커리큘럼 요구를 해결하기 위해 자원의 가용성, 교수의 depth, 전통적인 부서의 정치적 의지가 학교마다 다양하기 때문이다.

    Creating such new, cross-dis- ciplinary science courses may well be diff icult for colleges, which vary in the availability of resources, depth of faculty, and political will of traditional departments to ad- dress these curricular demands.


    최근 몇 년간 여러 의과대학으로부터, 학부과정에서 과학 과목에 대한 요건은 약화시키고, 대신 윤리, 애타주의, 동정심, 청취 기술 및 건강 정책 및 경제 관련 기술을 가르치기를 요구하는 다양한 방안이 나왔습니다. 그러나 의학의 이러한 측면은 의과대학에서 가장 잘 가르칠 수 있는 것이다. 왜냐하면 경우 환자들과의 상호 작용이라는 의미있는 맥락과 관계되기 때문이다. 


    In recent years, calls have come from various quarters for medi- cal schools to require and for col- leges to teach ethics, altruism, compassion, listening skills, and skills relevant to health policy and economics — at the expense of science requirements. In my view, these aspects of medicine are best reserved for medical schools, where t hey can be t aught in the meaningful context of in- teractions with patients. 



    의학교육자는 학생들에게 과학적 토대를 둔 의학을 행할 수 있도록 가르치는 책임감을 진지하게 생각합니다. 의대가 그 책임을 완수 할 수있는 자유를 갖기 위해서는 학생들이 더 높은 수준의 과학적 능력을 갖추어야하며, 대학은 현대적이고, 정교하고, 생물학적으로 관련이있는 과학을 학생들이 효율적으로 준비할 수 있게 함으로써 기여할 수 있습니다 .

    Medical educators take seriously their re- sponsibility to equip students for the practice of scientifically an- chored medicine. If medical schools are to have the freedom to fulfill that responsibility, stu- dents should arrive with a higher level of scientific competence, and colleges can contribute by prepar- ing students more efficiently for the study of contemporary, so- phisticated, biologically relevant science.









     2008 Jul 17;359(3):221-4. doi: 10.1056/NEJMp0803098.

    Relevance and rigor in premedical education.

    Author information

    • 1Harvard Medical School, Boston, USA.


    지난 한 세기의 의예과 교육(Perspectives in Biology and Medicine, 2011)

    A Century of Premedical Education

    Donald A. Chambers,* Rhonna L. Cohen,† and Jorge Girotti‡








    지식 있고, 숙련되고, 자비로운 의사가 될 수있는 잠재력을 지닌 사람을 가려내어서 의학 교육을 받기 위해 최선을 준비하는 방법을 결정하는 것은 1800 년대 중반 이후 계속되고있는 도전 과제였습니다 (Ludmerer, 1985). 의학 교육이 거의 전적으로 proprietary이었을 때, 입학을 위한 우선적인 고려 사항은 적절한 재원을 확보하는 것이었습니다. 그러나 1800 년대 후반에 두 명의 남성이 미국에서 의학 및 의예과 교육을 구조화하는 원동력이 되었습니다.  Daniel Coit Gilman, of Yale and the University of California, later the founding President of Johns Hopkins University, and Charles W. Eliot, President of Harvard는 Flexner Report (1910)에 나오는 두 가지 급진적인 목표를 분명히 밝혔습니다. (1)의학교육을 대학에 두는 것, (2)물리학 및 생물학 연구 및 실험실 경험을 포함하여 엄격한 예비 교육을 정의 및 구현하는 것. Gilman과 Eliot는 독일과 영국 의학의 사례에 크게 영향을 받았으며 유럽의 주요 의료계 리더 (Barr 2010, Ludmerer 1985)의 조언을 받았다.

    IDENTIFICATION OF THOSE who have the potential to become knowledgeable, skilled, and compassionate physicians, and determining how best to prepare them for medical education has been an on ongoing challenge since the mid- 1800s (Ludmerer 1985). When medical education was almost exclusively pro- prietary, the primary consideration for admission was having adequate financial resources. However, in the late 1800s, two men became the driving forces for structuring medical and premedical education in the United States. Daniel Coit Gilman, of Yale and the University of California, later the founding President of Johns Hopkins University, and Charles W. Eliot, President of Harvard, articulated two radical objectives that would later appear in the Flexner Report (1910): to place medical education in universities and to define and implement a rigorous premedical education including the study of chemistry, physics, and biology and encompassing laboratory experience. Gilman and Eliot were influenced greatly by the examples of German and British medicine and were advised by major European medical leaders (Barr 2010; Ludmerer 1985).


    그 당시 대학 학위는 드물었습니다. 하버드 의대 학생들 중 단 20 %만이 학위를 소지했으며 (Ludmerer 1985), 의대에 지원 한 대부분의 학생들은 자격 시험을 통과했거나 적어도 1 년의 대학을 졸업했습니다. 1874-75 년 하버드는 물리학 (자연 과학)과 언어, 바람직하게는 라틴어로 대학 학위 또는 시험을 요구하는 최초의 의과 대학이었습니다. 존스 홉킨스 대학교 (Johns Hopkins University)의 존 쇼 교수 (John Shaw Billings)는 1877-78 년에 의학 연구를위한 선행 조건으로 "liberal scientific education"을 요구했다 (Fishbein 2001). 의학의 과학적 기반이 커짐에 따라 의학 교육자들은 개혁의 필요성을 인식하게되었습니다. 향후 20 년 동안 스탠포드, 캘리포니아 - 샌프란시스코, 미시건, 코넬 등의 대학교는 의과대학 수학에 필요한 필수 준비 과정을 지원하고 시행했습니다. 1893 년에 뉴욕 주 리전트 (Regents of New York)주는 뉴욕 주립대의 의대생이 최소 1 년의 대학 및 산수술, 미국사, 영어 작문 및 자연 과학의 연구를 포함하여 준비를해야한다고 입법했습니다 Barr 2009).

    At that time a college degree was a rarity. Only 20% of Harvard medical stu- dents had degrees (Ludmerer 1985), and most applicants to medical school either passed qualifying examinations or had had at least one year of college. In 1874– 75, Harvard was the first medical school to require a college degree or exami- nation in physics (natural science) and language, preferably Latin. John Shaw Billings, at Johns Hopkins University, called for a “liberal scientific education” as the prerequisite for the study of medicine in 1877–78 (Fishbein 2001). As the scientific basis of medicine grew, medical educators recognized the need for re- form. Over the next two decades, universities including Stanford, University of California–San Francisco, Michigan, and Cornell supported and implemented defined requisite preparation for medical studies. In 1893, the Regents of New York State legislated that all medical students in NewYork State had to have cer- tification of preparation, including a minimum of one year of college and the study of arithmetic, American history, English composition, and natural science (Barr 2009).


    1889 년에서 1893 년은 결정적이었습니다. Gilman은 Johns Hopkins Hospital and Medical School 개업으로 의학 교육 목표를 달성했습니다. Johns Hopkins Hospital and Medical School은 미국에서 의학 및 의예과 교육을 위한 모델이자 Gold standard가 되었습니다. 존스 홉킨스 (Johns Hopkins)가 모은 기부금은 여성 학생의 입학을 보장하는 의대 입학 정책을 형성하고 확고히 하는 데 도움이되었습니다 (Barr 2009, Fleming 1954). 존스 홉킨스 (Johns Hopkins)의 최초의 전임 의학 교수이자 학장 인 윌리엄 헨리 웰치 (William Henry Welch)는 의대에 지원하는 사람들이 잘 이해하고 분석 할 수있는 비판적 사고와 논리 기술을 갖추고 있어야한다는 우려를 표명했다. 의학 중심의 자연 과학에 대한 지식을 확대했다 (Fleming, 1954, Flexner and Flexner, 1941, Fishbein 2001). 20세기 초, AMA 교육위원회 (CME)는 의사에게 특화된 교육을 받을 수 있도록 학생들을 준비시키는 방법에 대한 질문을 받았다. 1905 년 Johns Hopkins와 Harvard만이 입학을 위해 대학 학위를 요구했습니다. 미국 인구가 급격히 증가함에 따라 대학에 다니는 청년 인구가 늘어나고 의대 지원자 수가 증가했다. 1905 년에 AMA와 AAMC는 화학, 물리학 및 생물학을 포함하여 1 년에서 2 년 동안의 대학 과정이 모든 의료 훈련을위한 절대적 요건이라는 것에 합의를 이루었다.

    The years 1889 to 1893 were pivotal. Gilman achieved his goal for medical education with the opening of the Johns Hopkins Hospital and Medical School, which became the model and gold standard for medical and premedical educa- tion in the United States. A critical endowment to Johns Hopkins helped shape and solidify their medical school admissions policy guaranteeing the inclusion of female students (Barr 2009; Fleming 1954). William Henry Welch, the widely influential academic physician-educator, who was Johns Hopkins’ first full-time medical faculty member and dean, expressed concern that applicants to medical school must have well-developed critical thinking and logic skills as a basis for understanding and expanding knowledge of the natural sciences central to med- icine (Fleming 1954; Flexner and Flexner 1941; Fishbein 2001). By the turn of the century, the AMA Committee on Education (CME) had taken on the ques- tion of how best to prepare students for specialized education necessary for phys- icians. In 1905, only Johns Hopkins and Harvard required college degrees for admission. As the population of the United States increased rapidly, there was a parallel increase in the number of young people attending college and an in- crease in the number of applicants to medical schools. By 1905, the AMA and AAMC were in agreement that a one- to two-year college course including chemistry, physics, and biology were absolute requisites for all medical training.


    Flexner 보고서는 Gilman 및 CME의 의학적 연구에 대한 "적합성"에 대한 전반적인 견해를 통합하면서, 실험실 경험을 포함한 물리학, 생물학 및 화학이 미국 및 캐나다의 거의 모든 의과 대학에서 요구되는 의예과 교육 과정의 핵심으로 받아들여지게 되었다.

    The Flexner Report consolidated the prevailing views of Gilman and the CME about “fitness” for medical studies as physics, biology, and chemistry including laboratory experience became the accepted core of the premedical curriculum required by almost all medical schools in the United States and Canada.


    인문학에 대한 연구와 광범위한 인문 교양 교육은, 의사들이 잘 교육 받고 사회 구성원으로 참여할 것으로 기대되기 때문에 (예 : Cooke 2010, Dienstag 2008, Nuland 1999), 의예과 교육의 필요하고 가치있는 요소로 간주되어왔다. . 그러나 과거 대부분의 사회에서는 의과대학에 진학하는 학생이 알아야 할 것이 무엇인지, 끊임없이 확장되는 과학적 기초에 대한 지식을 언제(의과대학 입학 전인지 후인지) 가르쳐 져야하는지에 대한 토론이 진행되어왔다 . Flexner는 물리학, 생물학 및 화학이 의학의 기초라고 생각하고 이러한 과목에서 성과가 열악한지를 기준으로, 자격이없는 지원자를 식별하고 이들을 제거 할 수있었습니다. 


    더 최근에, 의과대학생들의 화학과 물리학은 지원자를 제적시키는 역할만을 할 뿐, 의료 실무와 관련이 없기 때문에 덜 배워도 되고, 오히려 통계, 윤리 및 심리학 등이 의과대학 과정을 위한 의예과 커리큘럼에 더 중요하다는 주장도 있다 (Barr 2010, Emanuel 2006). 의예과 교육 개혁을 추구하는 대부분의 사람들은 코스 내용과 강조점의 변화를 모색하고 있으며, 경쟁이 치열한 환경이 예비 학생과 학부모에게 미치는 영향에 대한 우려를 표명했습니다. 캔터 (Kanter, 2008)는 학부 교육이 "더 나은 의사"가 될 수있는 근거인지 또는 의대에 더 나은 지원자인지에 대한 근거를 제공하는지 여부에 관한 중요한 질문을 제기했다.

    Study of the humanities and a broader liberal arts education have been as- sumed to be a necessary and valuable component of premedical education, as physicians are expected to be well-educated, participatory members of society (Cooke 2010; Dienstag 2008; Nuland 1999). However, for most of the past cen- tury there has been ongoing discussion and debate about what an entering med- ical student needs to know and whether knowledge of the ever-expanding sci- entific basis of medicine should be taught before or during medical school. Flexner considered physics, biology, and chemistry to be the foundations of medical science, and that a poor performance in these subjects could identify un- qualified applicants and weed them out. More recently, others would have less chemistry and physics for premedical students, arguing that these courses only serve to weed out applicants, or that they are irrelevant to medical practice, and that there is greater need in the undergraduate premedical curriculum for foun- dation courses in statistics, ethics, and psychology (Barr 2010; Emanuel 2006). Most who seek reform of premedical education have sought changes in course content and emphasis and have expressed a concern for the effects of the highly competitive environment on prospective students and their undergraduate expe- rience. Kanter (2008) has raised the critical question of whether undergraduate education is to provide the basis for being a “better doctor” or a better applicant for medical school.


    1972 년 뉴 잉글랜드 저널 오브 메디신 (New England Journal of Medicine, 1978)에 루이스 토마스 (Lewis Thomas)는 의예과 교육에서 급진적 변화를 제안하면서, 모든 과학을 제거하고 고전, 역사, 문학 및 철학으로 복귀 할 것을 촉구하였다. 이유는 우리의 premedical 문화가 모든 것과 관련된 모든 것을 "먹어"버린다는 것이 이유였다.  Thomas는 이러한 똑똑한 학생이 "인간이 항상 삶을 살았던 방법"에 대해 가능한 많은 것을 배운다면 "사회는 그러한 변화의 궁극적 인 수혜자가 될 것"이라고 믿었습니다. 의과학에 필요한 것들은 의과대학에서 그 이후에 배울 수 있으며, 의대에서 인간 생물학과 의학에 새로이 노출 된 학생들이 excited될 것이라고 보았다. Thomas, Gunderman and Kanter (2008)는 다음과 같이 결론을 맺었습니다.

    The peerless Lewis Thomas, writing in the New England Journal of Medicine (1978), proposed a radical change in premedical education, calling for the elim- ination of all science from premedical study and a return to the classics, history, literature, and philosophy, on the grounds that our premedical culture “eats away” at everything and everyone involved. Thomas believed that “Society would be the ultimate beneficiary” of such a change as these bright students would have learned as much as possible “about how human beings have always lived out their lives.” All necessary learning of medical science could then be done in medical school, where students newly exposed to human biology and medicine would be excited to learn. In their reflection on Thomas, Gunderman and Kanter (2008) conclude that:


    토마스는 두 가지 더 깊은 포인트를 만들고있었습니다. 첫째, 학부 커리큘럼은 의대 자체보다는 의학의 미래에 중요한 것으로 간주해야합니다. 둘째, 학부생들을 조기에 전문화 되지 않도록 안내하고, 대신에 그들이 의학 교육에 들어가기 전에 가능한 한 인간으로서 최대한 발전하도록 장려해야합니다. 내일의 의사가 의학, 지역 사회 및 환자의 직업에 봉사한다면, 오늘날 의학의 학생들은 인간이라는 것이 무엇을 의미하는지 깊이 있고 깊게 반영해야합니다. (1161 쪽)


    Thomas was making two more profound points. First, we should regard the undergraduate curriculum as no less vital to the future of medicine than medical school itself. Second, we should guide undergraduate students away from the path of premature specialization, instead encouraging them to develop as fully as possible as human beings before they enter medical training. If the physicians of tomorrow are to serve the profession of medicine, their communities and their patients, it is vital that today’s medical students arrive having reflected broadly and deeply on what it means to be human. (p. 1161)





    2009 년 Dienstag는 뉴 잉글랜드 의학 저널 (New England Journal of Medicine)에서 특히 "화학 및 수학 분야의" Premedical Education에서 Relevance and Rigor를 요구했습니다. 그는 

    • 학생들이 정보를 종합하고 분석 할 수있는보다 학제 간 과정, 

    • 그러한 변화를 반영하기위한 MCAT의 개정, 

    • premedical 학생들이 의사에게 기대되는 리더십과 시민권 역할을 준비 할 수 있도록, 더 넓고 의미있는 교양 교육을받을 수있는 시간과 지원을 주장했다. 

    In 2009, Dienstag, in the New England Journal of Medicine, called for “Rele- vance and Rigor in Premedical Education,”especially in chemistry and math. He argued for 

    • more interdisciplinary courses in which students would synthesize and analyze information, 

    • revision of the MCAT to reflect such changes, and 

    • time and support for premedical students to have a broader, more meaningful liberal arts education to prepare them for the leadership and citizenship roles expected of physicians.



    가장 최근에 그리고 강력하게 HHMI-AAMC (2009) 보고서는 미래의 의사를위한 과학 기초에 관한 보고서에서 어떤 예비 학습 과정의 예비 의학 학생들에게도 "과학과 수학의 주요 개념과 기술을 배우고 의과 대학에 이 과학 기반 위에 과학 기반 의학을 실천할 수있는 능력을 제공하는 과학적 역량을 구축해야한다"고 기술했다. 이 역량 기반 커리큘럼은 학생들이 "수학의 기본 원리를 사용하는 지식과 능력을 모두 보여줄 수 있도록 설계된 학습 목표를 제시합니다 인간 건강과 질병에 과학을 적용하는 데 필요한 통계, 물리학, 화학, 생화학 및 생물학; 관측 및 분석 기술과 그러한 기술과 원리를 생물학적 상황에 적용 할 수있는 능력을 보여줍니다. "

    Most recently and compellingly, an HHMI-AAMC (2009) report on the Sci- entific Foundations for Future Physicians calls for premedical students of whatever primary course of study to “learn the major concepts and skills of science and mathematics, leaving to medical schools the task of building on this scientific foundation the further scientific competencies that provide them the ability to practice science-based medicine.” This competency-based curriculum suggests learning objectives designed so that students will “Demonstrate both knowledge of and ability to use basic principles of mathematics and statistics, physics, chem- istry, biochemistry, and biology needed for the application of the sciences to human health and disease; demonstrate observational and analytic skills and the ability to apply those skills and principles to biological situations.”



    20 세기에 표준적인 의학교육은 4년의 학부와 4년의 의과대학으로 정착하였으나, 중간중간 약간의 variation은 있었다. 예를 들어, 세계 대전 Ⅰ과 Ⅱ에서 의사에 대한 수요가 늘어남에 따라 의과대학은 3 년으로 단축되었으며 학부 요구조건이 감소되었습니다. 이 프로그램의 성공으로 인해 종종 6 년으로 진행되는 병합된 의예과/의학과 프로그램이 생겼는데, 현재 미국에는 약 46 개의 학사-MD 연계 프로그램이 있으며 다양한 missions와 형식이 있습니다. 이 프로그램의 졸업생은 성공적인 의사가 될 수 있고 성공적인 의사이지만, 이러한 프로그램 중 일부는 엄격하고 다양하며 완전한 학부 경험을 희생함으로써 생존한다는 공통적인 우려가 있습니다.

    For the major part of the 20th century, the standard premedical/medical cur- riculum required a four-year undergraduate degree followed by four years of medical school, culminating in a medical degree, with some variations on this theme. For example, to meet the enhanced demand for physicians during World Wars I and II, the medical school experience was accelerated to three years, and the undergraduate prerequisite was diminished.The apparent success of this pro- gram suggested the concept of shortened combined premedical/medical school programs, often to six years. At present, there are approximately 46 baccalaure- ate/MD programs in the United States, with a variety of missions and formats. While graduates of these programs can be and are successful physicians, a com- mon concern is that some of these programs survive at the expense of a rigor- ous, varied, and complete undergraduate experience.


    시카고 일리노이 대학 (University of Illinois Chicago) (UIC)의 의학 분야에서 GPPA (Guaranteed Professional Program Admission)는 1996 년 UIC에 우수한 학생을 끌어 들이기 위해 대학의 총장 David Broski의 지시에 따라 시작되었습니다. 이것은 학생이 고작 3.5 평점을 유지하고 마지막 점수의 평균 점수와 동일한 MCAT 점수를 획득 한 경우, 재능있는 고등학교 졸업자를 받아 들여 우리의 의과 대학에서 한 곳을 보장하는 학사 학위 / MD 프로그램입니다 올해의 M1 학급 수업.

    The Guaranteed Professional ProgramAdmissions (GPPA) in Medicine at the University of Illinois at Chicago (UIC) was initiated in 1996 at the direction of David Broski, the chancellor of the university, in order to attract superior stu- dents to UIC. This is a baccalaureate/MD program that accepts highly talented high-school graduates and guarantees them a place in our College of Medicine, provided that the student maintains a minimal 3.5 GPA and achieves a score on the MCAT equal to the average score of the last year’s matriculated M1 class.


    연간 20 명에서 30 명까지의 학생들에게 약 400 건의 신청서가 접수됩니다. 입학 전형 프로그램은 지원자 수를 약 75 명으로 줄이고 각 최종 후보는 GPPA 전문 대학의 인터뷰 대상자와 인터뷰합니다. 일반 면접 질문은 다음과 같습니다. 내가 너에 대해 알고 싶다면 해야 하는 질문은 무엇입니까? 당신은 어떤 면에서 흥미로운 사람입니까? "왜 당신은 의사가되고 싶니?"라고 자주 묻는 질문은 절대로하지 않는다. 매년 입학하는 학생들은 ACT 점수가 평균 34 점이나 SAT가 1400을 넘습니다. 모든 학생들은 고등학생 중 상위 5 %에 ​​속하며 최상위 학급 기관 (학생을 잃은 학교를 대표 함)에 경쟁력이 있습니다. 우리 수업의 75 %가 아시아계 미국인입니다.

    For an annual intake of 20 to 30 students, we receive approximately 400 appli- cations. The admissions screening program narrows the number of applicants to approximately 75, and each finalist is interviewed by a GPPA College of Med- icine faculty member.Typical interview questions include: what are the questions I could ask you that will tell me what you want me to know about you? and why are you an interesting person? We never ask the often-expected question “why do you want to become a physician?”The students who matriculate each year have ACT scores that average 34 or an SAT over 1400; all students are in the top 5% of their high-school class and are competitive for top-tier institutions (which represent the schools we lose students to). Seventy-five percent of our class are Asian Americans.


    이 프로그램의 명시된 사명은 사회적 계약의 진화와 그것이 의학과 가지는 관계의 맥락에서 의예과 교육을 촉진하는 것입니다. 이 임무에는 다음과 같은 다섯 가지 역량이 있습니다. 

    (1) 비판적 사고 기술 습득. 

    (2) 생각하는 것이 중요하다고 결정하는 것; 

    (3) 의과대학에서 잘 배우기 위한 기초를 쌓는 것; 

    (4) 삶의 의미와 즐거움을 가져오는 가져 오는 개인 영역을 확인하는 것; 

    (5) 사회에 적극적으로 참여하는 것.

    The stated mission of the program is to facilitate an undergraduate premed- ical education in the context of the evolution of the social contract and its rela- tion to medicine. Coupled to this mission are five competencies for students to achieve, including: 

    (1) acquiring critical thinking skills; 

    (2) determining what is important to think about; 

    (3) learning the fundamentals necessary to excel in medical school; 

    (4) identifying the personal areas that bring substance and joy to life; and 

    (5) becoming an active participant in society.


    본질적으로 모든 학생들은 의대에 진학합니다. 매년 약 25 %가 받아 들여지고 하버드, 시카고 대학, 미시간 대학, 노스 웨스턴을 포함한 UIC 이외의 의과 대학에 진학하기로 결정했습니다. 학부 졸업 때 GPPA 수업의 40 % 피 베타 카파 (Phi Beta Kappa)로 선출되며, 명예 의학 사회 인 알파 오메가 알파 (Alpha Omega Alpha)에 20 % 선거가 실시됩니다.

    Essentially, all of our students go on to medical school. Each year about 25% are accepted and choose to go to medical schools other than UIC, including Harvard, the University of Chicago, the University of Michigan, and North- western.At the time of undergraduate graduation, usually 40% of the GPPA class are elected to Phi Beta Kappa, and subsequently 20% gain election to Alpha Omega Alpha, the honorary medical society.



    처음 몇 년 동안, GPPA 학생들은 UIC Honors College에 배정 받았고, 그 기준을 충족시키는 것 외에는 의예과 요구 사항 이외의 요구 사항이 없었습니다. 저자 중 한 명(DAC)이 프로그램에 참여하게 되면서, 표준 의예과 프로그램을 개발할 엄청난 기회가 있음을 깨달았다..

    For the first several years, GPPA students were assigned to the UIC Honors College, and other than fulfilling the criteria of that unit had no requirements in addition to the standard premedical requirements.When one of us (DAC) became engaged in the program, he realized that this was a splendid opportunity to develop a model premedical program.


    우리는 

    • (1) 학생들에게 의학의 본질과 의학이 liberal arts education(이 책과 Flexner와 관련이 있음)에서 어떻게 벗어 났는지

    • (2) 의학의 예술 및 과학, 또는 의학의 과학이 의료 실무에서 어떻게 효과적으로 translate 될 수 있는지; 

    • (3) 의학의 역사와 철학; 

    • (4) 건강 정치가 건강 권리 또는 특권인지 여부를 중심으로하는 건강 정치, 보건 및 글로벌 건강과 관련된 현안 문제.


    ...등을 목표로하는 핵심 교과 과정을 개발했습니다. 

    We developed a core curriculum aimed at: (1) introducing our students to the nature of medicine and how it devolves from a liberal arts education (particularly relevant to this volume and Flexner); (2) the art and science of medicine, or how the science of medicine can be effectively translated in medical practice; (3) the history and philosophy of medicine; and (4) contemporary problems involving health politics, health care and global health, discussions that often center on whether health care is a right or a privilege.


    결론적으로 Johns Hopkins University를 미국 의학 교육의 황금 표준으로 승화시킨 Daniel Coit Gilman과 William Welch의 꿈은 미국의 의학 교육을 세계에서 주도적 인 역할로 끌어 올린 현실이되었습니다. 대학을 의학 교육의 기초로서 확립함으로써, 대학은 의예과 교육의 중심으로 자리 잡았습니다. 대학은 Flexner Report에 의해 공식화되고 삶life을 얻었습니다. 의학 과학 및 모든 과학 분야의 20 세기 선진 연구가 극적 이었지만, premedical 및 medical curriculum의 수반 된 변화는 덜 그렇습니다. 아마도 이것은 의학 교육을 기초 과학 및 임상, 환자 중심 활동으로 분리하는 창립자의 교육적 천재 때문일 것입니다. 그러나 생물 의학 혁명, 유전체학, 이미징을 포함한 최근의 지적, 기술적 혁신으로 인하여, 학제 간, 생명 윤리, 전문성, 휴머니즘 및 건강 정책에 새로운 도전이 등장했습니다. 우리는 의학을 learned profession으로 invigorating함으로써, 21 세기의 의예과 교육과 의학 교육을 모두 포함 할 수 있는 극적인 혁명의 새벽에있을 가능성이 높습니다. 

    In conclusion, the dreams of Daniel Coit Gilman and WilliamWelch, which elevated Johns Hopkins University to the gold standard for U.S. medical educa- tion, have become the reality that has lifted American medical education to its leadership role in the world. The establishment of the university as the basis for medical education also made the university the center for premedical education, which was formalized and given life by the Flexner Report.Although 20th-cen- tury advances in medical sciences, and all sciences, were dramatic, accompanying changes in the premedical and medical curriculumhave been less so. Perhaps this is because of the educational genius of the founders in dichotomizing medical education into basic science and clinical, patient-centered activity. However, in the light of the intellectual and technological innovations of the recent past, in- cluding the biomedical revolution, genomics, and imaging, new challenges have emerged in interdisciplinarity, bioethics, professionalism, humanism, and health policy. It is likely that we are at the dawn of a dramatic revolution that will encompass both premedical and medical education in the 21st century, thereby invigorating medicine as a learned profession.





     2011 Winter;54(1):17-23. doi: 10.1353/pbm.2011.0011.

    century of premedical education.

    Author information

    • 1Department of Physiology and Biophysics and GPPA Program in Medicine, University of Illinois College of Medicine at Chicago, Chicago, IL 60612, USA. rcohen@uic.edu

    Abstract

    The Flexner Report established guidelines for medical education and made the university the obligate home for medical education. Flexner mandated specific elements necessary for university-based premedical education. With the exception of the MCAT, much less attention has been paid to premedical education and its integration into the scope of medical education than to education within the confines of the medical school. This article reviews the history of premedical education, describes some recent critiques of premedical education, discusses a newer program for premedical education evolving at the University of Illinois at Chicago, and offers some suggestions for the future.

    PMID:
     
    21399379
     
    DOI:
     
    10.1353/pbm.2011.0011
    [PubMed - indexed for MEDLINE]


    + Recent posts