성공적인 교육과정 개혁에는 조직문화가 중요하다 (Academic Medicine, 2015)

Culture Matters in Successful Curriculum Change: An International Study of the Influence of National and Organizational Culture Tested With Multilevel Structural Equation Modeling

Mariëlle Jippes, MD, PhD, Erik W. Driessen, PhD, Nick J. Broers, PhD,

Gerard D. Majoor, PhD, Wim H. Gijselaers, PhD, and Cees P.M. van der Vleuten, PhD

전 세계적으로 의학교육은 교육과정의 한계로 인해 혁신을 요구받고 있다. 약 1/3의 의과대학이 통합교육 및 PBL을 도입했지만, 여전히 변화가 없거나 변화에 난항을 겪는 학교가 많다. 의과대학 교육과정 개편의 성공이 국가적 문화 특성과 관련된 요인들에 영향을 받긴 하나, 변화에 대한 조직문화의 영향에 관해서는 주로 기업체에서 논의되어왔다. 직관적으로 조직의 가치, 신념, 행동방식 등이 국가적 가치, 신념, 행동에 영향을 받았을 것이다. 국가적 문화와 조직 문화의 상호연관성에 대한 연구의 부족을 고려하면, 더 연규가 필요하다.

Medical education has seen a rising demand internationally for innovation due to perceived shortcomings of medical curricula: theoretical overload, lack of practical experience, insufficient community orientation, and inefficient teaching methods.1–3 Although around one-third of all medical schools have adopted integrated and problem-based learning (PBL) curricula in the past decade in response to this demand,4 there are many schools that continued unaltered or whose efforts in innovation have floundered. Whereas the success of medical curricular reforms has been associated with factors related to national culture,4,5 the influence of organizational culture on change processes has only been described for business reorganizations.6–9 Intuitively, it seems to make sense that values, beliefs, and practices of organizations can be expected to derive from national values, beliefs, and behavior.10 Given the paucity of results from empirical research on the interconnectedness of national and organizational culture,10–13 this subject deserves further investigation. Available research revealed that organizations in the same country vary because of differences in organizational culture; however, organizations in different countries vary even more because of the additional influence of national culture.10,13 

어떻게 국가와 조직의 문화가 의과대학 교육에 영향을 주는가에 대한 통찰력은 교육과정 개혁을 촉진하기 위해서 학교가 반드시 해결해야 할 문제를 찾아줄 수도 있다. 기존 연구가 사실상 거의 없기 때문에 우리는 조직과 국가 문화가 교육과정 변화에 영향을 주는가를 알아보고자 하였다. 기존 문헌에 근거하여 국가와 조직 문화, 교육과정 변화에 영향을 주는 요인들의 상호관련성에 대한 가설을 세웠다.

Insight into how national and organizational culture influence medical curriculum change may identify issues that schools must address to facilitate curriculum innovation. Because no existing research seemed available, we explored the influence of national and organizational culture on curriculum change in medical schools. After reviewing the literature on the concepts of successful curriculum change and national and organizational culture, we arrived at a definition of these concepts for this study. On the basis of the literature, we hypothesized seven relationships between factors related to national and organizational culture and curriculum change, which we incorporated in a conceptual model (Figure 1). 

Background 

성공적인 교육과정 변화

Successful curriculum change 

'성공적인 교육과정 변화'에 대한 공통된 정의나 척도가 없기에 두 가지를 활용하였다. MORC와 Employee resistance 

There exists no universal definition and measure of successful (curriculum) change. Instead, we used two derivates to operationalize successful curriculum change: medical schools’ organizational readiness for curriculum change (MORC) and employee resistance.14–18 

• MORC consists of two positive dimensions (motivation and capability) and one negatively phrased dimension (extrinsic pressure).17,18 
• In addition, employee resistance has been shown to decrease the chance of successful organizational change.19,20 

We expect that organizational readiness for change and a low level of faculty resistance, in general, are positively related to successful change. 

조직 문화

Organizational culture 

조직 문화에 대한 정의와 척도는 여럿 개발되어 있음. Kalliath et al 의 설문이 가장 적합해보였음. 두 축을 가지고 있음.

Many definitions21 and measuring instruments22 have been developed to advance understanding of organizational culture. The compact and widely used22 questionnaire developed by Kalliath and colleagues23 based on Quinn and Spreitzer’s24 competing values framework seemed most appropriate for the setting and purpose of this study. The competing values framework comprises elements of organizational effectiveness sorted along two axes: “flexibility–control” and “internal–external,” which results in four competing organizational models (Supplemental Digital Figure 1, http:// links.lww.com/ACADMED/A264).24 

For example, medical schools that emphasize belongingness and trust tend to be dominant in the human relations quadrant. The leadership style in such medical schools reflects teamwork, participation, empowerment, and concern for employee ideas. Flexible organizations (“human relations” and “open systems”) tend to respond more positively to change than those featuring control-driven policies and regulations (“rational goal” and “internal process”).15,24,25 We expect that flexible policies, in general, are positively related to successful change. 

국가 문화

National culture 

국가의 문화를 정의하기 위한 시도 중 Hofstede의 모델이 가장 많이 활용된다. 여섯 개의 dimension.

Among numerous attempts to define and quantify national culture,12,26–29 Hofstede’s26 model is applied most widely. It distinguishes six dimensions of national culture, three of which are most relevant in relation to curriculum change.4 Supplemental Digital Table 1 (http://links.lww.com/ACADMED/ A264) provides a list of all participating countries with their scores on the different dimensions. 

불확실성을 기피하거나 통제위주의 정책을 할수록 성공적 변화 가능성은 낮다고 가설 설정

“Uncertainty avoidance” describes the degree of acceptance of uncertainty and a need for predictability, which is often pursued by adherence to written or unwritten rules. In countries with strong uncertainty avoidance (e.g., Belgium and El Salvador), organizations,30–33 including medical schools,4,5 tend to be averse to change. Uncertainty avoidance features, such as strict rules and regulations, correspond to the organizational models of rational goal and internal process. Support for the effect of national values on organizational values with respect to uncertainty avoidance was demonstrated by House and colleagues.12 We expect that national uncertainty avoidance values and control-driven policies, in general, are negatively related to successful change. 

위계적이거나 불평등한 관계를 받아들이는 정도이다. 이 정도가 클수록 성공적인 변화 가능성이 낮음. 국가적 Power distance value와 rigid hierarchy가 성공적인 변화와 부의 관계가 있다고 가설 설정

“Power distance” describes the degree of acceptance of hierarchical or unequal relationships, which demonstrated diverse effects on different phases of the change process. Low power distance (e.g., in Sweden and Canada) in the initiation phase may invite employees to suggest innovations to their superiors, thus stimulating change.34,35 By contrast, the implementation phase may benefit from hierarchic control as a result from strong power distance.30,35–37 Research in medical schools has demonstrated a negative relation between power distance and the presence of innovative curricula.4,5 Overall, there seems to be a tendency for a negative relation between power distance and organizational readiness for change.14,38 Features of power distance, such as a rigid hierarchy, resemble those of the organizational model “internal process.” The effect of national values on organizational values with respect to power distance was also demonstrated by House and colleagues.12 We expect that national power distance values and a rigid hierarchy, in general, are negatively related to successful change. 

개인주의. 개인주의 성향이 높을수록 개개인의 구분과 새로운 아이디어를 받아들을 가능성이 높음. 그러나 교육과정을 도입하는 단계에서는 개인주의 성향이 낮은 것이 더 좋다. 우리는 국가적 수준의 개인주의 성향과 성장과 혁신에 초점을 두는 성향이 성공적 변화와 관련된다고 가설 설정

“Individualism” refers to the degree of emphasis placed on an individual’s accomplishment, with the opposite being “collectivism.” National levels of individualism were also shown to have contrasting effects on different phases of the change process. High individualism (e.g., the United States and Australia) may increase the tendency to individual distinction and championing of new ideas, stimulating the adoption phase of change.32,36,39 In contrast, during the implementation phase of change, low individualism, which characterizes emphasis on teamwork and consensus, has been favored.35,37,40 In medical schools, empirical research has shown a positive relation between individualism and the presence of innovative curricula.4 Overall, there seems to be a tendency toward a positive relation between individualism and change.38 Features of individualism, such as growth and innovation, correspond to the organizational model open systems. With respect to collectivism, House and colleagues12 have also demonstrated a relationship between national and organizational values. We expect that national individualism values and a focus on growth and innovation, in general, are positively related to successful change. 

국가 수입

National income 

높은 개인주의 성향, 작은 Power distance, 낮은 불확실성 회피성향이 높은 GDP와 연관됨. 일반적으로 GDP와 성공적 변화가 관계가 있다고 가설 설정

National cultural values frequently showed a relation with national gross domestic product at purchasing power parity levels (GDP).26,38,41 High individualism, low power distance, and low uncertainty avoidance were associated with higher GDP.26,41 Intuitively, a lack of financial resources has an inhibiting effect on curricular change. We expect that national income, in general, is positively related to successful change. 

연구 가설

Study hypotheses 

We derived the following hypotheses, which are all incorporated in our conceptual model and will be analyzed simultaneously (Figure 1). 

• Hypothesis 1: Medical schools with more successful curriculum change have higher levels of MORC–capability and MORC–motivation and lower levels of MORC–extrinsic pressure, which will cause lower levels of faculty resistance. 

• Hypothesis 2: Flexible policies and procedures (human relations and open systems) have a positive effect on successful curriculum change. 

• Hypothesis 3: Control-oriented policies and procedures (rational goal and internal process) have a negative effect on successful curriculum change. 

• Hypothesis 4: Uncertainty avoidance has a positive effect on rational goal and internal process and a negative effect on successful curriculum change. 

• Hypothesis 5: Power distance has a positive effect on internal process and a negative effect on successful curriculum change. 

• Hypothesis 6: Individualism has a positive effect on open systems and a positive effect on successful curriculum change. 

• Hypothesis 7: National GDP level has a positive effect on successful curriculum change. 

Method 

Design 

We used data from a questionnaire conducted worldwide among medical schools in the process of curriculum change to test the hypotheses in our conceptual model (Figure 1) by using a multivariate statistical approach. 

Participants and sampling procedure 

4달간 email을 통한 설문조사.

Between January and April 2012, we sent e-mails to 1,073 international staff contacts of Maastricht University inquiring whether they were contemplating or implementing changes in their undergraduate or postgraduate medical curriculum and, if so, inviting them to participate in the study. We excluded newly established medical schools and schools where the implementation was completed (i.e., the first students had graduated from the new curriculum). We sent two e-mail reminders. We asked our contacts from schools in the process of change to distribute an anonymous Web-based questionnaire to at least 20 of their colleagues who were actively involved in medical education, preferably representing a mix of professional backgrounds: basic scientists, clinicians, and members of the curriculum committee. If necessary, two reminders were sent to the contact persons. For every completed questionnaire, we donated €5 to the World Wildlife Fund (www.wwf.org), and we offered to send each participating school the anonymized results for their school. 

Measurements 

국가 문화

National culture. 

We used Hofstede’s26 national or regional scores (if no national score was available) on uncertainty avoidance, power distance, and individualism (Supplemental Digital Table 1, http://links.lww.com/ ACADMED/A264) to measure national culture. 

조직 문화

Organizational culture. 

Participants were asked to answer the 16 questions related to four types of organizational culture (human relations, open systems, rational goal, and internal process) from the questionnaire developed by Kalliath and colleagues,23 which were scored on a seven-point Likert scale (1 = not valued at all; 7 = highly valued). 

MORC. 

We measured organizational readiness for change using the 53- item MORC questionnaire,18 which was scored on a five-point Likert scale (1 = strongly disagree; 5 = strongly agree) (Supplemental Digital Table 2, http:// links.lww.com/ACADMED/A264). 

변화 관련 행동

Change-related behavior. 

Change-related behavior was measured using five types of behavior described by Herscovitch and Meyer20: 

• active resistance, 
• passive resistance, 
• compliance, 
• cooperation, and 
• championing. 

Participants were asked to characterize the behavior of the members of their organization in relation to the curriculum change by distributing 100 points over the five types of behavior. For our analysis, we used the percentage of organizational members showing resistance (both active and passive). 

GDP. 

We obtained current annual data on GDP per capita (U.S. dollars) from the Web site Trading Economics.42 

Data analysis 

문화간 디자인, 응답자들은 학교 안에 nested, 학교는 국가 안에 nested. 따라서 다수준 접근법이 필요하였다. 가설에 따른 인과관계를 기대하였으며, Structural equation modeling이 필요하였음. 따라서 Multilevel structural equation modeling을 활용하였음.

The cross-cultural design with participants nested within schools and schools nested within countries required a multilevel approach.43 In addition, we expected causal relations described in the hypotheses and summarized in our model (Figure 1), requiring structural equation modeling.44 We therefore used multilevel structural equation modeling to analyze the data.43 An advantage of this approach is that multiple relations can be tested simultaneously in one model. 

우선 construct scale의 신뢰도를 추정하였음. 변수들이 정규분포를 하지 않았으므로 robust maximum likelihood estimation을 사용하였음. multicolinearity는 보이지 않았으며, ICC는 충분히 컸다. 개념모델에 대한 검정은 MSEM을 Mplus statistical software로 맞춰보았다. 

We first estimated the reliability of the construct scales. Because the variables were not distributed normally, we performed robust maximum likelihood estimation,45,46 which produces maximum likelihood parameter estimates and standard errors that are robust to nonnormality. There were no signs of multicolinearity, implying an absence of strong correlations between the predictors (all tolerance values > 0.10). Intraclass correlations (ICCs) computed to examine between-cluster variability (Table 2) were sufficiently large (ICC > 0.05) to justify the use of multilevel structural equation modeling.47 The conceptual model (Figure 1) was tested by fitting a multilevel structural equation model to the data using Mplus statistical software, version 5.21 (Muthén and Muthén, Los Angeles, California). Observed scores at the individual level were included in the first “within level.” We added average MORC, organizational culture, and faculty resistance scores of participants from the same school in the second “between level.” Scores at the national level (national culture and GDP) were also included in the second level because the number of schools per country was too low to include these variables in a third level. We assumed random intercepts and fixed slopes across medical schools.44 The following fit indices and criteria were used: the root mean square error of approximation (RMSEA< 0.08), the comparative fit index (CFI > 0.9), and the standardized root mean square residual (SRMR < 0.08).48,49 

Ethical considerations 

After explaining the aim and purpose of the study, voluntary nature of participation, and confidentiality of the contributions, we obtained digital informed consent from all participants. The study was approved by the ethical review board of the Dutch Association for Medical Education. 

Results 

991명의 교수, 131개의 의과대학, 56개 국가. 이전 MORC연구에서 5명 이하가 응답한 학교는 제외하였으나 여기에서는 1명만 참여한 37개 학고를 배제하였음.

Of the 1,073 contact persons from 345 medical schools in 80 countries we invited to administer the MORC questionnaire at their schools, 708 (66%) agreed. We were not informed how many colleagues each of the contact persons invited to complete the MORC questionnaire. The questionnaire was completed by 991 staff members from 131 medical schools in 56 countries (Supplemental Digital Table 1, http:// links.lww.com/ACADMED/A264). The average age of the participants was 47 years (range 21–84), and 475 (47.9%) were male. All characteristics of participants are presented in Table 1. Supplemental Digital Table 3 (http:// links.lww.com/ACADMED/A264) shows the means, standard deviations, and intercorrelations (Pearson) of all variables. On the basis of the generalizability analysis of MORC in a previous study, schools with fewer than 5 participants should have been excluded.18 However, to maintain a sufficient number of schools while conforming to the minimum of 2 participants per cluster as required for two-level modeling, we excluded 37 schools with only 1 participant. Exclusion of 7 medical schools from 3 countries for which no data on national or regional culture were available resulted in a total of 911 respondents from 87 medical schools (on average, 10.5 respondents per school) in 48 countries. Missing values and nonapplicable answers were below 10% of the total number of observations and replaced by the item means.50 

Cronbach alphas of the organizational culture subscales (0.80–0.87) suggested reliable replication in our population (all above 0.67) (Table 2). The process of validation of MORC for our population is described in a previous study.18 

Our initial two-level structural equation model showed a poor fit with the data (CFI = 0.91, Tucker–Lewin index [TLI] = 0.70, RMSEA = 0.12, standard root mean square within [SRMRW]= 0.05, standard root mean square between [SRMRB] = 0.21) (Table 3). The modification indices suggested strong significant effects between underlying MORC dimensions (MORC–capability on MORC–motivation and vice versa) as well as direct effects of all four organizational types on resistance to change. As we considered it plausible that perceived capability and motivation would impact each other and organizational types would not have only an indirect, but also a direct effect on resistance to change, we applied the modifications (between MORC–capability and MORC–motivation and between open systems organizations and resistance to change). This yielded a reasonable fit (CFI = 0.96, TLI = 0.87, RMSEA = 0.08, SRMRW = 0.02, SRMRB = 0.21), which means that with the two adaptations the model gives an acceptable representation of the data. Therefore, the causal paths within the model may be interpreted (Table 3). Figure 2 presents a summary of the results from fitting our two-level model to the data. 

This final model 

• fully supported hypothesis 1 (a positive effect of MORC– extrinsic pressure on faculty resistance and a negative effect of MORC–capability and MORC–motivation—via MORC– capability—on faculty resistance) and 
• fully supported hypothesis 2 (a positive effect of human relations and open systems on successful curriculum change). 
• Partial support was found for hypothesis 4 (an expected negative effect of uncertainty avoidance on successful curriculum change and an unexpected negative effect of uncertainty avoidance on rational goal). 
• Partial support was also found for hypothesis 5 (expected positive effect of power distance on internal process and an unexpected positive effect of power distance on successful curriculum change). 

Discussion 

개념 모델이 잘 맞았음. 국가와 조직문화가 교육과정 변화의 성공에 큰 영향을 준다. 국가문화가 의학교육에 미치는 영향은 이미 논의된 바 있는데, 조직문화에 대해서는 별로 없다. 

Our findings revealed a reasonable fit of our conceptual model with the data after two plausible modifications, necessitating further research to test the adapted conceptual model. Nevertheless, the findings revealed significant effects of national and organizational culture on the success of medical curriculum change. The influence of national culture on medical education has been demonstrated previously.4,5,51–53 However, the impact of organizational culture on change has only been demonstrated in business and health care organizations.6–9 To our knowledge, our study is the first to demonstrate this effect in medical schools. 

긍정적 영향을 미치는 요인들로는 아래와 같은 것들이 있음. 

GDP가 일부 영향을 주긴 하지만, 유의한 역할을 하고 있지는 않음.

Specific characteristics of national culture (high power distance and/ or low uncertainty avoidance) and organizational culture (human relations and/or open systems) had a positive effect on successful curriculum change. Clear positive effects on successful change were a certain level of risk taking and flexible policies and procedures (low uncertainty avoidance/open systems), strong leadership and strict hierarchy (high power distance/internal process), a high concern for new ideas and teamwork (human relations), and focus on growth and innovation (open systems). As expected, a certain level of risk taking and flexible policies and procedures stimulated the introduction of innovative ideas.12,26,35 Power distance unexpectedly stimulated successful curriculum change, perhaps through the positive impact of centralized command on the coordination of the complex process of curriculum change.35 Although a certain level of financial investment is required for curriculum change, the level of national wealth (GDP) did not have a significant role in the process of curriculum change, so perhaps the effect of national wealth is much smaller than the effect of national and organizational culture. 

기존 연구에 비추어 본 해석

With regard to organizational culture, teamwork (human relations), especially beyond one’s own discipline, is uncommon in medical schools with traditional curricula, but may be advantageous for integrated curricula, such as PBL curricula.54 Adaptation of the curriculum to the external environment (open systems), including to local community needs, is one of the main challenges for medical schools.2,55–57 As other (regional) medical schools are facing the same problems, collaborations could serve the exchange of effective solutions.57,58 Although the rational goal and internal process organizational culture types did not show a direct effect on MORC, they indirectly had a positive effect through open systems and human relations, which indicates that it is important for an organization to aim for more balanced norms and values (congruence) with a strong focus on human relations/open systems and also a reasonable share of values related to internal process and rational goal. Similar findings were described by Quinn and Spreitzer,24 who argued that emphasis on one organizational type can lead to narrowness and an inability to adapt to a changing environment. 

국가 문화와 조직 문화 사이에는 근본적인 긴장관계가 있다. 의과대학에서도 마찬가지이다. PBL의 사례

There is a fundamental tension in the relationship between national and organizational culture.10 Organizations likely feel compelled to conform to existing cultural norms and values on the one hand, while they also have to innovate, which may challenge the cultural norms and values and cause the organizational culture to deviate from the dominant national cultural context. In medical schools, the same tension between national and organizational culture exists; 

for instance, the introduction of PBL requires an open communication style, which seems less feasible in more collectivistic cultures with a strong fear of loss of face.59,60 Nevertheless, many medical schools in collectivistic cultures have successfully introduced PBL.52,59 

둘 중에 어떤 것이 더 중요한 것인가? 국가문화는 서로 다른 의과대학 사이의 차이의 40%를 설명해주었고, 조직문화는 서로 다른 의과대학 내에서의 차이를 설명하였음.

In our model, both national and organizational culture influenced successful curriculum change, making us wonder whether both are equally important. As national and organizational culture are included in different levels in the model, we can only conclude that national culture explained 40% of differences in MORC– capability among different medical schools, and organizational culture explained differences within different medical schools (27.5% of differences in MORC–capability, 12.3% of differences in MORC–motivation, and 6.5% of differences in MORC–extrinsic pressure, respectively; data not shown). 

국가 문화를 바꿀 수는 없으니 그 영향은 그냥 인정하는 편이 효율적이다. 위험을 회피하는 문화에서 조직의 리더는 위험을 최소화하기 위해서 어떤 노력을 하고있는가를 설명하여 그러한 불안감을 낮춰주어야 한다. Power distance가 큰 문화에서는 의과대학의 리더는 조직구조를 중심화하고 하향식 의사결정을 만들어서 의사결정의 rationale가 논의된 후 빠른 의사결정이 이뤄지도록 해야한다.

National and organizational culture factors should be taken into account by medical schools in the process of curriculum change. Because it may be impossible to change national culture, it may be more efficient to anticipate its effects. In a culture that is risk-averse, the leader of a change project could mitigate the feeling of risk taking by explaining which efforts are made to minimize them. In a culture with high power distance, the leader of a medical school could use the centralized organizational structure and top-down decision making to make the required fast decisions after communicating the rationale behind the decisions to the organizational members. 

Hofstede's dimension의 한계

For the operationalization of national culture, we used Hofstede’s dimensions, which has its own limitations—for instance, with regard to the study population of IBM employees only.61 Unfortunately, the absence of Hofstede’s index scores for some countries forced us to use regional scores and exclude participants from three countries without national or regional scores (Supplemental Digital Table 1, http://links.lww.com/ ACADMED/A264). 

이러한 절차에 대한 반대가 있을 수 있지만, 포함되지 않은 국가에 대해서 mean dimension score로 대체하여 분석한 결과 MSEM의 fit indices에 유의미한 영향은 없었다.

Although objections to this procedure may be valid, a separate analysis in which missing country scores were substituted for mean dimension scores had no significant effect on the fit indices of the multilevel structural equation model (data not shown). Although we studied a relatively large cross-national sample, the relatively low number of respondents and especially the limited number of medical schools per country with respect to the large number of parameters may explain the initial poor fit indices of our conceptual model. In addition, because of this limited number of medical schools per country, we had to include observed scores on the national level in the second level, preventing analysis of variance in MORC between different countries. Another limitation is the inability to provide a response rate of the invited participants. Because it was left to the contact persons of Maastricht University to invite faculty members in their medical schools, we have no insight into how many individuals were eventually invited to participate. Further research to test the adapted model would benefit from a larger randomly selected sample. 

ICC는 그룹간 variance가 그룹내 variance보다 작음을 보여준다. 즉, 같은 의과대학 내에서도 조직문화와 MORC에 대한 인식이 서로 다를 수 있다는 것이다. 또한 동일한 의과대학의 구성원이라도 서로 다른 변화의 단계에 있다고 응답하였다. 또한 변화에 대해 준비된 정도도 조직 구성원에 따라서 경험/참여수준/개인적 선호 등에 따라 다를 수 있고, 이것이 결국 한 사람이 인식하는 의과대학의 준비도에 대한 판단에 영향을 준다. 

ICCs of both organizational culture and MORC scores showed that the betweengroup variance was small compared with the within-group variance, suggesting that perceptions of organizational culture and MORC may differ between members of the same medical school. In addition, members from the same school reported their school to be in a different phase of change (i.e., preparation or implementation phase). Perhaps perceptions of members of the same team or department may be more homogeneous than perceptions within the school as a whole, which would require further analysis of variance of the perceptions of readiness for change within teams and departments. Additionally, individual readiness for change may differ between organizational members on the basis of their previous experiences, their level of involvement in the change process, and their personal preferences, all of which can influence individual perceptions of a medical school’s readiness for change.25 Unfortunately, the software Mplus did not allow us to insert the variables of Table 1 (e.g., gender, age, context of change, and size of the medical school) as covariates. We expect these aspects to have an influence on the change process as well, which indicates the need for future expansion of this research. 

In a future study, it would be illuminating to use cluster analysis to investigate interactions between the different organizational types by comparing the effect of different organizational culture profiles on successful curriculum change.24 It would also be interesting to explore whether medical schools show similar profiles of organizational culture across countries. If confirmed, this might indicate the presence of a medical-school-specific macro-culture, similar to specific hospital cultures reported in other studies.10,62 

Conclusion 

Our findings show that change is influenced by national and organizational culture characteristics such as flexible policies and procedures, interdisciplinary teamwork, adaptation to local community needs, and by collaboration with regional schools. Medical schools contemplating or implementing curriculum change should consider the potential impact of cultural factors in designing strategies to deal with potential sources of resistance. As it may be impossible to change national culture, it may be more efficient to anticipate its effects.

Culture Matters in Successful Curriculum Change: An International Study of the Influence of National and Organizational Culture Tested With Multilevel Structural Equation Modeling.

교육과정 개편을 위한 열두가지 팁(Medical Teacher, 2015)

Twelve tips for curriculum renewal

PETER MCLEOD & YVONNE STEINERT

McGill University, Canada

서론 Introduction

교육과정의 정의. 교육과정은 변화에 끊임없이 반응해야 하며, 교육리더, 교수, 학습자는 근거를 기반으로 한 정기적 개선의 필요성을 인정하고 그 가치를 존중해야 한다.

A curriculum is “a planned educational experience that encompasses behavioral goals, instructional methods and actual experiences of the learners” (Green 2001). When a new curriculum has been developed and successfully launched, a forward looking process of curriculum renewal should be a major priority. Renewal should be characterized by thoughtful evaluation, revision, ongoing responsiveness and modernization. To assure that the curriculum remains responsive to emerging societal trends, health care innovations, and novel education practice, the renewal should be a dynamic process designed to enhance student learning. All health sciences curricula should be modified and regenerated on a regular basis (Davis & Harden 2003). Given the ever-changing circumstances influencing the conduct of learning, curriculum developers and reviewers must embrace flexibility and ongoing responsiveness to meet teacher, student and societal expectations. In other words, the curriculum should be perpetually responsive to change and regular evidence-based renewal must be accepted and valued by educational leaders, teachers and learners.

교육과정을 바꿔야 하는, 그리고 지속적으로 개선해야 하는 근거를 분명히 하라

Tip 1 Articulate the reasons for curricular change and ongoing curricular renewal

변화의 이유는 무한하다.

The forces for change in health sciences education are legion and unremitting. Among the prominent forces are: societal pressures; shifting disease patterns as exemplified by the obesity epidemic and the prevalence of Type 2 diabetes; and new understandings of educational theory and practice. Proliferation of novel, expensive technologies, including sophisticated simulation materials, also have a role in influencing curricular change.

끊임없는 위험 중 하나는 '정보의 과다'이다. 1899년 Olser는 '학생은 너무 많이 배우려고 하고, 우리 교수들은 너무 많이 가르치려고 하는데, 둘 다 그다지 성공적이지는 못했다'라고 했다. 약 100년 후 Newman은 '학생들의 기억력에 가해지는 부담을 경감해줄 어떤 수단이 필요하다'라고 했다.

One unremitting risk in health science curricula is “information overload”. The information overload problem, by itself, is reason enough for change in health sciences curricula. History reminds us of the persistence of the “overload” problem. In November, 1899 William Osler wrote in the Montreal Medical Journal that The students try to learn too much and we teachers try to teach them too much, neither perhaps with much success. Almost 100 years later GB Newman wrote, The load upon students’ memories has become excessive as to require some measure of relief (Newman 1988).

(...)

Regardless of the reason for change or renewal, be it a recurring problem or a new trend, the motivation must be clearly stated, relevant and meaningful. Many change efforts, including those designed to develop curricula, fail in a predictable fashion. An easily predictable circumstance for failure is for the curriculum development committee members to deliberate wisely, celebrate the completion of the process, and then disperse.

Kotter가 제시한 프레임워크. 총 8단계 중에서 처음 두 단계가 Tip 1에 해당한다. 

Kotter provides a useful framework for leading change and the members of the development committee should familiarize themselves with his guidelines for leading change that are equally applicable to successful transformation of a curriculum (Kotter 2007). 

The first step in introducing change is to: “establish a sense of urgency” for change among the faculty. Failure to establish a sense of urgency may account for some of the failures to drive momentum-resistant people out of their comfort zones. An influential committee, or even a powerful duo, depending on the breadth of change contemplated, should be charged with “selling” the change and bringing other respected leaders on board. An influential committed coalition can help to inculcate other leaders into the change vortex by developing a picture of what they see as a vision for the future. 

Step 2, “communicating the vision”, is critical. This group of strong opinion leaders should be part of the vision process with a mandate to facilitate the next 6 steps of change as advocated by Kotter. They should be empowered to concentrate on efforts to spread the word about the curriculum change and to alert other school leaders that change will be followed by timely ongoing positive curriculum renewal. Real change takes time. As a result, the members of the development committee should recognize and celebrate achievement of short-term gains. Not all obstacles will easily fall by the wayside. Early successes will be appreciated by the committee members and the faculty members, including some who were skeptical of the need for change.

강력하고 영향력이 큰 교육과정 개편 팀을 구성하라

Tip 2 Build a strong, influential curriculum renewal team

다음의 사람들이 포함되어야 함.

To avert faculty ennui and to encourage “buy in”, it is advisable to develop a strong curriculum renewal team long before the curricular development committee has completed its job. Membership of the renewal team should include opinion leaders, course directors, high profile teachers and at least one member of the current curriculum committee. The size and makeup of the renewal team should be partly determined by the breadth and depth of anticipated curriculum renewal. Core team members should include faculty leaders in education and the health sciences as well as experienced teachers. The complexity and degree of curricular change envisioned by the development committee will also influence characteristics of the renewal group. For example, a curriculum for a brief learning experience, such as the introduction of students to a high-tech learning facility, can be developed by a small group of two or three persons from the renewal committee.

다음과 같은 업무를 해야 한다.

Ideally the curricular renewal team should be mandated to monitor the literature on, and respond to, influential curriculum research, disease prevalence, and technological innovations. There may be benefit to inclusion of competent, committed lay members on the renewal team to represent the changing needs of society, as well as practitioners from allied disciplines and schools. The renewal team members should canvas recent graduates of the course or program for their insights based on their experiences. Finally, faculty members with credible education expertise and understanding of education theory can be co-opted by the renewal committee during discussions of research-informed pedagogical practices.

유연성을 갖추어야 한다. "교육과정을 프레이밍하는 정답은 전체에 대한 것이든 부분에 대한 것이든 유일하지 않다. 교육과정은 목적에 부합하면 되며, 그 상황에 맞으면 된다."

A broadly representative renewal team as outlined above can mitigate any tendencies of committee members to filibuster for pet ideas. Flexibility must permeate the team discussions with the sense that “there is no one best choice for framing a curriculum as a whole or any of its parts. A curriculum should simply be fit for the purpose and context of its day” (Grant 2010).

사회, 정치, 경제, 기술적 트렌드를 파악하라

Tip 3 Identify prevalent social, political, economic and technological trends

전공의 세분화

At the outset of deliberations, the renewal team members should consider the influence of the increasingly narrow specialization of clinical departments and the limited representation of generalists in many health sciences teaching environments, including the environment at university-affiliated hospitals. Specialist practice profiles and “space age” technology can be irresistibly appealing for junior learners, so early student exposure to specialists may bias, and interfere with, the desired evolution of learning. Rare, “exciting” or esoteric disease is not the best field for learning. Learning from, and exposure to, common medical problems should be the norm.

상황학습

Situated learning, a process wherein learners transform because of participation in authentic activities in the clinic, office, or hospital ward, is most effective when there is deliberate exposure to generalists and to prevalent disease in the community (Weatherhall 2011). Worldwide, a number of troublesome influences have crept into health science education frameworks. Working conditions for health care providers who do the teaching have been threatened by daunting workloads and politically driven health reforms. Health care institutions which have strong profit-driven motives may not be ideal sites for learning. Even excellent community practices are at risk of being overstretched by increased patient expectations, thus limiting the opportunities for reflective teaching and learning.

국제적 질병부담

Changes in the local and global burden of disease have had worrisome influences on curriculum renewal as evidenced by the impact on students’ learning experiences of the AIDS epidemic, rising inner city violence, the obesity epidemic and the increasing prevalence of type 2 diabetes mellitus. Awareness of these issues must be considered in the curricular renewal process. On the other hand, skewed clinical experiences as a result of repeated exposure to dramatic, “interesting” medical problems may hamper leaning about common, important diseases.

만성질환자

Another challenge to learning in some active teaching hospitals is the overwhelming time commitment required of chronically ill patients whose care could be much better delivered in a long-term care facility. Effective curriculum renewal teams should insist that learner experiences be characterized by broad exposure to: excellent generalist role models; common important illnesses; and an environment wherein profit is not a primary driver for clinician teachers.

교육성과로부터 교수법과 학습법이 도출되도록 하라

Tip 4 Ensure that curriculum outcomes drive teaching and learning

용어를 둘러싼 혼란이 있다. 교육과정 목표를 개발하기 위하여, 그리고 학생과 교수들이 그것을 이해하게 하기 위한 수많은 작업들이 결국 실질적으로 적용하기에는 너무 부담스러운 긴 문서만을 남기는 경우가 허다하다.

At the outset of a renewal process it is useful to address the predictable, contentious issues related to important, but troublesome, education concepts and terms. “Objectives”, “Goals”, “Learning outcomes” and “Behavioral objectives” are but a few of the terms used to describe how and what students should learn in a curriculum. Confusion surrounding these terms invariably clouds discussions between teachers and curriculum framers. For example, development of useful behavioral objectives may be confounded by the difficulty of developing practical definitions (Rees 2004). Exercises designed to develop curriculum objectives, and to assure that learners and teachers understand them, frequently produce lengthy documents which are too cumbersome to be practical.

많은 교수들이 총괄적인 목적 또는 목표의 실질적 효과에 대하여 회의적인 시각을 갖는다는 것을 고려하면, 이들 회의론자에게 '큰 틀'을 제시하는 것이유용할 수 있다. 이는 교수의 역할은 '학생이 지식을 함양하고, 학생의 자기실현을 도와주며, 개인적 그리고 사회적 발전을 지향하며, 사회의 변화와 조직의 효과성을 추구해야 한다'라는 것이 될 수 있다.

When curricular modification is anticipated, renewal team members should recognize that many teachers in the trenches have difficulty understanding, let alone applying, grandiose concepts such as: “statements of intent”, “overall aims” and “general learning outcomes”. Many experts still favor development and application of clear, concise “objectives” which are acceptable to all or most of the teachers. Given that many teachers are skeptical about the benefits and practical utility of comprehensive goals and/or objectives, it may be useful to expose the skeptics to the overarching idea that teachers should strive to facilitate attainment of broad goals including: cultivation of the intellect; individual self actualization; personal and social improvement; social transformation and organizational effectiveness.

'성과바탕모델'을 맹목적으로 적용하는 것은 적절하지 못하며, '학교가 원하는 졸업생'의 모습을 달성하는데 어떤 어려움이 있는지를 드러내기 위해서는 교육과정 개선 초기에 격렬한 토론이 있어야 한다.

In a 1985 education publication describing overarching goals, the author suggested that health care teaching should aim to train potential health care workers to completely “undertake the responsibilities expected of them in professional practice” (Bandarananayake 1985). Thirty years later this aim still has merit. “Blind adoption” of an outcomes-based model may not be the optimal approach (Rees 2004). To obviate the problems inherent in what the school wants the graduates to look like, we recommend an early vigorous debate that leads to consensus on what the graduates should know and be able to do.

근거에 기반한 교육과정 개선을 추구하라

Tip 5 Promote an evidence-based approach to curricular renewal

기존의 교육 관련 문헌을 잘 연구하고 정리해야 한다. 그리고 어떤 교육과정 모델을 활용하든지 다음의 네 가지에 구성요소에 대한 토론이 반드시 필요하다.

Regeneration and enhancement of learning experiences must entail diligent ongoing review of the major health sciences education publications for articles on curriculum to determine what is most appropriate for individual contexts. The results of the review should then be summarized, written down and distributed to all program coordinators and teachers. Fixation on curriculum as a “planned educational experience that encompasses goals, teaching and learning methods and outcomes” may be difficult given the bewildering array of available models, each with detractors and proponents. Whichever curriculum model is favored, four structural elements should inform all curriculum renewal discussions: (1) curriculum content, (2) learning approaches, (3) assessment practices and (4) evaluation practices (Prideaux 2003).

여섯 가지 모델이 있다.

Among the curriculum models currently used in the health sciences, six dominate the education literature: 

(1) Subject or disciplined-based curricula (Grant 2006). 

(2) Problem-based curricula (Barrows 1996; Colliver 2000). 

(3) Experiential learning curricula (Kolb 1984). 

(4) Spiral curricula (Harden 1999). 

(5) Clinical presentation curricula (Mandin et al. 1995). 

(6) Outcomes based curricula (Rees 2004). 

교육과정의 큰 틀은 '배움'과 '학습자'가 되어야지 '가르침'과 '교수자'가 되어서는 안 된다.

The problem-based learning curriculum model (PBL) has gained a foothold in universities in many countries but there is surprisingly little concrete evidence demonstrating that the PBL approach is superior to others. The clinical presentation curriculum organizes clinical and basic science instruction around clinical problems. Whatever descriptive label is affixed to the curriculum, situated learning should be prominent (Mann 2011). Critical to the success of this approach is the development of a community of learners who work in the collective (Douglas & Brown 2011) while striving to become successful health care practitioners. Active student engagement in the community over time gradually leads to acquisition of knowledge, skills and values of a professional. The overriding theme is that a curriculum should be chosen for learning and learners, not for teaching and teachers. Good teachers can provide good explanations of information that help learners understand.

교육 방법, 교육 전략, 학습 자원을 철저히 분석하라

Tip 6 Critically review the teaching methods, educational strategies, and learning resources

강의는 점차 감소하고 있으며 다음의 것들이 늘어나고 있다.

Lectures play an important role in most schools because they are an effective, efficient way of transmitting information and integrating concepts (Matheson 2008). However they are quantitatively on a decline at many schools because they are prone to produce passive student involvement in the learning process, especially if the lecturers lack charisma and speaking expertise. In many schools, lectures have been replaced by small group-based learning activities, problem-solving workshops and self-directed learning. Case discussion groups, role-plays and group-dependent or independent learning projects have also gained favor because they feature active learner engagement and are conducive to the development of communities of learners. Other worthwhile learning initiatives driven by adult learning principles include those that provide opportunities to pursue special individualized student interests. Examples of these are: travel to different learning sites, community hospitals or clinics for the disadvantaged, and service in underprivileged communities or countries. The use of information technology and computer-based learning is the norm in most progressive medical schools as are on-line chat groups and learning modules to package content. The rapidity of technological change requires a lively ongoing overview and renewal of how the technology is being used. The renewal team members must regularly monitor the use of technology to assure that it is appropriately exploited while guarding against excessive reliance on expensive gimmicks.

중요한 분야 중 하나가 시뮬레이션 기술이다.

Last, but certainly not least, is the rapidly advancing field of simulation technology. Simulation is especially applicable to the teaching of procedural medicine, patient interviewing and professional behaviors (Scalese et al. 2008). These technologies have opened up vast new learning opportunities for students at all levels and should be carefully considered.

교육에 '만병통치약'은 없겠지만 환자중심의, 자기주도적, 학습공동체, 시뮬레이션 접근법 등을 잘 짜여진 강의로 보충하는 것이 한 의과대학의 '교육 메뉴판'의 전면에 등장해야 한다.

Although there is no “one size fits all” approach to teaching and learning, patient-based self-directed approaches, communities of learners, and simulation approaches, all sprinkled with some well-delivered lectures, should be prominently displayed on the “education menus” of a medical school.

타당한 교육이론으로부터 교육과정의 변화와 교육법과 학습법의 개편이 이루어지게끔 하라

Tip 7 Ensure that sound educational theories inform the transformation and renewal of teaching and learning methods

학습의 네 가지 측면이 중요하다. 첫 번째는 "개념의 의미를 이해하는 것이 학습에 크게 영향을 미친다"는 것이며, 두 번째는 "학습의 맥락"이 지식 습득에 중요하다는 것이다. 세 번째는 "processing specificity"로서 어떤 것을 어떻게 배웠느냐가 나중에 배운 것을 인출하는데 영향을 준다는 것이다.네 번째는 "기억은 어떻게 암기하느냐"에 영향을 받는다는 것이다.

Fortunately, in the education literature, there is an impressive body of easily digestible research on curricular design and teaching methods (Bleakley 2009; Mann 2011; Prideaux 2003). Convincing research demonstrates that students should be exposed to an environment which encourages self-reflective learning and self-critical learning. Four aspects of learning influence students’ ability to acquire and store new knowledge in memory in a retrievable manner. 

• The first aspect relates to the fact that “understanding the meaning of a concept strongly influences learning”. 
• Second, “the context of the learning” is critical to knowledge acquisition. Learning in a clinical setting provides exposure to a powerful influence, sometimes called “the romance of medicine”. 
• Third, “processing specificity” is critical. This implies that the manner in which something is learned will influence one’s ability to retrieve what is learned. 
• Fourth, “memory is significantly influenced by practice of the task of remembering”. In other words, expertise is a function of time spent on learning (Ericsson 2004). Awareness of these principles can help to guide the renewal process.

과도하게 사실적 지식을 공급하는 것을 지양하고 임상 시나리오를 활용한 개념을 익히는 것을 강조해야 한다.

Curriculum renewal team members must assure that the applied curriculum aggressively eschews fact overload while emphasizing learning of concepts and dealing with clinical scenarios which embody the concepts to be learned. Thus, it behooves curriculum designers to construct student experiences which promote deep learning and critical thinking. For example, a module on high blood pressure might include the presence of a real patient or a “paper case” outlining a patient’s medical story. Subsequently, the instructor would encourage group discussion focusing on the meaning of the disorder and its consequences for cardiovascular disease. Constructivist theory posits that such a clinical example will facilitate students’ creation of their own understanding of the pathophysiology and prognosis of high blood pressure. Discussion of the problem in the students’ community of learners will further enhance understanding and remembering (Mann 2011; Vygotsky 1978). This constructivist theoretical framework may lead renewal committee members to embrace the clinical presentation model.

교사의 선택, 교수개발, 평가와 보상을 위한 준거를 개발하라

Tip 8 Develop criteria for teacher selection, development, evaluation and reward

연구를 잘 하는 사람이 잘 가르칠 것이라는 암묵적 가정이 있었다.

There is a dearth of research on teacher selection for health care instruction. In the recent past, teaching in the early years of medical school fell to highly trained research scientists who had been recruited to the medical school because of their scientific prowess. There was a tacit assumption that skilled researchers would be skilled teachers. In the clinical components of the curriculum, specialist physicians in teaching hospitals would do the teaching on the inpatient clinical services or in the ambulatory care clinics. It was uncommon to have significant involvement of generalist practitioners in teaching settings. Similar teacher selection models have been applied in other health care disciplines including nursing, occupational and physical therapy.

최근들어 교육자의 역할이 보다 주목받고 있다. 또한 더 이상 보상 없이 교육하라는 것은 받아들여지지 않는다.

Recently, the educator role is demanding more attention among health care workers recruited for patient care in offices, clinics and hospital wards (Weatherhall 2011). Increased recognition of the importance of the teaching role has been accompanied by renewed faculty enthusiasm for staff, or faculty, development (McLeod et al. 2011; Steinert et al. 2010) and in remuneration for teaching. Further beneficial developments have been observed in teacher recruiting practices. During the last 15 years there has been a significant increase in interest in education courses, faculty development workshops, and medical education masters programs. Established health care professionals who are interested in teaching and education research are enriching their professional lives by acquiring education expertise in courses and masters programs. Furthermore, for both generalist and specialist physicians, teaching without compensation is no longer acceptable. Stipends are often symbolic in nature, but recognition of teaching prowess and success is reward in itself. Formal teacher awards, many with monetary supplements, are routine in many European and North American medical schools and are gaining favor in other jurisdictions. Course directors responsible for teacher selection should cast the net widely and downplay teachers’ “need for developing a teaching dossier for promotion”. Teachers should be selected because they are passionate, committed communicators who understand students’ needs and who are ready to adopt proven advances in education practices and education technology. Past approaches have entailed flurries of attention to replenishing the educational mission of health professional schools immediately following introduction of a new curriculum. That approach is no longer valid. Dramatic changes in education theory and learning environments today require ongoing repetitive renewal targeting all health care teachers and administrators. Educators must assume the responsibility of encouraging and facilitating renewal and university leaders should recognize and reward teachers at all levels.

적절한 내용과 학습경험의 순서를 구성하라

Tip 9 Assure appropriate content and sequencing of learning experiences

내용의 선정은 사회적 질병부담에 따라야 한다. 광범위한 델파이 조사를 할 수 있다. 상당한 저항에 부딪칠 것이다. 그러나 지난 한세기동안 학생에게 지워진 부담은 "carcinoma of the curriculum"이라는 말이 붙을 정도이다.

Selection of content to be emphasized must be informed by the known societal burden of disease. One appealing process for the selection of relevant curriculum content begins with development of a large inclusive and superfluous list of clinical problems known to exist in the population. The problem list can then be subjected to a broad-based Delphi process using participants representing both health care providers and recipients of health care (McLeod et al. 2004). The rapidly expanding knowledge base to which learners will be exposed requires that the curriculum focus on a limited number of important representative problems (D’Eon & Crawford 2005). Success in developing a manageable content list will require vigorous resistance to pressure from “experts” and “specialists” who frequently overestimate the importance of learning details of disease in their field. For over a century, information overload has burdened students in the caring professions. The tendency of curriculum designers to comprehensively cover the field has been derisively labeled “carcinoma of the curriculum” (Abrahamson 1978).

이상적인 학습은 교육과정 개편을 맡은 팀이 제한된 숫자의 중요한, 대표적 임상문제들을 선정하고, 기초의학을 전략적으로 조직해넣었을 때 이뤄질 수 있다. 또한 개편 팀은 정기적으로 교육 현장을 방문해볼 필요가 있다.

Appropriate sequencing of curriculum content is best served by a strategically planned mixture of basic science and clinical problems. One effective sequencing model sees representative clinical problems introduced early with applicable physiology and basics woven into the discussion of the clinical problems (Mandin et al. 1995). The other end of the curriculum spectrum entails early introduction to basic sciences followed by clinical problems (Davis & Hardin 2003). In the latter model, it is recognized that regular “hints of relevance to clinical practice” can foster enthusiasm for learning the basic concepts. In the opinion of many, optimal learning will be assured if renewal team members select a limited number of important, representative clinical problems and strategically interweave basic sciences into the description of those problems. In addition, members of the renewal team should, at regular intervals, conduct mandated on-site visits to the lecture theatres, small group teaching facilities and clinical teaching sites to monitor the content, sequencing, and integration of basic and clinical elements. Monitoring experiences and provision of constructive feedback will help instructors and learners alike.

다면적 학습평가 프로토콜을 계획하라

Tip 10 Plan a multidimensional learner assessment protocol

학습자가 문제해결을 얼마나 잘 할 수 있느냐는 그 문제와 관련하여 활용할 수 있는 지식이 얼마나 풍부한가에 달렸다.

Once the curriculum developers have produced a model of “the product” or type of student desired, it should be relatively straight forward to determine the success of the renewed curriculum. Fortunately it is known that a learner’s ability to solve problems is highly dependent on the availability of the knowledge relevant to that problem (Prideaux 2007). Students should be able to show what they know and can do, and formal assessment approaches are available for the tasks.

한 가지 평가방법으로는 충분하지 않다.

The recognition that “assessment drives learning” should inform the use of assessment vehicles in the health care setting. Students will take seriously the material on which they will be tested, so the assessment process should be informed by, and reflect the curriculum (Weatherhall 2011). There is a general consensus that no one assessment vehicle is totally adequate; thus a multidimensional process is required. The outcome of quality assessment research is that many schools, drawing from the business world, are moving to “360 degree” assessment of learners. (Allerup et al. 2007; Rees & Shepherd 2005).

총괄평가에 앞서서 형성평가가 반드시 필요하다. 지속적으로 평가방식을 감독할 필요가 있다. 

Summative judgment of the learners’ knowledge, skills and behaviors acquired as a consequence of the formal curriculum should be preceded by ongoing formative assessment. Many well-developed assessment processes are available to test learners’ knowledge, skills and behaviors. These processes should be part of both the summative and the formative student assessments (Cook 2010). Experience reminds us that the tenor and breadth of assessment practices need constant monitoring. In some disciplines, multiple choice questions dominate; in others, broadly-based judgments of knowledge skills and behaviors are used. Members of the curriculum renewal team are ideally placed to act as beneficent insurgents by regularly visiting the various teaching units to observe, comment on and renew the assessment processes.

교육과정 개편을 평가하라

Tip 11 Evaluate the curriculum renewal

교사나 학생을 위한 것일 뿐만 아니라 사회적 책무이기도 하다. 시작시점부터 평가가 고려되어야 한다.

Given the dramatic explosion of information sciences and technological advances, ongoing curriculum renewal should be a prominent activity in the health sciences. Health sciences educators frequently introduce new educational approaches and technology but they may fail to heed the “stop, look and listen” aphorism. Ongoing curriculum renewal should mandate that we evaluate the impact of any change we introduce. Not only is such an approach beneficial to learners and educators, it is also an important part of our mandate to be socially accountable for the changes made and for monitoring the outcomes of the changes. Although there are several useful frameworks to guide the evaluation process we are comfortable with Kirkpatrick’s curriculum evaluation framework (Kirkpatrick 1994) but others may suffice. This framework has four levels of evaluation, each with different emphases. Level 1, reaction, focuses on participants’ reactions to the overall experience. Level 2 involves learning. The learning can focus on knowledge, skills, behaviors and/or attitudes. Ideally “pre-post” judgments should be used at this level. Level 3 involves evaluation of use and application of what the participants have learned in the curriculum. At this level, educators must make difficult decisions with respect to when, what and how to evaluate. Level 4 is probably the most important but, it is also the most difficult outcome (or set of outcomes) to measure. Ideally, educators should decide what constitutes optimal results and what constitutes a positive impact. Experience reveals that educators rarely evaluate at this level. Wise health care educators incorporate a plan for intermittent curriculum evaluation from the outset of the project. Content renewal should not be an add-on or an afterthought.

Tip 12 학습환경이 학습에 크게 영향을 준다는 사실을 기억하라

Remember that the learning climate significantly influences learning

"교육과정이란 학교 안의 가치와 아이디어, 사람과 자원 간의 상호작용이다"라고 했다.

Medical school curricula usually devote considerable space to outlining the structure, content and expectations of the learners but rarely address the nature of the learning environment or the “climate” in which the curriculum will operate (Genn 2001). It has been suggested that the curriculum should be thought of as “an interactive process involving values and ideas, people and material resources in the school” (Johnston 1992). Those critical elements of medical school learning environments and the unique impact they have on student achievement may be regarded as the soul and spirit of the school. The climate involves not only the learners, but also the teaching and auxiliary staff whose well-being may have a significant impact on the lives and learning of students. For example, if teaching by intimidation and bullying are permitted, student morale and enthusiasm for learning will be suppressed. A climate dominated by overwhelming fact overload can seriously impair student morale and derail enthusiasm for learning.

다음과 같은 문화를 갖추어야 한다.

A renewed curriculum requires solid cultural influences as cornerstones for the development of a successful climate. The support stones include: 

• student-centered teaching; 
• teacher openness to criticism; and 
• a dedication to helping students develop independent self-directed learning behaviors. 

Student achievement is inextricably linked to students’ personal wellness and satisfaction. The school administrators, represented by the curriculum renewal team, must evaluate and monitor the learning climate and assure that negative influences are rooted out before they take hold and poison the environment. In this role, the renewal team members should have a high profile in the ongoing workings of the school and they should have the support of the Dean of Health Sciences.

Med Teach. 2015 Mar;37(3):232-8. doi: 10.3109/0142159X.2014.932898. Epub 2014 Jul 10.

Twelve tips for curriculum renewal.

중국 의과대학의 교육과정 개혁: 무엇을 배웠나? (Medical Teacher, 2014)

Curriculum reform at Chinese medical schools: What have we learned?

LEI HUANG1, LIMING CHENG1, QIAOLING CAI2, RUSSELL OLIVE KOSIK3, YUN HUANG2, XUDONG ZHAO2, GUO-TONG XU2, TUNG-PING SU4, ALLEN WEN-HSIANG CHIU4 & ANGELA PEI-CHEN FAN4

1Tongji Hospital, Tongji University School of Medicine, China, 2Tongji University School of Medicine, China, 3Santa Clara Valley Medical Center, USA, 4National Yang-Ming University, Taiwan

Introduction: 

중국 의과대학의 교육과정 개혁은 최근 상당한 관심을 끌고 있다. 몇몇 상위권 대학이 교육과정 개혁이라는 탐사에 앞장서면서 상당한 경험의 축적과 진전을 보이고 있다.

Curriculum reform at Chinese medical schools has attracted a lot of attention recently. Several leading medical schools in China have undergone exploratory reforms and in so doing, have accumulated significant experience and have made considerable progress.

Methods: 

중국 내 38개 의과대학에 대하여 교육과정개혁에 대한 분석을 진행하였다. 국내외 문헌을 통해서 어떤 종류의 교육과정 개혁이 진행되었으며, 어떻게 도입되었는지에 대한 설문을 개발하였다. 대부분의 문항은 교육과정 개혁의 목적, 교육과정의 형태, 개혁 이후 교수법 향상, 개혁 이후의 평가법 변화, 내학 내부의 개혁에 대한 평가, 개혁 과정의 어려움 등에 대하여 묻는 문항이었으며, 설문 외에 관계자들을 면담하여 추가적인 질적 자료를 수집하였다.

An analysis of the reforms conducted by 38 Chinese medical colleges that were targeted by the government for upgrade was performed. Drawing from both domestic and international literature, we designed a questionnaire to determine what types of curricular reforms have occurred at these institutions and how they were implemented. Major questions touched upon the purpose of the reforms, curricular patterns, improvements in teaching methods post-reform, changes made to evaluation systems postreform, intra-university reform assessment, and what difficulties the schools faced when instituting the reforms. Besides the questionnaire, relevant administrators from each medical school were also interviewed to obtain more qualitative data.

Results: 

분석에 포함된 38개의 대학 중 25개 대학이 주요 교육과정 개혁을 진행한 바 있었다. 그 중 60%는 계통(기관)중심 교육과정을, 32%는 PBL 기반 교육과정을, 8%는 하이브리드 형태를 도입하였다. 60%의 학교는 전임상실습과 임상실습 교육과정 모두에 대하여 개혁을 진행하였으며 32%는 전임상실습 교육과정에, 8%는 임상실습 교육과정에만 변화를 꾀하였다. 교육과정 개혁 이후 60%의 의과대학에서 전체적으로 강의시간이 감소하였다고 응답하였고, 76%에서 학생들의 임상술기가 향상되었다고 하였으며, 60%에서 연구능력이 향상되었다고 하였다.

Out of the 38 included universities, twenty-five have undergone major curricular reforms. Among them, 60.0% adopted an organ system-based curriculum model, 32.0% adopted a problem-based curriculum model, and 8.0% adopted a hybrid curriculum model. About 60.0% of the schools’ reforms involved both the ‘‘pre-clinical’’ and the ‘‘clinical’’ curricula, 32.0% of the schools’ reforms were limited to the ‘‘pre-clinical’’ curricula, and 8.0% of the schools’ reforms only involved the ‘‘clinical’’ curricula. Following curricular reform, 60.0% of medical schools experienced an overall reduction in teaching hours, 76.0% reported an increase in their students’ clinical skills, and 60.0% reported an increase in their students’ research skills.

Discussion: 

중국에서 교육과정개혁은 여전히 걸음마단계이다. 중국의 상위권 의과대학은 혁신적 교육법을 도입하기 위하여 다양한 노력을 하고 있다. 그러나 제한된 자원과 전통적 교육관에 발목을 잡혀 쉽사리 진전을 이루지 못하고 있었다. 이러한 문제에도 불구하고 의과대학들은 긍정적인 초기결과를 보고하고 있다. 장기적 효과는 두고보아야 할 것이다.

Medical curricular reform is still in its infancy in China. The republic’s leading medical schools have engaged in various approaches to bring innovative teaching methods to their respective institutions. However, due to limited resources and the shackle of traditional pedagogical beliefs among many faculty and administrators, progress has been significantly hindered. Despite these and other challenges, many medical schools report positive initial results from the reforms that they have enacted. Although the long term effects of such reforms remain unclear, curricular reform appears to be the inevitable solution to China’s growing need for high-quality medical doctors.

중국 의과대학 대부분은 discipline-based curriculum

Currently, the majority of medical schools in China employ a discipline-based curricular model, where theory, clerkship, and internship are completed in three isolated phases and the GMER competencies are largely neglected. Compared to medical students who are taught via the GMER, medical students who are educated under traditional curricula underachieve.

중국의 교육부는 의과대학을 몇 가지로 분류하는데, 본 연구 대상으로 한 38개 의과대학은 모두 first class로 분류되어 있다.

Chinese medical schools are categorized into several classes by the Ministry of Education. The 38 schools for which data were collected are all categorized as ‘‘first class’’ medical schools (Table 1), and most have received the ‘‘Aiming for Excellence’’, ‘‘985’’, and ‘‘211’’ grants.

현재 중국에는 152개의 (서양의학을 가르치는) 의과대학이 있다. 그 중 128개가 first class이다.

Currently in China, there are 152 medical schools that teach Western Medicine. Of the 152 medical schools that teach Western Medicine, 128 are classified as first class medical schools, the other 24 medical schools belong to the second class or the third class.

1999년 Frank J. Papa와 Peter H. Harasym은 교육과정을 다섯 가지로 분류한 바 있다.

In 1999, Professor Frank J. Papa of the University of North Texas School of Medicine and Professor Peter H. Harasym of the Calgary University School of Medicine systematically reviewed both past and current medical curriculum models. They grouped each model into one of five types: 

• (1) the apprenticeship-based curriculum model, ABCM, 
• (2) the discipline-based curriculum model, DBCM, 
• (3) the organ system-based curriculum model, OSBCM, 
• (4) the problem-based curriculum model, PBCM and 
• (5) the clinical presentation-based curriculum model, CPBCM (Papa & Harasym 1999; Kong et al. 2009).

학문중심교육과정은 다음과 같은 문제 때문에 더 이상 중국에서 필요한 의사를 양성할 수 없다.

The ‘‘discipline-based curriculum model’’ no longer meets the needs of physicians training in China because it causes a number of significant problems:

• (1) each discipline covers material that widely overlaps with other disciplines and thus topics of study can become redundant, resulting in an unnecessary increase in teaching hours for professors and learning burden for students;
• (2) a lack of elective courses prevents students from exploring their individual interests; 
• (3) students do not receive sufficient clinical, research, and professional skills training and
• (4) assessment is limited to standardized means such as written examinations and lacks a formative component

매우 극소수의 의과대학만이 전임상실습과 임상실습, 예방의학, 인문의학의 경계를 허물고 통합하는데 성공하였다.

Very few schools completely dissolved all interdisciplinary boundaries by integrating pre-clinical coursework, clinical coursework, preventive medical courses, and the humanities in creating a new curriculum.

연구 대상 의과대학 

연구 대상 의과대학의 지역적 분포

교육과정 개혁의 목표

강의시간의 변화

교육방법의 변화

어려웠던 점

Med Teach. 2014 Dec;36(12):1043-50. doi: 10.3109/0142159X.2014.918253. Epub 2014 Jun 4.

Curriculum reform at Chinese medical schools: what have we learned?

교육자들을 교육시키기: 교육과정 통합의 열쇠

Educating the Educators: A Key to Curricular Integration

Aviad Haramati, PhD

Hopkins 등에 따르면 지금까지 기초의학을 임상의학과 통합하는 교육과정을 만드려는 노력의 결과는 기껏해야 '조금의 향상(incremental)' 정도였다. 진정한 교육의 탈바꿈(transformative change)는 일어난 적이 없으며, 이는 통합의 중심에 있는 개개인들, 즉 기초의학자들에게 초점을 두는데 실패했기 때문이다. 저자들은 교육의 변화를 주도하는 사람들은 교육의 구조적 문제를 해결하려기보다는 개개 기초의학자들에게 교육과정 개선이 가지는 의미를 이해하려고 노력해야함을 강조한다. 이러한 관점을 눈여겨 볼 필요가 있으며, 여기서는 세 가지 리더십의 필요성을 강조하고자 한다.

• (1) Offer opportunities to help interested basic science teaching faculty gain the necessary expertise to become skilled educators; 
• (2) establish institutional programs and structures that foster a community of medical educators across departments and schools; and 
• (3) align institutional priorities and incentives to promote, rather than hinder, integration in medical education. 

According to Hopkins and colleagues, integration of basic science and clinical practice in the medical curriculum has been "incremental" at best, rather than transformative, in part because of a lack of focus on the individuals central to the integration-basic science educators. These authors maintain that those who lead change in education should not only address the systemic structure but also understand the meaning of integration for individual basic scientists at different levels of change. Their view has merit, and this Commentary author suggests three concrete steps that institutions should undertake to engage basic scientists who are interested in becoming "educationally literate" and assuming leadership roles in curriculum integration: (1) Offer opportunities to help interested basic science teaching faculty gain the necessary expertise to become skilled educators; (2) establish institutional programs and structures that foster a community of medical educators across departments and schools; and (3) align institutional priorities and incentives to promote, rather than hinder, integration in medical education. 

본질적으로, 교육과정의 통합은 '교육의 언어'를 제대로 이해하지 않고는 성공할 수 없다. 또한 학과나 센터, 대학을 막론하고 교육에 초점을 맞춘 커리어에 관심이 있는 교수들이 하나의 커뮤니티를 이루게 도와주어야 한다. 마지막으로 각 의과대학의 리더들은 적절한 인센티브와 기관의 인정, 기회 등을 제공하여서 이러한 교육자들이 진정한 의미의 교육과정 변혁을 이끌 수 있도록 지원해야 한다.

In essence, curricular integration cannot succeed if the participants do not understand the "language of education." Furthermore, faculty who opt for an education-focused career path should be brought together from across departments, centers, and schools to create a community of educators within the academic health center. Finally, institutional leaders should place high value and proper incentives in terms of recognition and opportunities for faculty advancement to ensure that those opting to gain additional training as skilled educators will drive innovation and help move curricular reform from incremental change to transformation.

진정한 교육의 탈바꿈이 일어나지 않은 것은 '구조적 측면'에 주로 관심을 두었을 뿐 '과정상의 핵심 요소'에 무관심했기 때문이다. Significant transformation has not occurred due, in their view, to efforts being focused primarily on the structural aspects of integration and largely ignoring a key element in the process—namely, the basic science educator.

이들 선생님들을 지원해기 위해서는 어떤 것들이 필요할까?  Their recommendation is to study the experiences of basic scientists during the process of curricular reform and, hereby, determine what elements are necessary to support these teachers, individually and collectively, during periods of transition and reform.1

'우리가 통합하려는 대상이 누구인가'에 관심을 두는 것이 중요하다. Indeed, regarding the authors’ final point—to focus attention on “who we are integrating”1—my sense is that several components should be included within an overall institutional strategy to involve basic science faculty in integrating the curriculum and reforming medical education on an institutional level. Here I will outline three:

1. Offering opportunities to help interested basic science teaching faculty gain the necessary expertise to become skilled educators;
2. Establishing institutional programs and structures that foster a community of medical educators across departments and schools;
3. Aligning institutional priorities and incentives to promote, rather than hinder, curriculum integration in medical education.

교육과정 개혁의 시기에 의과대학은 '교육된' 기초의학자들이 'critical mass'가 되어 교육과정의 개혁을 이끌어나가는 흥미진진한 기간이 될 수 있다. 더 많은 교수들이 '교육의 언어'를 배울수록 교육과정 통합의 노력이 보다 효과적이고 지속가능해질 것이다.

Thus, the academic medicine community is in an exciting period during which “educated” basic scientists at each medical school are becoming a critical mass and may be ready to take the lead in moving curricular reform forward. As additional medical school faculty begin to learn the “language of education,” efforts at curricular integration are likely to become even more effective and sustainable.

통합은, 그 정의상, 팀 스포츠이다. 

Although having basic science teaching faculty obtain additional training in education is an important step in advancing the medical curriculum, it is not the entire solution because integration is, by definition, a team sport. 

교육과정 통합에서 기초의학자들이 느끼는 불만

Hopkins and colleagues correctly point out that the resistance to curricular integration is related, in part, 

• to the discomfort basic scientists may experience when challenged with placing their subject matter in a clinical context, due to a knowledge gap; many may not feel confident about the clinical content.1 
• Others may perceive most integration initiatives as unidirectional—encroaching on the first- and second-year curricula with inadequate reciprocation in the third and fourth years.1

서로 어떤 일을 하고 무슨 노력을 기울이는지 모르는게 보통이다.

In large academic health centers, it is not unusual for faculty involved in education to be unaware of the work and efforts of others from different departments—hence, a “mentality of silos.”

정말로 전 기관적 차원의 일이라면, 그 'silo'를 무너뜨리는 일이 필요하다.

If curricular integration of the basic and clinical sciences is truly an institutional goal, then breaking down silos must be an institutional imperative.

각 교수와 학과에서는 교육과정에 '족적'을 남기고 더 많은 강의를 하는 것에 의미를 두고, 학교도 여기에 지원을 하고 예산을 투입하는 것이 보통이다.

Admittedly, developing such incentives is easier said than done. In the past, an individual or department took great pride

in its “footprint” within the curriculum, whether its contribution was large numbers of lectures or hundreds of total contact hours. In many institutions, the hours, perceived to represent the value to the school’s curriculum, translated into dollars and budgets.

교육의 트렌드는 '무대 위의 현자(the sage on the stage)'에서 '곁에서 안내해주기(guides on the side)'로 옮겨가고 있다.

In contrast, current educational trends are moving away from “the sage on the stage” toward, instead, “guides on the side”9 (i.e., faculty facilitating learning).

교육과정 통합이 성공하기 위해서는 분명한 인센티브가 있어서 강의 외에 다른 교육방식을 도입함으로써 학습을 촉진하고 과간 협력을 증진시킬 유인을 제공해야 한다.

For curricular integration to be successful, there must be clear incentives, in terms of recognition and promotion, for basic science educators to adopt teaching formats (other than the lecture) that both facilitate learning and encourage collaboration, partnering, and experimenting with fellow educators from other departments.

대학도 강의를 권장하고 혁신/협력/통합을 가로막는 융통성 없는 '강의별 수가제(fee-for-lecture)'에서 벗어나야 한다.

Schools, therefore, should uncouple department budgets from a strict “fee-for-lecture” service that rewards lecturing and discourages innovation, collaboration, and integration.

연구와 진료에서 점점 학제간 협력이 중요해지는 것과 마찬가지로, 교육 또한 마찬가지로 팀 단위 접근법으로 진화하는 중이며그 팀은 교육자로서 필요한 기술을 갖춘 기초의학자들과 임상의사들이 함께해야 한다.

Just as the conduct of scientific research and the provision of clinical care are shifting from the individual to the team, so too the effective teaching of science and medicine is evolving into a team approach—a team that must include basic scientists and clinicians who have all obtained additional training to become skilled educators.

Educating the educators: a key to curricular integration.

기초의학자 없는 기초의학교육 통합? - 교육과정 개혁에서 개별 교수의 중요성 재고

Integrating Basic Science Without Integrating Basic Scientists: Reconsidering the Place of Individual Teachers in Curriculum Reform

Robin Hopkins, PhD, Daniel Pratt, PhD, Judith L. Bowen, MD, and Glenn Regehr, PhD

기초의학과 임상의학 통합에 대한 요구는 의학교육에서 교육과정 변화에 대한 논의에서 매번 등장하는 주제이다. 그러나 그 역사를 살펴보면 '통합'이라는 주제가 반복적으로 등장하지만, 의미있는 변화를 가져온 적은 거의 없다. 이러한 "차이 없는 변화"를 반복하지 않기 위해서 의학교육계는 효과적인 통합 없이 매번 비슷한 문제만 제기되는 현실을 극복하기 위해서 의학교육개혁에 대한 지금까지의 주된 접근법을 다시 살펴볼 필요가 있다. '통합'을 도입하는 다양한 관점을 제공하기 위하여 저자들은 복잡하고 진화하는 환경에서 일어나는 전환으로서의 교육의 변화를 살펴보았다. 

The call for integration of the basic and clinical sciences plays prominently in recent conversations about curricular change in medical education; however, history shows that, like other concepts related to curricular reform, integration has been continually revisited, leading to incremental change but no meaningful transformation. To redress this cycle of "change without difference," the medical education community must reexamine the approach that dominates medical education reform efforts and explore alternative perspectives that may help to resolve the cyclical "problem" of recommending but not effecting integration. To provide a different perspective on implementing integration, the authors of this Perspective look to the domain of educational change as an approach to examining the transitions that occur within complex and evolving environments. 

여기에 대해 다룬 문헌들을 살펴보면 변화에는 다양한 수준이 관여되어 있으며, 시스템적 구조의 문제 뿐만 아니라 그 변화의 한가운데에 있는 개개인에 초점을 맞춰야 함을 강조한다. 교육과정 통합을 이루는데 어려움을 겪는 한 가지 주된 이유는 변화를 위한 노력이 주로 '교육과정 구조'에 초점을 맞추고 있어서, 각 레벨에서 필요한 것이 무엇인지, 개개인에게 필요한 것이 무엇인지는 소홀히한다는 점이다. 개별 교육자들, 특히 기초의학자들에게 대한 적절한 관심을 통해 의학교육계는 통합교육이 이들에게 어떠한 영향을 줄 것이며, 그들이 가르치는 영역에 어떠한 영향을 미칠 것인지 알아볼 필요가 있다.

This area of literature both acknowledges the multiple levels involved in change and emphasizes the need not only to address systemic structure but also to prioritize individuals during times of transition. The struggle to implement curricular integration in medical education may stem from the fact that reform efforts appear to focus largely on transformation at the level of curricular structure as opposed to considering what learning needs to occur at each level of change and highlighting the individual as the educational change literature suggests. To bring appropriate attention to the place of individual educators, especially basic scientists, the medical education community should explore how the mandate to integrate clinically relevant material may impact these faculty and the teaching of their domains.

• The predominant curricular model of the past 100 years has been one in which students spend 2 years in the university setting learning the medical, or “basic” sciences, and then 2 years in teaching hospitals learning at the bedside of patients.

• 현 교육의 문제 however, many contemporary medical educators now perceive this separation of theoretical and practical knowledge as problematic because they believe that, firstly, this separation weakens the transfer of knowledge to the practical context, and secondly, that students are often unmotivated to learn large amounts of detailed information that seems disconnected from the practical setting.2–7

• 왜 계속 반복되기만 하는 것일까? To move toward actually implementing curricular integration, therefore, a relevant question to ask is, Why does this perpetual discussion of the same theme continue with little substantial change in the training of physicians?

• Integration: Then and (Still) Now
• The field of medical education has been working toward curricular integration for over 60 years. 
• Case Western Reserve University School of Medicine is recognized as implementing the first integrated curriculum in the early 1950s, as lectures began to incorporate clinical examples or include presentations from visiting physicians.13 
• Later, McMaster University moved toward integration with the introduction of problem-based learning in 1969. One of the expressed objectives of this innovative curriculum was to integrate the basic and clinical sciences in the context of clinical problems.14 
• Similarly, in the early 1990s, the University of Calgary Faculty of Medicine introduced a curriculum through which relevant basic and clinical science material were to be learned in the context of “clinical presentations”—that is, the different ways patients present to physicians, such as with a headache, abdominal pain, or fever.13 Thus, in the context of different schools and in the form of different curricular structures, integration was a recurrent theme of reform throughout the second half of the 20th century.15 
• Yet, today, curricular integration is not fully actualized and continues to appear as a central recommendation in reports for curricular reform. 
• The Future of Medical Education in Canada: A Collective Vision (the FMEC report) acknowledges the integration and timing of the basic and clinical sciences as one of the priority areas to be addressed in the training of physicians in Canada.16,17 Specifically, the report recommends that “both human and biological sciences must be learned in relevant and immediate clinical contexts throughout the MD education experience”16(p20) and that the basic and clinical sciences “must be increasingly integrated so that students think about clinical applications as they learn basic sciences and about scientific principles as they learn clinical skills.”16(p20) 
• Similarly, Educating Physicians: A Call for Reform of Medical School and Residency recommends integration of formal knowledge and clinical experience.8 A commission on medical education sponsored by the Robert Wood Johnson Foundation recommends that “medical schools should ensure that the sciences of medical practice be integrated throughout the entire course of study.”18(p413) Other experts in the field of medical education, including a former editor of this journal, have echoed this recommendation.19

• 지금껏 매번 똑같아 왔다. After reviewing major reports of reform throughout the past century, Christakis21(p706) came to a similar conclusion, writing, “Typically these reports identify strikingly similar problems with medical education, claim that previous reports have gone relatively unheeded, argue that reform is essential and urgent, and prescribe corrections that are also strikingly similar.”

• The literature does acknowledge that modifications and adjustments have been occurring constantly in medical education to keep training current with the advancements of medical science and technology, but describes these changes as being superficial, leaving the basic and clinical sciences still largely segregated.20,22–24 The consensus appears to be that although changes have occurred, they remain at the level of curricular tinkering25 rather than producing fundamental change.

• 어떤 질문을 해야 하는가? She states that “we can be assured that we don’t need to keep asking, ‘what should we do?’ but rather ‘how can we get there?’”26(pS32) We would suggest, however, that to answer the question of how to get there, medical educators must first ask why change has been so hard.

• Commonly referred to as the “paradox of change without difference,”30 this phenomenon, describing the minimal impact of educational reform efforts, largely echoes the recurrence of the same recommendations that plague medical education.

• 교사가 중요하다. Fullan notes that “a teacher cannot sustain change if he or she is working in a negative school culture; similarly, a school can initiate and implement successful change, but cannot sustain it if it is operating in a less than helpful district; a district cannot keep going if it works in a state that is not helping to sustain reform.”31(p18)

• Woodbury32 found substantial evidence that the thinking and practice of individual teachers centrally impacts educational change. Researchers in educational change largely agree that any attempt to significantly change curricula must start with teachers33 and continue to hold them at the center.34

• By contrast, the literature regarding the implementation of integration in medical education tends to focus on the level of curricular structure.

• 기초의학자들의 목소리는 들리지 않는다. Amidst the overlying conversation regarding various integrated structures, the voices of individual educators— particularly those of basic scientists— appear to be lost.

• 그런데 그 와중에서도 이들의 반대가 심하다는 종종 등장한다. Despite the seemingly muted voice of basic scientists in the literature, one challenge of implementing curricular integration often mentioned is resistance from these faculty. In general, basic scientists are reported as having a negative attitude toward change. Different schools’ accounts of implementing integration highlight the unwillingness of basic science faculty to adapt to a new curriculum.2,11,36 Some report that basic scientists perceive integration to be unidirectional40 and that they are uncomfortable trying to put their teaching into clinical contexts because of their lack of clinical knowledge.6 When forced to integrate, basic science departments are noted as displaying “anxiety, antipathy, lack of cooperation, and general mistrust.”41(p15)

• 교사가 중요하다(2) As summarized by Fullan,31 “educational change depends on what teachers do and think—it’s as simple and complex as that.”

• 해야 할 연구들 To this end, as Fullan31 suggests, medical educators might conduct research on better understanding the experiences of basic scientists who are at different points along the process of reform. 
• What is the experience like for those who have undergone, are undergoing, or anticipate such a change? 
• How do they understand the teaching of basic science within this new mandate of “clinical relevance”? 
• What learning must occur in order for them to get there? 
• What do they feel they have to give up in this process? 
• Do they perceive any benefits, and if so, what are they?

• 개혁의 과제는 늘 비슷하고, Current reforms in medical education reiterate many of the same challenges the field has been voicing for over half a century:
• 그 해결방법도 새롭지 않다. The current approach to addressing these concerns is also nothing new;

• The educational change literature speaks to the importance of attending to the multiple levels of change, but in particular to the individual teachers who will be the ones actually implementing the change. Given the complexity and collaborative nature of educational reform, we suggest delving beneath the models of curricular structure that dominate current conversations, and developing an understanding of what those curricular changes mean to those who are asked to live them and carry them out. Focusing not only on what we are integrating but also on who we are integrating may be the key to moving beyond change without difference, and enacting change that is both successful and meaningful.

Integrating basic science without integrating basic scientists: reconsidering the place of individual teachers in curriculum reform.

의학교육 수월성 제고를 위한 교육과정 재설계

Curriculum Redesign for Excellence in Medical Education

연세대학교 의과대학 의학교육학과

Eunbae B. Yang

Department of Medical Education, Yonsei University College of Medicine, Seoul, Korea

서 론

의학교육 기관들은 21세기 사회의 요구에 부응하는 우수한 의사를 양성해 왔다. 연구를 통하여 의학의 발전을 이끌었으며, 탁월한의료서비스 제공을 통하여 질병 치료와 국민의 건강증진에 이바지하였다. 아이러니하게도 시스템이 작동하지 않는 의학교육을 통해 그토록 유능한 의사(competent physician)들이 배출되고 있는 것은 기적이다(Albanese et al., 2010). 우리에게 성찰적 역량이 조금만있다면 의과대학 교육이 얼마나 체계적이지 못한지 금방 알 수 있다.하지만 지금의 교육체제에서는 학생들에게 무엇을 가르쳐야 하는지혼란스럽고, 학생들이 졸업하는 시점에서 무엇을 할 수 있어야 하는지 명확하지 않다. 또한 미래사회 의사들이 어떤 역량을 갖추어야하는지도 정리가 되어 있지 않다. 지식 중심의 일방적 강의는 계속되고 임상실습은 여러 가지 이유로 내실화가 어렵다. 학생들이 진짜공부를 하기보다는 시험에 합격하기 위한 학습을 하는 것은 오래된관행이다. 학생들에게는 협력보다는 경쟁에서 살아남는 것이 중요하다. 지난 30년 동안 끊임없이 교육과정을 개선하고 새로운 교육방법과 평가방법을 도입하여 더 좋은 의학교육을 제공하기 위해서노력했음에도 좀처럼 변화의 기미가 보이지 않는다. 시스템이 문제이다.

시스템은 두 개 이상의 객체가 연합하여 논리적 연관성을 가지고특정 목적을 수행하는 유기체(entity)로 정의된다. 이렇게 연합한유기체는 시너지 즉, 시스템 에너지를 만들어 낸다. 교육적 맥락에서시스템은 넓은 의미의 교육과정을 의미하므로 교육의 제반 요소들이교육과정을 중심으로 논리적 연관성을 가지고 교육목표를 달성하도록 하는 것과 관련되어 있다. 의학교육 시스템과 관련하여 다음두 가지를 생각해 볼 필요가 있다. 

• 첫째는 현재의 의학교육이 어떤시스템을 갖고 있는가에 대한 의문이다. 의과대학 교육에는 다양한요소가 관련되어 있다. 교육과정, 교육방법, 학생평가, 가르치는 사람, 배우는 학생, 교육시설 그리고 교육비 등 열거하기 어려울 정도이다. 거의 모든 대학이 의학교육에 필요한 요소들을 다 갖추고 있다.정도의 차이만 있을 뿐이다. 이러한 요소들이 논리적 연관성을 갖고연합되어 있는지 의문이다. 최근 의학교육을 혁신적으로 개편한 대학에서도 학생들의 학습방법은 변화되지 않았다. 학생들은 자기주도적 학습을 하기보다는 여전히 주입식 강의와 족보 중심의 암기식공부에 의존한다. 그래서 시스템이 제대로 작동하는 것처럼 보이지않는다. 
• 둘째는 현재의 의학교육이 발전적인 시스템 에너지를 만들어 내고 있는가에 대한 질문이다. 의과대학은 최고의 우수한 학생들이 입학한다. 4년 또는 6년의 의학교육을 받고 난 그들에게는 다른학생들보다 조금이라도 더 좋은 성적을 받는 것이 더 중요한 요소였다. 국가고시에 합격하는 것도 중요한 이슈였을 것이다. 의학에 대해알아가고 새로운 지식을 탐구하는 즐거움은 잊어버린 지 오래다(물론 모든 학생이 그렇다는 의미는 아니다). 유급당하지 않는 것과상급 학년으로의 진학이 전부였다. 따라서 어떤 의사가 되어야 하고자신의 잠재력이 무엇인가에 대한 고민보다는 인기 있는 전공을선택할 수 있는지가 더 중요했을 것이다. 그들은 개업을 염려하고,미래 수익을 걱정한다. 우리가 의도한 것은 아니지만 이러한 것들이오늘날 의학교육 시스템이 만들어 내는 에너지이다. 그렇게 하라고하는 것은 시스템이 아니다. 하지만 그렇게 될 수밖에 없게 하는것이 시스템이다. 의학교육의 시스템을 어떻게 설계하고 운영할 것인가에 대한 진지한 고민이 필요한 시점이다. 이러한 배경에서 이연구는 현재의 의학교육 시스템을 진단하고, 어떻게 개선되어야 하는지 그 방향을 제시하는 것을 목적으로 하였다.

단일 모델에 기반을 둔 교육과정 편성

전통적으로 의과대학 교육과정은 의학의 과학적 토대를 함양하는 전반부 2년과 과학적 토대를 바탕으로 실제 환자 진료 경험을축적하는 후반부 임상실습 2년으로 구성된다. 이러한 이원화된 교육과정 편성 모델은 1910년 아브라함 플렉스너(Abram Flexner)의주장에 따라 과학적 의학의 중요성이 강조되면서 20세기 교육과정편성의 주요한 패러다임으로 자리 잡았다(Boudreau &Cassell,2010). 이원적 교육과정 편성 모델이 갖는 한계를 극복하기 위하여 통합교육과정(integrated curriculum), 의사 되기(doctoring)와 같은 새로운 개념이 도입되었지만, 플렉스너가 제시한 기본 모델을뛰어넘지는 못하였다. 많은 의과대학에서 교육과정 편성원리로 채택하고 있는 ‘의학의 과학적 토대’와 ‘임상실습’이라는 이원적 구조는 구시대의 산물이다. 플렉스너 당시에는 의과대학에 진학하는 다양한 배경의 학생들에게 환자 경험을 시키기 위해서는 일정한 수준의 과학적 지식을 습득하도록 해야 했다. 과학적 지식을 비용 효과적으로 가르칠 수 있는 유일한 방법은 한꺼번에 많은 수의 학생을큰 강의실에 모아 놓고 강의하는 것이었다(Christensen et al., 2008).플렉스너가 의학교육에 미친 지대한 공헌을 부정하는 것은 아니지만, 21세기 교수학습 이론이나 의학교육 환경은 플렉스너가 제안한 이원적 모델을 지지하지 않는다. 교수학습 이론은 의과대학 전반부에 학습한 기초 및 임상의학 지식이 학습자들의 인지구조와 연결되지 않을 경우 임상실습이 시작되는 시점까지 기억되지 않는다는점을 강조한다(Fosnet, 1996). 성인학습자들은 자신의 학습이 실제환자 진료와 연결되는 경험 중심적 학습을 선호하고, 이러한 환경에서 더 높은 학습효과를 나타낸다(Knowles et al., 1998). 과거와달리 의과대학에 입학하는 학생들의 기초과학 지식수준은 상당히표준화되어 있다. 따라서 과거처럼 임상실습 교육 이전에 학생들의기초과학 지식수준을 표준화할 이유도 없다. 정보통신기술의 발달과 오픈 코스웨어(open course ware)의 발달은 학생들이 원하기만하면 언제든지 최고 수준의 지식습득도 가능하다.

20세기 후반 의학교육은 학생들에게 통합적인 경험을 제공하기위한 다양한 시도들을 해 왔다(Cooke et al., 2006; Ling et al.,2008). 우리나라도 어떤 형태로든지 통합교과체제를 도입한 의과대학이 상당하다. 그러나 이런 개편의 방향이 많은 경우 외형적 개정(cosmetic revision), 즉 장기(organ)에 따라 단순히 기초과목 시간과임상과목 시간을 묶어서 함께 배치하는 정도에 그치고 실질적인교육내용이나 교육방법 등의 변화는 미흡하여 학생들이나 임상교수들은 여전히 기초의학과 임상의학이 분절되어 있다는 불만을 제기하고 있다(Yang &Ahn, 2012). 통합교육을 제대로 수행하기 위해선기존의 학문 중심으로 구성되었던 두 개 이상의 과목을 합쳐서 새로운 과목을 구성하는 것으로 끝나는 것이 아니라 지식이나 경험을학생들에게 의미 있는 형태로 재구성하여 학습자의 성장을 꾀할수 있어야 한다(Harden, 2000). 따라서 기초 및 임상과목의 학습목표를 시간상으로 나열하여 교육하는 것이 아니라 임상 맥락에 기반을 두어 학습내용을 재조직하고, 학생들이 기초의학 및 임상의학에서 습득한 개념과 원리를 임상 상황에 맞춰 ‘전이’하는 능력을 갖출수 있도록 하는 질적인 면에서의 통합교육이 이루어져야 한다. 플렉스너 모델은 학생들이 지식을 배우게 되면 그것을 나중에 활용할때까지 기억장치 속에 효과적으로 보관해 놓을 것이라는 전제를하고 있다. 이러한 전제를 바탕으로 한 교육과정 편성원칙은 의학교육과정의 통합, 통합적 학습경험을 제공하는데 장애요소 중의 하나이다.

지난 100여 년 동안 의과대학 교육과정 편성의 핵심원칙으로자리한 플렉스너의 이원적 교육과정 편성 모델의 한계를 극복하는데상당한 시간이 걸리겠지만, 이미 국내외 많은 대학에서 플렉스너모델의 한계를 극복하려는 새로운 시도들이 일어나고 있다. 임상조기노출 교육과정, 임상의학 입문과정(introduction to clinical medicine) 개설, 의과대학 저학년에서의 객관구조화진료시험(objective structured clinical examination), 임상수행평가(clinical performance examination) 도입, 의사 되기(doctoring) 프로그램,인문사회의학(medical humanities and social medicine)의 강화는좋은 사례들이다. 기초 및 임상의학의 과학적 토대 위에 임상실습이라는 교육과정이 가능하다는 블록쌓기 이론(block theory)보다는의과대학 전 학년을 통합하여 하나의 통합된 경험을 제공하기 위한새로운 모델이 제시되어야 한다. 답은 의과대학 교육과정 편성을단일 모델에 기초해서 수립하는 것이다. Figure 1A, 1B와 같은 모델은 학생들에게 통합적 경험을 제공하지 못하였다. Figure 1C의 모델은 의과대학 1–4학년 전 과정을 의사되기 과정으로 구성하고, 기초및 임상과학을 임상실습과 통합적으로 배치하는 것이다. 임상경험을 1학년부터 4학년 과정까지 배치하고, 관련되는 기초의학 및 임상의학적 토대를 함께 교육하는 것이다. 외국의 선진 의과대학은 벌써이러한 모델을 도입하고 있다. 이러한 단일 모델에 기반을 둔 교육과정을 편성하기 위해서는 기존의 교실 개념, 학문분야 개념을 버리는것이 중요하다.

상호작용과 책무성을 강조하는 교육방법

의과대학 1–2학년 교육과정은 기초의학과 임상의학 지식을 교육하는 강의로 구성된다. 과거보다는 수업시수가 많이 줄어들기는 했지만, 여전히 월요일부터 금요일까지 하루 6–8시간씩 강의가 일어난다. 강의보다는 소그룹토론이나 온라인 학습을 강조하는 대학도 있지만, 2년 동안 약 3,000시간 내외의 강의가 이루어진다. 강의는의학지식을 학생들에게 전달하는 중요한 방법인 동시에 효과적이다.대학 또는 과목에 따라 차이가 있겠지만, 의과대학 강의는 전체학년이 같은 장소, 같은 시간에 같은 과목을 이수하고, 대부분의강의는 팀티칭(team-teaching)으로 이루어진다. 의과대학 1학년 과정에서 교수 1인당 담당하는 강의시간은 5.7시간, 2학년 과정에서교수 1인당 담당하는 강의시간은 1.3시간 정도이다(국내 일개 사립의과대학의 사례이며, 대학에 따라 다를 수 있다). 최근 10년 동안의과대학 학생 강의의 질적인 수준을 높이기 위한 많은 노력이 있었다. 효과적인 슬라이드 제작법, 대형강의 기법, 스토리텔링, 질문과피드백 기법, 상호작용 장치 도입, 학생 유인물 제작방법 등을 교수들에게 교육하기 시작한 것은 대표적인 노력이다. 의과대학 인증평가기준에 의과대학 교수들이 일정 시간 이상의 교육 관련 프로그램이수를 규정한 것도 좋은 사례이다. 그럼에도 의과대학 강의가 획기적으로 개선되었다는 소식은 들리지 않는다. 의과대학 수업을 관찰한 다음 내용은 의과대학 강의의 불편한 진실을 잘 말해 준다.

8시 30분. 수업 시작이다. 김철수 교수는 120명의 학생 출석을부른다(1번, 2번 등-때로는 이름을 부르는 일도 있지만, 의과대학에서는 번호가 중요하다). 몇 가지 주의나 당부의 말들이이어지고, 대부분은 곧바로 슬라이드 강의가 시작된다. 강의실의 모든 빛은 사라지고, 교수의 얼굴도 보이지 않는다. 출석을부르던 때의 긴장감은 편안한 시간으로 바뀐다. 교수들은 자신들이 알고 있는 지식과 경험을 몇백 장의 슬라이드 속에 잘 정리하여놓았다는 안도감에 이 슬라이드만 끝내면 된다. 학생들의 일부는초롱초롱한 눈을 갖고 교수의 강의를 주의 깊게 듣고 기록한다.소위 족보팀이다. 학생들은 어쨌든 편안한 마음으로 시간만흘러가면 흔히 족보라는 것이 나올 것이기 때문에 편안하다.1교시는 이렇게 끝났다. 그리고 오후까지 이러한 표준화된 강의는 계속된다(2014년 9월 Y 의과대학 2학년 수업 관찰).

교수들의 교육 역량을 높이는 것이 일정 부분 의학교육의 질적수준을 향상할 수 있겠지만, 상호작용과 책무성을 강조하는 교육과정 운영 전략도 요구된다. 

• 첫째는 일정한 교육 역량을 갖춘 교수들이학생 교육을 담당하도록 하는 것이다. 우리는 흔히 가르치는 일과배우는 일을 분리해서 생각한다. 그래서 교수들이 어떻게 가르칠것인가에 대해 고민하고 학생들이 어떻게 배우는가에 대해서는 별다른 고민을 하지 않는다. 일반적으로 가르친다는 것(teaching)은 교육적 의도를 가지고 수행하는 일체의 활동으로 정의되는데, 목표로하는 행동을 나타내도록 환경을 계획적으로 조직하고 전달하는 것이다. 반면 학습(learning)은 개인과 환경과의 상호작용으로 나타나는인간행동의 지속적인 변화를 의미한다. 이러한 학습은 가르침이 없는 상태에서도 일어날 수 있고 가르친다고 해도 학습이 일어나지않을 수 있다. 얼마나 잘 가르치느냐 하는 것의 정의는 학생들이무엇을 어느 만큼이나 어떻게 배우느냐의 맥락에서만 정의될 수있다(Dressel &Marcus, 1982). 교수들이 잘 가르치기 위해서 그렇게 열심인데도 불구하고 ‘가르침=배움’이라는 공식이 성립하지 않는다. 아마도 이러한 공식이 성립하기 위해서는 의과대학 교수들의교수학습에 대한 인식 전환이 우선 되어야 할 것으로 보인다. 이를위해 일정 기간 교수개발 프로그램을 이수한 교수들만이 교육에참여할 수 있도록 하는 교육과정 운영전략이 필요하다. 

• 둘째는 과목별 수강인원의 제한이다. 수강인원 제한은 여러 가지 이슈를 동반한다. 예를 들어 100명의 학생을 여러 개의 분반으로 나누는 경우교수진, 강의실 확보가 되어야 하며, 투입되는 자원의 양도 늘어나야한다. 분반 교육의 질적 수준 표준화도 중요한 이슈이다. 그럼에도대형 강의의 분반은 교육의 질적인 수준을 향상하기 위한 가장 기본적인 조치이다. 일반 대학도 대형 강의가 있기는 하지만, 분반 기본단위를 설정하고 있다. 의학교육의 질적인 수월성 추구를 위해서과목당 수강인원을 40–80명 단위로 제한할 필요가 있다. 수강인원제한의 절대적 수치가 있는 것은 아니지만, 교수가 강의실 내에서통솔력을 발휘하고 상호작용이 가능한 단위가 어느 정도일 것인가에따라 자율적으로 결정할 수 있을 것이다. 국내 의과대학의 경험에의하면 대형 강의를 분반하는 경우 학생들은 수업에 더 집중하고,교수들은 더 열의를 가지고 강의하였으며, 교수와 학생 간의 상호작용은 높아진다고 한다. 분반을 위한 여건은 충분히 갖추어져 있다.강의를 담당할 충분한 교원이 확보되어 있으며, 교수들은 자신의강의 시간이 부족하다고 하면서 서로 강의를 하겠다고 한다. 

• 셋째는의과대학 팀티칭 강의를 원칙적으로 제한하는 것이다. 다른 단과대학과 달리 의과대학은 학생 1인당 교원 수가 교육부의 인가기준을 초과한다. 학생보다 교수가 더 많은 경우이다. 그렇다 보니 제한된의과대학 학생 강의를 교수들이 1–2시간씩 나누어서 강의하는 경우가 허다하다. 팀티칭이 갖는 장점이 있지만, 동일 교과목 내에서학습의 일관성, 내용의 연계성을 확보하기는 어렵다. 연구와 진료부담은 팀티칭으로 이루어지는 과목의 운영회의도 내실 있게 하기어렵게 만든다. 원칙적으로 과목 내 팀티칭은 특별한 이유가 있는경우를 제외하고는 허용하지 않는 방안이 검토되어야 한다. 약간의시간이 걸리겠지만 의과대학 학생 수준의 강의는 한 명의 전임교원이 담당하도록 하는 것이다. 상호작용과 책무성을 강조하는 이러한교육과정 운영전략이 어느 정도는 파격적일지 모르겠지만, 의학교육의 수월성과 학생들의 효과적인 학습경험을 설계하기 위해서 기본적으로 검토되어야 할 사항이라 할 수 있다.

학습의 연계성을 강조하는 단계별 임상실습

의과대학의 임상실습 교육은 1–2학년 과정에서 학습한 의학지식을 실제 환자를 통해 경험하게 되는 의학교육의 핵심이다. 과거도제식으로 이루어지던 임상실습은 상당 부분 표준화되었다. 병원에 내원하는 환자와 관계없이 실습기간 학습해야 하는 목표가 수립되고, 실습방법과 평가방법도 개선되었다. 그럼에도 아직 의과대학임상실습에서 해결되지 않은 문제가 있다. 의과대학 3–4학년에서이루어지는 임상실습이 순환적 모델에 기초하고 있다는 점이다. 예를 들어 100명의 학생이 3학년 과정에서 40주의 임상실습(일반적으로 2주 기간의 20개 실습단위로 편성)을 하는 경우 순환적 모델에서는 다음과 같이 임상실습이 이루어진다. 학생들은 몇 명의 소그룹으로 편성되어 내과, 외과, 소아청소년과, 산부인과, 신경과 등의 임상실습에 배치된다. 일반적으로 2주가 지난 다음에는 다음 실습 단위로이동한다. 임상실습 교육과정을 편성하는 측면에서 보면 이러한 순환구조는 합리적이다. 그러나 임상실습 경험의 연계성 측면에서 보면 아무런 원칙이 없는 것처럼 보인다. 순환적 모델에 기초한 임상실습은 다음과 같은 문제점을 갖고 있다.

• 첫째는 불완전한 임상실습경험을 제공한다는 점이다. 5번이나 6번 실습단위에 배정된 학생들은 2–4주의 내과학 임상실습만을 받고, 외과학 실습으로 들어가게된다. 외과학, 소아과학, 산부인과학 등도 같다. 두 번째 내과학 실습단위에 배정받은 학생은 내과학 임상실습을 완료하기까지 38주가걸린다. 일부에서는 내과학 또는 외과학과 같은 과목들이 분과별로교육을 시행하고 있기 때문에 전혀 실습에 문제가 없다고 말한다.또는 임상실습 환경을 고려할 때 이러한 순환적 모델이 최선의 선택이라고 주장한다. 어찌 되었든 이러한 순환적 임상실습 구조는 온전한 임상실습 경험을 제공할 수 없는 것은 분명하다. 

• 둘째는 임상실습에 들어가는 학생들의 수준 통일성 문제이다. 순환적 모델에서는임상실습 시기별로 다른 수준의 학생들이 들어오게 된다. 처음에는어떠한 임상실습 경험도 없는 학생들이, 중간 즈음에는 내과학 임상실습 경험이 있는 학생이, 더 중간 즈음에는 내과학, 외과학 임상실습경험이 있는 학생들이 실습에 들어오게 된다. 시기별로 임상실습을하는 학생들의 수준이 다르다면 학생들의 경험수준에 관계없이 임상실습 교육을 어떻게 표준화할 것인지 고민되어야 한다. 그럼에도이러한 문제에 대한 고민은 적어 보인다. 학생들의 지식과 경험수준이 다르다면 가장 먼저 할 일은 학생들을 대상으로 해당 임상실습과목에서 가장 기초가 되는 것을 강의해야 한다. 

• 셋째는 학습경험의순차성(sequence)과 연계성(articulation)의 문제이다. 순차성은 임상실습 교육이 어떤 체계적인 순서에 따라 제공되어야 한다는 것이며, 연계성은 교육과정의 앞뒤 내용이 논리적으로 이어져 있어야한다는 것을 의미한다. 결론부터 말하자면 임상실습의 순환적 구조에서는 순차성과 연계성을 확보하는 일은 불가능하다. 앞에서도 언급하였지만 내과학 실습을 한다면 모든 학생이 내과학 임상실습일반을 학습하도록 한 다음 분과별 또는 질환별 실습 경험을 제공해야 하지만, 순환적 구조에서는 이러한 순차성을 확보하기 어렵다.또한 대부분의 실습이 2주 단위로 독립적으로 교육된다는 점은 특정과목의 임상실습 내에서도 연계성을 확보하기 어렵게 만든다. 그래서 많은 사람이 호흡계, 순환계, 소화계 등의 임상실습은 있지만 내과학 임상실습은 없다는 자조적인 말도 한다.

Christensen et al. (2008)은 순환적 임상실습 모델의 한계를 극복하기 위하여 의학교육에서 마지막 2년 동안에 받는 순환실습 방식을바꾸어서 소규모 그룹으로 학생들이 임상실습을 받되 모든 그룹에서같은 진료과에서 첫 실습을 해야 한다고 주장한다. 그렇게 되면모든 학생이 진료과를 같은 순서로 거치면서 실습을 하게 된다.존속적 혁신이라고도 불리는 이러한 해법의 핵심은 학생들이 다음단계 임상실습에 들어가기 전까지 반드시 알아야 할 과학적 지식과임상 술기를 구체적으로 나열하고 그런 요건을 충족하는 경우에만다음 단계 임상실습으로 이동하게 한다는 것이다. 크리스텐슨의 주장이 오늘날 의학교육 환경에서 적용 가능할 것인지 의문이 있을수 있다. 그러나 오늘날 의학교육 환경은 과거 플렉스너가 바라보았던 환경과는 분명히 달라졌다. 학생들이 임상실습을 경험할 수 있는장소가 다양해졌으며 충분한 교수자들의 확보도 가능해졌다. 교육내용을 표준화하기 위한 멀티미디어 자료, 표준화 환자, 각종 모형의활용도 가능해졌다. 핵심은 임상실습 교육을 바라보는 우리들의 인식 변화와 학생들의 임상실습 경험을 최우선 순서로 두는 임상실습모형을 만드는 것이다.

경쟁에서 협동을 이끄는 학생평가 시스템

의과대학만큼 시험이 많은 대학은 없다. 입학에서 졸업 때까지자신의 키만큼의 답안지를 작성해야 졸업한다는 우스갯소리도 있다.상대평가를 기본으로 하는 현재의 학생평가는 언제나 일등과 꼴찌(상위권과 하위권)가 한 학년에 공존한다. 학생들에 따라 개인차가있기는 하겠지만 하위권 학생이 상위권으로 옮겨가는 일은 극히드문 현상이다. 4년 동안 반복적으로 학생들에게 하위권이라는 꼬리표를 달아 준다면 어떤 일이 벌어질까? 부모들이 자녀에게 12년동안 끊임없이 너는 하위권이라는 말을 해 준다면 자녀는 어떻게변화되어 갈까? 그들은 분명히 우울, 불안, 분노, 공포 등의 부정적심리를 경험하게 될 것이다(Spring et al., 2011). 의과대학 교육이이러한 모습과 너무나 닮았다. 이들이 의과대학을 졸업한 후에 훌륭한 의사가 될 것이라는 기대를 하는 것은 무리이다. 의과대학 교육이 의도한 학생들의 모습은 아니지만 현재의 의학교육 시스템은 이러한사람들을 배출한다. 아니 의도하지 않은 다른 시스템이 작동한다고보는 것이 더 정확한 이해일지 모르겠다. 고등학교에서 우수한 학업성취를 보인 학생들이 국가와 인류 발전에 공헌하겠다는, 사회의약자를 위해 의술을 배우겠다는 소명의식을 갖고 의과대학에 입학한다. 4년의 의학교육 과정을 성공적으로 마치고 졸업하는 학생들은어떤 생각을 하고 있을까?

얼마 전 의사면허국가시험에 합격했으니 이제는 한 시름 놓을만하다. 의과대학 재학기간 그렇게 많은 공부를 했지만 대부분암기했던 내용은 잊어버렸다. 얼마 안 되는 의학지식이 머릿속에 남아 있는 것 같기는 하지만, 실제 환자 진료에 적용하거나문제 해결에 어떻게 연결되는지는 잘 모르겠다. 의과대학 시절을 돌아보면, 시험을 잘 보기 위해서, 유급을 당하지 않기 위해서, 진급하기 위해서 끊임없이 족보를 외웠던 기억만 난다. 다른학생들을 동료라고 생각해 본 적은 별로 없다. 모두 경쟁 대상이었다. 인턴, 전공의 과정에서도 그럴 것 같다. 나중에 개업하게된다면 개업위치를 놓고 한바탕 싸움을 해야 할 사람들일지도모르겠다. 빨리 인턴, 전공의 과정을 마치고 개업하고 싶다(2013년 Y 의과대학 졸업생 인터뷰).

우리는 학생들이 의과대학을 졸업하는 시점에서 어떤 자산을 갖고 떠나게 해야 할지를 고민해야 한다. 무엇보다 소중한 자산은그들이 함께한 동료이다. 그들은 경쟁의 대상이 아니라 의료 현장에서 함께 협력해야 할 동료이다. 의학의 다양한 전공 영역에서, 사회의다양한 분야에서 활동하게 될 친구들이다. 의료서비스 과정에서 팀워크는 과거 어느 때보다 중요하게 여겨지고 있다. 팀워크는 이렇게하는 것이라고 강의실에서 교육하는 것으로 가능한 것이 아니다.통합교육과정이나 성과중심 교육과정을 개발하고, 소그룹 학습을활성화한다고 해결될 문제가 아니다. 핵심은 학생평가 시스템이다.학생평가시스템은 학생들의 학습문화를 바꾼다(Epstein, 2007). 1점의 점수 차이로 등급을 부여하고 서열을 부여하는 현재의 상대평가 시스템으로는 팀워크나 동료의식 함양은 불가능하다. 절대평가시스템이 답이다. 어떤 형태의 절대평가 시스템이 되어야 하는가는다양한 견해가 있을 수 있다. 대학의 여건과 맥락이 고려될 필요가있다. 교육과정과 교육방법을 바꾸어도 학생들은 쉽게 변하지 않는다는 것을 우리는 알고 있다. 그들은 단지 진급을 원할 뿐이다. 그렇기에 학생들이 동료와 함께 학습하고, 동료와 팀워크를 이루지 않고는 학습할 수 없도록 학생 평가 시스템을 개선하는 것이 중요하다.그리고 더는 동료 사이에 누가 더 잘하는지 경쟁시키지 않는 것이중요하다. 의학교육은 승자만이 살아남는 게임이 아니다. 교육의결과는 모두가 승자이어야 한다.

경쟁에서 협동을 이끌어내는 학생평가 시스템을 어떻게 설계할것인가는 그리 어려운 문제가 아니다. 이미 많은 선행 연구가 절대평가와 상대평가 시스템의 장단점을 분석하고 있으며, 많은 외국 의과대학이 합격과 불합격(pass and non-pass)과 같은 절대평가 제도를사용하고 있으므로 충분한 벤치마킹 사례를 참고할 수 있다. 이보다는 절대평가 중심의 학생평가 시스템이 작동하도록 하는 것이 중요하다. 시스템이 제대로 작동할 수 있도록 교수개발을 강화하고 학습문화를 바꾸는 것이 무엇보다 중요하다.

결 론

의과대학 학생들 사이에는 과목이 끝날 때마다 ‘머리를 비워야다음 공부를 할 수 있다’라는 말이 있다. 그만큼 의과대학에서 공부해야 할 양이 많다는 것을 의미한다. 학생들은 자신의 모든 에너지를투입해서 공부만 한다. 그것도 학생들이 의사로서 활동하게 될 10–15년 후에는 쓸모없을지도 모르는 지식을 암기하고 술기를 익히기위해서 공부한다. 1910년 Flexner 보고서가 발간된 이후 의학교육은학생들을 의료인으로 사회화시키는 형성학습(formative learning),과거로부터 축적된 의학의 다양한 정보를 배우는 정보학습(informative learning)을 지향해 왔다. 하버드 의과대학 Macy Institute의 Armstrong & Barsion (2013)은 의과대학 학생들이 더는형성학습과 정보학습에 에너지를 투입해서는 안 된다는 지적을 한다. 의과대학 학생들은 사회의 변화를 이끌어가는 변화 에이전트(change agents)로 성장해야 한다. 미래사회 국가의 부가가치를 창출하는 핵심 인재들이 되어야 한다. 의과대학은 재학기간 학생들이가진 다양한 잠재력을 개발하고 변화 에이전트로 성장할 수 있도록 전환학습(transformative learning)을 제공해야 한다.

학생들이 투입하는 에너지를 전환학습으로 유도하기 위해서는의학교육방법이 아니라 시스템의 변화가 필요하다. 이것은 무엇을가르칠 것인지, 강의를 어떻게 잘할 것인지, 국가시험에서 어떻게좋은 성적을 얻게 할 것인지에 대한 고민보다는 전환학습이 가능하게 하는 교육구조의 변화를 의미한다. 이원화된 교육과정 편성원리를 단일 모델로 전환하고, 상호작용과 책무성을 강조하는 교육과정운영전략을 수립하고, 순환적 임상실습의 구조적 모순이 해결되어야 한다. 그리고 학생들의 학습 에너지를 전환하기 위한 절대평가중심의 학생평가 시스템 개선도 필요하다. 궁극적으로는 아직 해결되지 않는 의학의 다양한 문제들에 대해 지적 호기심을 갖고 탐구하는데 더 많은 에너지가 투입되어야 한다. 국가의 부가가치를 생산하고 사회의 변화에 이바지하는 방향으로 학생들의 에너지가 투입되도록 방향을 전환해야 한다.

교육은 사회화 과정의 일부로 이해된다. 학생들은 영원히 강의실에 머물러 있지 않으며, 미래의 어떤 시점에 사회의 구성원으로참여하게 된다. 학생들은 대학 졸업과 동시에 학습자에서 고용된사람으로, 학습자에서 책임감 있는 사회 구성원으로, 이론에서 실제로, 가르쳐지는 환경에서 스스로 배우는 환경으로, 지지적인 환경에서 자기주도적인 환경에 노출된다. 이것은 의과대학의 교육 초점이강의실에서 사회현장으로 이동해 간다는 것을 의미한다. 그러나 현재의 교육을 살펴보면, 학습자들은 사회에서 요구되는 실제적인 지식, 수기 및 태도를 경험하지 못하는 것 같다. 그러한 이유의 상당부분이 의학교육의 시스템과 관련되어 있다. 교육은 실제에 대해서보고 듣는 것이 아니라 학습자들이 무엇인가를 직접 ‘하는’ 것이되어야 하며, ‘자기주도적’이어야 하고, ‘유의미한’ 것이 되어야 한다.이것은 교수와 학생이 모두 생각하는 바람직한 교육의 종착점이다.따라서 대학은 학생의 학습 관점에서 의학교육의 수월성을 높이는방향으로 교육구조를 재설계해야 한다.

The purpose of this study is to analyze the medical education system of Korea and to propose a method

of curriculum redesign. Although there have been many attempts by medical educators to improve the

quality of medical education, the results have not been fruitful. First, there exists a limitation to the dualistic

curriculum design based on Flexnerianism, and thus, this model does not provide an integrated experience

to medical students. Therefore, we propose a unidimensional model for curriculum redesign. Second, it

is impossible to promote excellence in medical education without solving the structural problems of teaching

and learning, such as the teaching competency of the faculty, large-scale lectures, and team teaching systems.

A curricular strategy that emphasizes mutual interaction and teaching accountability is necessary to promote

meaningful learning. Third, the current clinical training system, the circulation model, provides incomplete

training as well as a lack of sequence and articulation experiences. This system needs to be redesigned

in a way that allows only those students who have mastered both the knowledge and the application

of medical education to advance to the next step. Fourth, norm-referenced assessments of a medical college

distort the learning process and create unconstructive system energy. A criterion-referenced assessment that

values cooperation, independent study, and intrinsic motivation is more important for the reliability and

validity of the assessment. Medical students should not focus on formative and informative learning. Medical

colleges should investigate the multifaceted potential of the students and provide transformative learning

to grow students into change agents. For this to take place, curriculum redesign—not new methods of

medical education—is required.

Keywords: Curriculum, Medical schools, Learning

성과중심교육 측면에서 우리나라 의과대학 학생평가의 현실과 과제

Current and Future Challenges of Student Assessment in Medical Education from an Outcome-based Education Perspective

박장희

연세대학교 의과대학 의학교육학과

Jang Hee Park

Department of Medical Education, Yonsei University College of Medicine, Seoul, Korea

서 론

평가(evaluation)란 우리의 일상생활에서 벌어지는 각종 선택과관련된다. 출근은 어떻게 해야 할지, 점심은 무엇을 먹을지, 어떤 물건을 사야 할지 등 일상생활에서 벌어지는 각종 선택의 상황에서나름의 기준을 세우고 판단(결정)하는 것이다. 최종 판단에 있어관련 자료를 수집하고, 적절한 기준을 세우는 것이 최선의 선택을할 수 있는 방법이다. 교육평가(educational evaluation)란 교육이벌어지는 장면에서 일어나는 선택의 상황에서 각종 정보수집과 판단을 내리는 것이다. Sung (2009)은 교육평가란 교육과 관련된 모든 것의 양, 정도, 질, 가치, 장점 등을 체계적으로 측정하여 판단하는 주관적 행위로서 교육목적에 대한 가치를 판단하는 행위라고보다 광범위하게 정의하고 있다. 이러한 맥락에서 의학교육에서 일어나는 학생성취와 관련된 정보수집과 판단에 관한 것을 의학교육평가라고 말할 수 있다. 평가의 대상은 인적 대상으로 학생, 교수, 학부모, 교육행정가 등이 있으며, 물적 대상으로 교수개발프로그램등의 소프트웨어와 교육환경과 예산의 하드웨어 그리고 평가의 평가로 분류할 수 있다(Kim, 2009; Sung, 2009). 본 연구에서는 학생대상의 평가에 한정하여 기술하겠다.

현재 의학교육은 학생의 역량 설정과 이에 대한 구체적인 성과(outcome)중심으로 환경이 변화하고 있다. 이는 가르치는 사람 위주의 교육에서 배운 사람이 실제로 습득한 성과를 규정하고 이를중심으로 교육과정과 평가를 실시하는 것이다(Harden, 2007). 성과중심교육은 지식 위주의 교육에서 직업전문성 등을 포함한 전인격 차원의 교육프로그램을 만들고, 학생들이 도달하고자 하는 수준을 학습성과로서 구체적으로 설정하고, 학습성과 항목을 평가항목으로 활용하여 학습자들의 달성 정도를 평가하여 확인하는것까지 포함한다. 단적으로 말하면 평가할 내용과 수준을 시기별로 정해 놓고 이를 주기적으로 학생이 도달했는지 평가를 통해 학습성과를 확인하겠다는 것이다. 이 과정에서 많은 의과대학 교수들은 ‘형성평가’, ‘포트폴리오평가’, ‘합격선 설정’, ‘행동용어적 목표기술’, ‘도달수준 설정’ 등 생소한 평가 관련 용어들과 접하게 된다.성과바탕교육은 1985년 미국 의과대학을 대상으로 하는 인증평가의 기준으로 채택되었고, 우리나라도 2012년 ‘post 2주기 의과대학평가인증기준’으로 발표되면서 교육평가 관련 지식은 단순한 학문적 경향이 아니라 대학의 생존을 위해 반드시 알아야 하는 분야가되었다(Ahn &Yang, 2013; Han, 2013). 많은 대학들이 이러한 의학교육의 흐름에 발맞추기 위해 성과중심교육체제로 변화하면서 가장 난제로 여기는 것이 학생평가와 관련된 부분이다. 이에 본 논문에서는 본론에서 의과대학의 학생평가를 성과바탕교육과 연계하여 그 문제점과 과제를 중심으로 몇 가지 대안을 제시하였다.

성과중심교육에서 바람직한 학생평가의 10가지 제안

본론에서는 성과중심교육 측면에서 효과적인 학생평가방법을현실과 과제를 근거로 제안하였다. 제안 항목은 크게 평가인력, 평가기능, 참조준거, 평가내용, 평가방법으로 구분하여 기술하였다.

1. 평가인력

<제안 1> 교육과정 운영자들의 평가전문성이 강화되어야 한다.

의과대학은 성과중심교육체제로의 변화를 요구받고 있다. 교육자들이 나름의 철학을 가지고 학생들을 교육하고 평가하는 체제에서, 학생들의 학습성과(결과)를 측정 가능한 수준에서 미리 설정하고 교육 후 이에 대한 검증을 받아야 하는 체제로 변화하고 있다.그러므로 평가의 결과가 교육의 질을 평가하는 중요한 기준이 된다(Ahn &Yang, 2013; Im, 2013; McAleer, 2005). 이러한 체제로 변화하기 위해서는 대학은 시기나 과정별로 측정이 가능한 수준과 방법을 사전에 고려하여 학습목표를 설정해야 한다. 교수들은 측정가능한 학습목표(성과)로 기존 강의를 변화시키는 것뿐만 아니라,새롭게 요구되는 형성평가, 학습시기별 성과, 새로운 교육방법의 도입과 평가 등 기존에 익숙하지 않은 용어들로 인해 지적인 피로감을 호소하고 있다.

의과대학교육의 특징 중 하나가 대부분의 과정이 옴니버스강의로 진행되어 있고, 교수들은 전체 수업 안에 부분적으로 참여하는것이다. 학문의 융합 차원에서는 바람직하지만 전체 교육과정의 철학이나 원리에 대한 공유가 없이는 교수 개인의 교육철학이나 능력에 의해 자칫 교육의 내용이나 질이 달라질 수 있다.

성과중심교육체제로의 변화에서는 성과를 확인하는 것이 관건이다. 학습성과를 확인하는 평가방법에 대한 다양한 접근과, 시기별, 과정별 성과를 주기적으로 평가 및 관리하기 위해서는 이를 의과대학 중앙에서 관리하는 위원회나 의학교육 주체들이 평가에 대한 이해가 필요하다.

대학의 평가 관련 위원회들은 매우 다르게 운영되고 있고, 위원마다 새로운 평가방법에 대한 이해 정도에 차이가 있으며, 대부분평가에 관한 총괄적이면서 조직 차원의 비전이 없다(Elizondo-Montemayor, 2004). 우리나라도 이와 크게 다르지 않을 것이다. 그러므로 의과대학 전체 교육과정을 계획하고, 주기적으로 학습성과를 검증하고 필요한 교육적 조치나 판단을 내리는 관련 주체들의교육평가 전문성이 강화되어야 한다. 개별 교수들은 능력에 상관없이 전체 과정의 부분으로 참여하기 때문에 전체적인 가이드와 관리해 주는 전문성 있는 주체가 더욱 필요하다.

<제안 2> 평가에 다양한 인력을 활용해야 한다(위원회평가, 전공의평가, 동료평가, 자기평가).

진료와 연구를 우선으로 생각하는 대부분의 의과대학 교수들에게 다양한 교육방법과 평가방법을 이용하라고 강조하는 것은 상당한 스트레스로 작용할 수 있다. 더군다나 평가기능에 따라 진단,형성, 총합평가까지 평가의 시기가 다양화하는 것도 그렇다. 강의이외의 방법으로 수업을 진행하고 이를 반영한 평가를 하려면 수업 및 평가를 도와주는 추가 인력이 필요하다.

평가적 측면만 보면 평가인력을 다양하게 활용할 필요가 있다(Amin &Khoo, 2006). 먼저 학생의 자기평가(self-assessment)를늘려야 한다. 이는 진단평가 시 스스로 수업 관련 학습성과에 비추어 자신의 능력을 평가할 수 있으며, 그 결과를 교수는 수업에 활용할 수 있다. 다양한 학습활동과 소그룹활동에서도 활용할 수 있다.더불어 학생들이 서로를 평가하는 동료평가를 늘릴 필요가 있다.소그룹활동 등에서 학생들은 서로에 대해 가장 잘 파악하고 있으므로 이를 평가에 반영할 수 있다. 자기평가와 동료평가에 구체적인 평가기준을 제시한다면 평가과정에서 학생들의 자기반성 및 성찰의 기회로 삼을 수 있는 의미 있는 평가가 될 수 있다. 또한 전공의나 대학원생을 교육자로 합류시킬 수 있다. 이들에게 교육내용과평가방법 등을 사전교육하고 교육이나 평가에 임하도록 한다면 교수는 평가부담을 줄일 수 있을 뿐 아니라 전공의나 대학원생들은평가내용과 방법 등을 익힐 수 있는 기회가 되며, 교육자의 역할을수행하므로 교육에 대한 흥미와 자신감도 높일 수 있을 것이다. 외국의 경우는 전공의에게 교육자로서 역할수행을 위한 교육 및 훈련을 체계적으로 시행하고 있다(Association of American MedicalColleges, 2000; Mann et al., 2007; Morrison et al., 2005). 아울러 교수들 간에도 평가에 관한 업무분담을 해야 할 것이다. 과정과 시기에 따라 주기적인 평가를 시행한다면 과정별 학습성과(course outcomes)담당자와 시기별 학습성과(phase outcomes) 담당자와도 적절한 업무분담 및 협력이 필요하다. 이때 과정별 학습성과는 과정별(인체의 정상구조, 성장과 노화 등)로 구분되는 학습성과를, 시기별 학습성과는 학년별 또는 기초의학, 임상의학, 임상실습 등 시기별 학습성과를 의미한다(Korean Institute of Medical Educationand Evaluation, 2012).

2. 평가기능

<제안 3> 평가기능에 따른 평가가 제대로 이뤄져야 한다(진단평가,성 형평가, 총합평가).

현대 의학교육평가의 방향은 직무수행의 실제 세계(real world)에 필요한 역량을 종합적으로 평가하여 피평가자의 능력을 타당하고 신뢰 있게 평가하자는 것이다. 이는 평가목적에 따라 지속적으로, 여러 차례에, 다양한 형태로, 다양한 사람이 평가하는 것을 추구한다는 의미이다. 지속적으로 여러 차례 평가하는 차원에서 고려해야 하는 것이 평가의 기능이다. 평가는 기능에 따라 진단평가,형성평가, 총합평가로 분류된다. 이는 의사가 환자를 진료하고 치료하는 과정과 유사하다. 진단평가는 환자를 치료하기 이전에 환자의상태를 다양한 방법으로 진단하듯이 수업에 들어가기 전에 가르쳐야 하는 학생들의 학습상태를 다양한 방법으로 확인하는 것이다.형성평가는 치료의 과정에서 환자에서 투여한 의료적 조치들이 효과를 발휘하는지를 환자에게 질문이나 각종 검사를 통해 확인하고 필요한 경우 다양한 처방을 내리는 것과 유사하다. 교육자가 가르치는 과정에서 피교육자의 학습상황을 점검하여 피드백해 주고개별적으로 필요한 조치를 내려 주기도 한다. 총합평가는 환자의치료를 중단하기 이전에 최종 검사를 통해 완치 등의 판단을 내리는 것과 유사하다. 학습과정을 모두 마친 학생들에 대해 최종 성적을 통해 교육적 판단을 내리는 것이다.

1) 진단평가

진단평가(diagnostic evaluation)는 의학교육에서 잘 언급되고있지 않다. 학습자에게 필요한 진단목적은 지식적으로는 해당 수업과 관련된 선행지식의 정도를 파악하는 것이고, 수업에 대한 흥미도 등을 파악하는 것이다. 진단평가의 방법은 형식적인 방법과 비형식적 방법이 있다. 퀴즈 등 간단한 시험을 통해 형식적인 방법으로 점검할 수 있다. 하지만 옴니버스형태의 블록(block)강의에서 몇시간만을 할당받은 교수가 진단평가하기란 쉽지 않다. 이를 위해서교수들은 동일 강의의 작년 성취 정도와 강의평가 결과를 다시 확인하거나 현 강의 이전 과정에서의 학생들 성취 정도나 강의평가 등의 결과를 비형식적으로 점검할 필요가 있다. 아울러 교육과정 담당자가 수업의뢰를 할 때 전체 교육과정과 사전학습내용과 각 수업에서 기대하는 학습성과를 자세하게 제시한다면 수업을 계획하는데 도움을 줄 것이다. 이러한 것들이 어렵다면 수업을 하면서 중요한 사전지식에 관해 어느 정도 알고 있는지 학생에게 간단한 질문들을 통해 확인하거나 학습성과 자기점검표를 작성하여 학생 스스로 점검토록 하는 방법도 있다.

2) 형성평가

형성평가(formative evaluation)는 1967년 Michael Scriven에 의해 소개된 개념으로 교육과정 중간에 시행하는 평가이다. 평가결과를 통해 학생에게는 성취 정도 등에 대해 가르치는 사람에게 교육내용 및 방법 등 개선에 필요한 정보를 제공한다(Sung, 2009). 형성평가는 학생에게 학습성취 등에 대해 피드백(feedback)을 주고교육프로그램을 개선하는 것을 주목적으로 하는 평가이다. 일반적으로 평가결과를 성적에 반영하지 않는다. 하지만 형성평가를 일선에서 반영하기란 쉽지 않다. 성적에 민감한 의과대학 학생들이성적에 반영되지도 않는 시험을 제대로 볼 것인가, 평가방법은 어떻게 해야 하는가, 피드백은 개별교수가 일일이 학생들을 대상으로주어야 하는가, 어떤 방법으로 평가할 것인가, 블록에서 일부 강의만 담당하는 교수들이 형성평가까지 해야 하는가 등의 문제 등이도출될 수 있다.

형성평가를 교육과정에 정착하기 위한 방안을 생각할 수 있다.의사가 환자의 치료과정에서 환자에게 질문을 통해 확인하는 경우와 검사를 통해 확인하는 방법이 있을 것이다. 이와 같이 수업의 과정에서 강의만 하는 것이 아니라 수업과 관련된 질문들을 수시로다양한 학생들에게 함으로 확인할 수도 있고, 전체 과정에서 일정기간이 경과한 이후에 해당 시점까지 배운 내용을 간단하게 평가할 수도 있다. 평가할 경우 컴퓨터기반시험체제가 갖춰진 경우에는기출문제를 이용한 시험을 통해 간단하게 성취 정도를 확인하거나간단한 문항형태를 활용하면 부담이 적을 것이다. 간단한 문항의예가 진위형(일명 OX문제) 문항(absolutely true-false type)이다. 진위형 문항은 추측도(확률)가 50%로 높아서 총합평가와 같은 고부담시험에서는 잘 활용되지 않는다. 하지만 문항 출제가 용이하고 많은 내용을 빠른 시간에 평가할 수 있고 문항 수가 많을수록 신뢰도도 상승한다는 장점이 있어, 성적반영률이 낮고 학생의 최저 수행정도만 확인하는 차원에서는 적절하다고 볼 수 있다. 추측률을 낮추기 위해서는 틀릴 경우(X일 경우) 틀린 부분을 수정하라고 할 수도 있다.

형성평가에 대한 피드백은 개별면담이 가장 좋겠으나, 각 수업차원에서는 결과와 피드백을 간단하게 서면이나 인터넷으로 공지하는 것도 방법일 수 있고, 개별면담을 하되 대상을 성적하위집단,무작위추출집단, 또는 두 방법을 혼합할 수 있을 것이다. 아울러 형성평가는 피드백이 주목적이긴 하지만 성적에 민감한 의과대 학생의 특성을 반영하여 학습자의 학습동기 차원에서 최소한의 성적을 반영하거나, 형성평가의 일부 내용을 총합평가에서 형태를 달리하여 출제할 수 있을 것이다. 수업시간이 상대적으로 짧은 과정은비형식적 형성평가만을 활용할 수도 있다.

3) 총합평가

총합평가(summative evaluation)는 수업이 종료된 이후에 학습성과 도달 여부를 종합적으로 판정하는 평가이다(Sung, 2009)(Summative evaluation은 ‘총괄평가’라는 용어로 흔히 사용되기도하지만 학생성취 관련 자료를 모두 모아서 최종 판단한다는 의미를살리기 위해 ‘총합평가’라는 용어를 사용하겠다). 학생들의 최종 성적 산출을 위한 평가로 의과대학에서 가장 많이 사용되는 것이다.총합평가는 배운 내용을 모두 포함하는 평가이다. 앞에서 언급했지만 형성평가의 일부 내용을 총합평가에 반영할 수 있을 것이다.왜냐하면 형성평가는 각 과정에서 최소한의 중요한 내용들로 문항을 구성했기 때문이다. 물론 총합평가에 포함시킬 때는 동일 내용을 문항수준이나 평가형태를 달리하여 출제할 수 있으며, 이를 통해 형성평가에 대한 동기도 함께 유발할 수 있다.

3. 참조준거

학생이 시험을 통해 90점이라는 점수를 받았으면 성취한 점수가학생이 학습을 통해서 성취한 성과와 관련해 어떤 의미가 있는 것인지에 대해 해석과 판단이 필요하며, 이를 위해서 기준이 필요하다. 가장 흔한 평가가 다른 학생들 성적에 비교해 해석하는 규준참조평가(norm-referenced evaluation)로서 상대평가로 불린다. 이에비하여 합격기준에 근거해 합격 여부를 판정하는 법이 절대평가로불리는 준거참조평가(criterion-referenced evaluation)이다. 이외에도 학생의 수업 시작시점의 성적에 비해(초기치) 얼마나 어느 방향으로 성적 변화가 있었는가를 통해 해석하는 성장참조평가(growth-referenced evaluation)가 있고, 학생의 능력(예, 입학성적,지난 학기 평점 등)에 근거해 성취 정도를 해석하는 능력참조평가(ability-referenced evaluation)가 있다. 이 중에서 성과중심교육과관련하여 준거참조평가와 성장참조평가를 논의하겠다.

<제안 4> 준거참조평가로 학생의 학습성취 도달 여부를 평가해야다.

준거참조평가(criterion-referenced evaluation)는 학생의 학습을통해서 성취해야 할 교육목표의 기준을 준거점수(예, 합격점수 등)로서 미리 설정하고 이를 기준으로 학생점수를 해석하는 것이다.만일 합격 여부만 결정할 때는 준거가 한 개 필요하고, 상 . 중 . 하로구분하기 위해서는 준거가 두 개 필요하다. 성과중심교육에서는 다양한 평가를 통해 학습성과를 파악하고 피드백을 주며, 다음 시기로 나아갈 것인가 등의 결정을 해야 한다. 이때 의사결정에 해당하는 점수를 타당하고 신뢰 있게 설정해야 한다.

준거참조평가에서는 준거설정이 중요하다. 준거를 설정하는 방법은 평가의 목적과 형태에 따라 다양하며 같은 집단에 대한 준거설정이라도 사용하는 방법에 따라 그 결과가 다르게 나올 수 있다.준거설정방법으로는 규준적인 준거설정, 피험자집단의 특성을 고려한 준거설정, 검사도구의 내용분석을 근거로 한 준거설정 그리고방법들을 병행한 준거설정방법들이 있다. 다양한 준거설정방법 중에서 평가의 목적과 현실에 맞는 것을 선택하되 병행하여 쓰는 방법으로 신뢰도를 높일 수 있다.

각 대학이 성과중심교육을 시행하면서 가장 먼저 직면하게 되는것이 준거참조평가를 의과대학에 도입해야 하는 것이다. 의과대학이 기존의 규준참조평가체제에서 준거참조평가체제로 변화하기위해서는 여러 가지 어려움이 따르리라 예상된다. 현재 의사국가시험의 실기시험은 준거참조평가를 시행하고 있으며, 필기시험에서도 준거참조평가를 시행하기 위해 연구가 진행되고 있다고 밝혔다(National Health Personnel Licensing Examination Board, 2013). 교육과학기술부도 준거참조평가인 ‘성취평가제’를 2013년에는 현재 중학교 1, 2학년부터, 2016년에는 모든 중고등학교에 실시할 것을 공표하였다(Korea Institute for Curriculum and Evaluation,2013).

<제안 5> 학습성장검사로 성장참조평가해야 한다.

성장참조평가(growth-referenced evaluation)는 교육과정을 통하여 학생의 능력이 얼마나 성장하였는가에 관심을 두는 평가이다(Sung, 2009). 성장참조평가는 학습의 초반 상황(초기치)에 비해 교육이 진행되면서 학생 성취 정도가 얼마나 변화했는지(변화율)를통해 학생을 평가하는 것이다. 개인적인 차원에서는 학생상담 등에많이 활용되고, 국가적인 차원에서는 학습자와 소속 학교의 성취등 변화와 그 원인을 파악하는 데 활용된다. 성장참조평가를 하기위해서는 동일 대상에 대한 여러 번의 시험결과를 바탕으로 의사결정 등이 이뤄진다. 초 . 중 . 고등학생 대상으로 학생의 성장을 장기적으로 추적하는 기관별 평가로는 한국교육과정평가원의 ‘국가수준학업성취도평가(Korea Institute for Curriculum and Evaluation,2013),’ 한국교육개발원의 ‘한국교육종단연구(Korean EducationalDevelopment Institute, 2013),’ 한국청소년개발원의 ‘한국아동 . 청소년패널조사(National Youth Policy Institute, 2013)’ 등이있다.

의학교육에서는 학습성과와 관련하여 progress test가 소개되고있다(Friedman, 2005). Progress test는 직역하면 진도검사, 진척검사, 진보검사 등으로 번역할 수 있다. 하지만 저자는 ‘학습성장검사(progress test)’로 번역을 제안한다. 이는 성장참조평가와 연계할 수있으며, 경험중심교육과정에서 교육의 목적은 학생경험의 성장과진보라고 정의하고 있고, 교육의 목적은 학생의 바람직한 변화라는일반적인 정의와도 맥을 같이하기 때문이다.

졸업성과를 의과대학의 최종 목표치로 설정했다면 졸업성과에관련해 학생의 초기에는 능력이 어느 정도였는지, 과정을 거치며 시기별 평가를 통해 어느 정도 목표치에 다다르고 있는지 확인할 필요가 있다. 이때 달성 여부 확인과 더불어 그 변화 정도를 파악해야한다. 변화가 많거나 없거나 정체될 때 각 시기에는 어떤 특성이 있는지, 이러한 변화는 초기 능력과 어떤 연관이 있는지 등을 분석을통해 확인할 수 있기 때문이다. 분석결과는 교육과정 전반에 다양한 정보를 제공해 주고 개인 차원에 피드백을 제공할 수 있다. 이를위해서는 측정학적인 설계와 장기간의 자료수집이 필요하다.

4. 평가내용

<제안 6> 대학의 모든 평가가 학생의 졸업역량 달성도를 평가할 때용 내타당도가 향상된다.

타당도(validity)란 한 검사 혹은 평가도구가 ‘측정하려고 의도하는 것’을 어느 정도로 충실히 측정하고 있는가로 간단하게 검사도구 목적의 적합성(適合性)이다(Sung, 2009). 내용타당도란 검사내용이 검사도구의 목적에 적합한 정도를 말하며, 여기에는 교과타당도(curriculum validity)와 교수타당도(instructional validity)로구분된다. 교과타당도는 검사가 교육과정에 있는 내용을 얼마나잘 포함하고 있으냐의 문제이고, 교수타당도는 교수 . 학습 중에 가르치고 배운 내용이 얼마나 포함되었느냐를 말한다(Sung, 2009).즉 수업한 내용이 평가에 얼마나 반영되었는지를 분석하는 것이다.만일 수업은 교수가 하고 시험문제는 문제집에 있는 문제를 그대로인용하여 출제하거나 전공의 등에게 맡겨서 출제하여 가르친 내용과 평가한 내용이 서로 맞지 않는다면 낮은 타당도를 보일 것이다.

학습성과 측면에서 보면 각 대학이 졸업역량과 각 시기 및 단계별 성과를 설정하였다면 이것이 반드시 각 수업에 반영되어 평가로이뤄져야 한다. Figure 1과 같이 대학의 모든 구성원이 공동의 목표달성을 위해 실제 교육에서 노력한다면 보다 높은 내용타당도를 이룰 것이다. 즉 타당도란 과녁의 중심과 같이 검사의 내용이 목적에얼마나 부합되었는가이기 때문이다(Sung, 2009).

<제안 7> 기출문제의 반복 출제는 학생의 반응과정에 기초한 타당도거 근를 낮춘다.

타당도 중 반응과정에 기초한 근거(evidence based on responseprocess)란 문항 출제자의 의도에 맞게 학생들이 반응했는가를 질적으로 분석하는 것이다(Sung, 2009). 예를 들어 출제자가 문제해결형 문항이라고 출제하였으나 학생들은 기출문제로 이미 답을 알았다면 암기형 문항수준으로 떨어져 타당도가 낮은 문항으로 간주된다. 의과대학은 정보공유문화가 체계적으로 구축되어 있어 문항을 출제하는 교수들에게는 상당한 부담이 된다. 실제 좋은 문제임에도 불구하고 문항분석을 하면 분별도가 상당히 낮은 문항으로 처리되는 경우들이 많은데 이는 대부분 기출문제였다. 꼭 알아야 하는 문항이라 중복 출제가 불가피하다면 문항의 수준이나 형태를 바꾸어서 출제하는 것이 타당도를 높일 수 있다.

5. 평가방법

<제안 8> 평가기능과 참조준거에 맞게 이(삼)원분류표를 작성해야한다.

앞에서 평가기능에 따라서는 진단, 형성, 총합평가가 있으며, 참조준거에 따라서는 규준, 준거, 성장, 능력참조평가를 제시하였다.이 두 가지를 연관하기 위한 비유로 운동경기 중 허들을 예로 들 수있다. 운동선수가 출발하기 전 출발선에 제대로 섰는지, 자세는 적절한지, 부정출발은 없는지를 확인하는데 이는 준거참조평가에 따라 진단평가를 하는 것과 유사하다. 출발신호와 함께 선수는 달리면서 허들을 차례로 넘어서 달려간다. 이때 각 허들을 제대로 뛰어넘는지 평가하는 것은 형성평가를 준거참조평가하는 것과 유사하며, 도착지점을 제대로 빠르게 통과한 사람 순으로 메달을 부여하는 것은 총합평가를 규준참조평가하는 것과 유사하다. 각각의 평가는 그 목적에 따른 기준에 맞게 구성되고 해석된다. 현재 지식 영역의 평가에 있어서 우리나라 의과대학은 주로 총합평가를 규준참조평가하는 경향이 많다.

평가를 위해서는 각 평가기능과 참조준거에 맞는 출제계획을 세워야 한다. 많은 대학이 대학에서 출제계획을 세울 때는 주로 각 수업별(교수별) 출제문항 수와 배점을 고려한다. 시험범위는 배운 내용 전체이고, 학생들에게는 특히 지식 영역에서 평가와 관련된 별다른 정보를 제공하지 않는 것이 일반적이다.

평가를 위해서는 2(3)가지 차원에서 계획하는 이(삼)원분류표를작성할 필요가 있다. 3가지 차원이란 평가내용범위(시험범위), 각문항의 내용수준, 평가문항의 맥락(외래, 입원, 응급 등)이다. 맥락을 제외한 이원분류표가 주로 교육현장에서 활용되고 있다. 출제계획에 대한 사항은 수업 전에 작성되어야 수업 시 평가내용을 고려하면서 수업을 진행할 수 있다.평가기능에 따른 진단, 형성, 총합평가와 참조준거를 고려하여구성한 것이 Table 1이다. 평가내용(시험범위)에서 학교에서 합의한각 수준의 학습성과가 반영되어야 한다. 이를 통해 졸업역량과 맥을 같이하여 평가도구의 내용타당도를 올릴 수 있다. 진단평가는주로 수업 진행을 위한 학생의 능력(주로 출발점행동)인 최소수행능력 확인을 위해 준거참조평가에 의해 이뤄지는데, 형식적으로 평가할 때는 수업 전까지 내용 중 최소능력수준에 해당하는 문항수준의 내용을 평가한다. 형성평가는 각 수업의 과정 도중에 이루어지는 것으로 상대적으로 범위가 좁으며, 총합평가는 배운 내용을모두 포함하므로 범위가 가장 넓다.

문항수준은 진단평가와 형성평가가 주로 준거참조평가를 하기때문에 수업 전의 최소능력을 기준으로, 형성평가는 수업과정에서의 최소능력을 기준으로 준거에 맞는 수준의 문항들로 구성한다.총합평가를 규준참조평가할 때는 다양한 지식수준의 분별도 높은문항으로 학생들을 능력별로 구분할 수 있도록 구성한다.

<제안 9> 문항형태별 문항제작원리를 준수해서 문항을 제작해야한다.

각 대학이 교수대상으로 문항제작법을 워크숍을 통해 교육시키고 있지만, 실제 의과대학에서 이뤄지는 문제들을 검토해 보면 기본적인 문항제작원리에 맞지 않은 문항들을 여전히 발견하게 된다.출제자는 피험자가 문항 관련 능력이 있을 때 충분히 풀 수 있도록문제를 구성해야 한다. 피험자가 문항 관련 능력 이외에 실수 등의이유로 문제를 틀렸다면 이것은 점수의 오차(error)를 일으켜서 신뢰도에 영향을 준다.

의과대학에서 가장 많이 쓰이는 문항이 선택형이고 선택형 문항에서 오차를 줄이기 위한 몇 가지 문항제작원리를 생각해 볼 수 있다. 신뢰도란 측정결과의 일관성 정도이고 일관적인 결과를 얻기위해서는 측정의 오차를 줄여야 한다. 문항구성 시 학생의 능력 이외의 것이 결과에 작용하지 않게 해야 한다. 즉 실력발휘를 제대로할 수 있는 문항을 구성하기 위한 몇 가지를 정리하였다. 

• 첫째, 문장은 짧고 명확하게 제시되어야 한다. 선택형 문항은 진술문과 답가지로 구성되는데, 진술문에서 임상상황을 반영한다고 장황하게 기술하는 경우가 있다. 임상상황에 여러 가지 단서를 제공하는 것은좋지만, 일반시험 상황에서 너무 장황한 설명은 제한된 시간에 시험을 치러야 하는 학생들에게는 상당한 피로와 혼란을 줄 수 있다.아울러 답가지들도 동일한 문장이나 단어의 반복을 피하고, 비슷한 문장구조로 구성해야 한다. 
• 둘째, 실수로 틀릴 수 있는 것들에대해서는 주의를 기울이도록 표시해 주어야 한다. 학생들이 실수하는 것들로는 부정문, 답의 개수, 정답 선택조건(최선정답이냐 옳은 답이냐) 등이 있다. 실수할 수 있는 부분에 대해서는 밑줄이나굵은 글씨로 표시하여 주의를 요하도록 해야 한다. 
• 셋째, 피험자들이 답가지만으로 정답을 유추할 수 있도록 하지 말아야 한다. 즉 답가지들이 서로 유사한 문장구조, 문항길이, 동일 영역의 내용들, 정답 번호가 치우치지 않도록 하는 등을 고려하여 피험자들에게 정답의 단서를 제공하지 않도록 해야 한다. 
• 넷째, 틀린 답도 어느 정도매력적이어야 한다. 정확한 답을 모르는 피험자들이 정답과 유사하게 간주하는 틀린 답들이 있어야 그 능력을 충분히 구분할 수 있기때문이다. 이러한 문항들이 많을 경우 학생들의 능력을 구분하는분별도가 상승한다.

<제안 10> 일반수업에서도 전체 영역을 반영하는 다양한 형태의항 문으로 평가해야 한다.

평가는 평가 영역에 따라 인지적 영역(cognitive domain), 심동적영역(psychomotor domain), 정의적 영역(affective domain)으로구분된다. 인지적 영역은 지식을, 심동적 영역은 신체와 관련되는기능의 숙달과 발달로, 정의적 영역은 인간의 마음과 관련된 특성으로 태도, 인성, 가치관, 도덕성 등을 포함한다. 의과대학의 졸업역량은 대부분 이 세 영역을 모두 포함하고 있다. 의과대학생의 역량과 관련하여 미국의과대학협의회인 Association of AmericanMedical Colleges (1998)의 의과대학 공통의 학습목표는 knowledgable,skillful, altruism, dutiful이다. 미국인증평가기관인 AccreditationCouncil for Graduate Medical Education (2006)은medical knowledge, patient care, interpersonal &communicationskills, system based practice, professionalism을, 영국인증기관인General Medical Council (2009)은 Tomorrow’s doctor에서 thedoctor as a scholar and a scientist, a practitioner, a professional로설정하였다. 우리나라 의과대학들도 다양한 영역을 포함한 졸업역량을 설정하였다.

대부분 의과대학이 지식전달 위주의 강의로 수업을 진행하고 있으며 선택형 위주의 문항형태로 학생을 평가하고 있다. 강의는 많은 사람들을 대상으로 많은 지식을 효율적으로 전달하는 데 유용한 교육방법이지만 학생들의 자발적인 사고과정을 이끄는 데 한계가 있다. 선택형은 문항 출제는 용이하지 않지만 많은 내용을 평가할 수 있고, 신뢰도가 높기 때문에 고부담시험(high-stakes test)에서 주로 사용되고 있다. 하지만 학습자들이 주어진 선택형 답가지안에서 사고하게 되고, 추측이나 시험요령 등으로 평가결과가 달라질 수 있는 한계가 있다.

지식수준을 평가함에 있어 선택형 문항(selection type) 이외에서답형(supply type or essay type)이나 이를 포함한 수행형(performancetype) 평가가 가능하다. 서답형 문항은 쉽게 주관식이라고할 수 있는데, 수준에 따라 괄호형(close form), 완성형(completionform), 단답형(short-answer form), 논술형(essay type)이 있고, 논술의 채점용이성을 높이기 위해 논술의 내용을 제한하는 제한된 논술형이 있다. 수행형으로는 구술시험, 찬반토론에 대한 평가, 소그룹 토의, 과제(연구) 수행 및 발표 등을 통해 학생의 지식수준을 보다 심층적으로 파악하고, 태도, 자기주도력, 발표력 등을 함께 평가할 수 있다(Sung, 2009).

의과대학은 대부분 의학직업전문성(medical professionalism)을 졸업역량으로 포함하고 있는데, 직업전문성을 구분하여 별도의교육을 시킬 수도 있지만, 기존의 지식 위주 평가방법을 논술형, 구술시험, 토의와 발표 등으로 전환한다면 지식을 보다 깊이 있게 평가할 수 있을 뿐 아니라 직업전문성과 관련된 의사소통능력, 리더십, 발표력, 협동심 등을 함께 평가할 수 있다(Huxham et al., 2012).

서답형이나 수행형 평가는 많은 주제를 다룰 수 없으므로 평가하는 내용이 수업의 과정을 대표할 만한 내용타당성이 확보되어야하고 여러 상황을 고려한 자세한 채점기준표가 함께 개발되어야 한다. 채점자의 신뢰도 확보도 중요한 문제이므로 채점자 훈련을 통해 신뢰도를 높이거나 성적반영률이 낮은 형성평가 등에 활용할수 있다. 타당도가 높은 문항형태이므로 신뢰도 확보가 어렵고 시간노력이 필요하지만, 신뢰도가 높은 방법들(선택형 문항 등)을 함께 신뢰도를 보완한다면 의사로서의 종합적 능력 개발 및 평가에효과가 클 것이다. 지금까지 본론에서 논의한 내용을 Table 2와 같이 요약할 수 있다.

결 론

본 논문에서는 우리나라 의과대학에서 학생평가의 현황과 문제점을 학습성과와 연관하여 평가인력, 평가기능과 참조준거, 평가내용과 방법으로 나누어 논의하였다. 이들 논의를 근거로 한 종합적인 결론은 다음과 같다.

첫째, 성과중심교육에는 학생에 대한 여러 평가가 주기적으로 이뤄지므로 많은 평가인력이 필요하고 이들에 대해 평가전문성이 요구된다. 아울러 평가인력들 간에 효율적인 역할분담도 필수적이다.성과중심교육에서 학습성과를 중심으로 한 교육이란 학생들이 도달해야 할 성과(outcomes)를 미리 정하고 이에 도달했는지 여부를확인하여 교육적 판단을 내리는 것이다. Post 2주기 의과대학 평가인증기준이 발표되면서 각 의과대학은 성과중심교육의 교육과정운영에 많은 관심을 기울이고 있다. 각 수준에서 학습성과에 도달했는지 여부를 지속적으로 평가하고 이를 기준으로 학생에게 피드백하고 교육프로그램 등을 운영 및 개선하기 위해서는 체계적이고지속적인 평가가 필요하다. 의과대학 교수 중 의학교육 관련 지식은 대체로 부족한 상태인데, 평가전문성까지 익히게 하기는 쉽지않을 것이다. 요구되는 평가인력 중 전공의에게 기초적인 교육자로서의 자질을 습득도록 하여 의학교육에 참여토록 할 수도 있다. 외국에서는 교육자로서 역할을 수행하는 전공의에게 resident aslearner &teacher, resident as teacher, clinical teacher 등으로 명명하고 많은 교육훈련들이 이뤄지고 있다. 현재 우리나라도 ‘배우며가르치는 전공의(resident as learner &teacher)’에 대한 연구가 진행되고 있다(Korean Institute of Medical Education and Evaluation,2012). 학생들도 자기평가와 동료평가 등을 적극 활용하여, 태도 등 지식 이외의 학습 영역이 골고루 자극되고 평가될 수 있도록해야 한다. 학생의 전인교육이 일상 교육현장에서 이뤄지도록 교육과정 운영자, 담당 교수, 학생, 전공의 등이 함께 역할을 분담하고 노력하는 체제로 구성할 수 있다.

둘째, 효과적인 학생평가를 위해 평가의 목적과 기능에 따라 다양한 평가방법과 점수해석방법을 활용해야 한다. 평가기능에 따라서는 진단평가, 형성평가, 총합평가가 있으며, 점수해석을 위한 참조준거는 규준참조평가, 준거참조평가, 성장참조평가, 능력참조평가가 있다. 이 중에서 성과중심교육에서는 학생의 성취 도달 여부를 기준으로 하는 준거참조평가와 학생의 능력발달 및 성장을 기준으로 하는 성장참조평가에 관심을 가질 필요가 있다. 준거참조평가는 준거설정방법이, 성장참조평가는 장기적인 평가 설계와 동등화(equating) 등의 통계적인 고려가 있어야 한다.

셋째, 일반수업에서도 학생의 다양한 영역을 다양한 문항형태로평가해야 한다. 대부분 지식전달을 목적으로 하는 교육은 강의와선택형 문항 위주의 평가로 이뤄졌다. 하지만 리더십, 직업전문성,자기주도학습 등의 졸업역량을 이끌어 내려면 이와 같은 능력을 발휘하도록 수업과 평가에 반영되어야 한다. 지식습득도 자기주도학습이나 소그룹활동으로 이뤄지도록 하고 평가도 지필검사 이외에서답형 문항, 수행형 문항으로 구성한다면 보다 높은 수준의 지식평가와 더불어 태도와 관련된 각종 역량들도 함께 평가할 수 있을것이다.

Most medical colleges in Korea have been shifting from traditional education to outcome-based education,

which is the general trend in medical education. The purpose of this study was to make some suggestions in

light of the reality and challenges of student assessment in medical education from the perspective of outcome-

based education. First, those who are responsible for student assessment should be diversified to include

faculty, residents, students, and evaluation committee members. They need separate roles in educational evaluation,

so evaluation competencies are required for them. Second, various methods for evaluation and score interpretation

can be used for effective evaluation. We can adopt diagnostic, formative, and summative evaluation

functionally, and the norm-referenced, criterion-referenced, growth-referenced, and ability-referenced

evaluation based on criteria for score interpretation. Finally, various evaluation domains and test forms can be

administered together in the common lectures in the medical school. We can test not only knowledge but also

skills and attitudes, with diverse test forms such as supply and performance types.

Keywords: Medical education, Student evaluation, Outcome-based education

(출처 : http://www.marketinginprogress.com/2011/03/25/difference-between-mission-and-vision-statemen/)

Mission statement는 조직의 비전과 전략 계획을 보여주는 필수적인 요소이다. MS는 그 조직이 속해 있는 정치적, 사회적 환경을 잘 보여준다. 따라서 mission statement는 그 조직의 정체성과 목표에 대해서 내적, 외적으로 소통하기 위한 정교한 장치라고도 볼 수 있다. 

The mission statement (MS) has become an essential document in expressing institutional vision and strategic planning.1 MSs also allow a view of the physical, political, and social environment in which an institution is embedded. These texts, therefore, reflect a deliberate intention to communicate institutional identity and purpose to both internal and external audiences.2

그러나 보건의료 분야에서 MS 또는 그와 상응하는 조직의 '문구'를 분석한 연구는 많지 않다.

Few studies of MSs or other types of institutional texts are available within the field of health care

의과대학의 mission은 사회와 맺은 계약의 조항과 같은 것이다. 이 말은, 의과대학의 교육, 연구, 진료 프로그램은 전 국가를 아우르는 커다란 미션과 일치해야 함을 뜻한다. 의과대학은 사회적 계약의 한 당사자로서 내적 외적 관계자들에게 그들의 책무를 다할 필요가 있다. 

The mission of a medical school itself often serves as a treatise of a social contract—that is, “[m]edical school programs in education, research, patient care, and community outreach are or should become a means to meet [the] overarching mission to improve the nation’s health.”27 Medical schools, then, are parties to that social contract, making necessary their responsiveness to a variety of internal and external audiences, such as affiliated clinical enterprises, faculty, students, other health professionals, the university, patients and their families, and other medical schools. A stable pattern of relationships among these stakeholders (which can be within or outside any one institution) constitutes an “organizational field” with a well-recognized institutional life.28 MSs, therefore, can reflect the relationship among stakeholders and between the institution itself and its environment.1

연구 결과 모든 의과대학 전반에 걸쳐서 어느정도의 균일성과 일관성이 확인되었다.

하지만 사립대학과 공립대학을 비교하였을 때, 

그리고 연구를 중시하는 대학과 사회적 가치를 중시하는 대학을 비교하였을 때 그 차이 역시 확인할 수 있었다.

Purpose

A medical school’s mission statement (MS) is an expression of its vision and a reflection of the broader social environment in which it is embedded. The authors examine how the institutional identity of U.S. medical education is projected through the MSs of all U.S. MD-granting medical schools. In addition, the authors examine the extent to which differences between subsets of schools (public versus private; research intensive versus “social mission”-oriented) are reflected in their respective MSs.

Method

Whereas existing studies have typically sought to uncover core themes using content-analytic approaches, for this 2011 study the authors combined text analysis with network analysis to elaborate core concepts within larger networks of meaning across MSs. They computed measures of centrality (i.e., density or “connectivity”) for each concept and presented the aggregations of MSs as semantic networks (i.e., representations or maps of the relationships among

concepts).

Results

Analysis across all MSs revealed a dense set of ties among a core set of concepts, indicating a general uniformity among all medical schools; 

however, the authors identified appreciable differences within subsets of MSs (public versus private and research-intensive versus social-mission focused).

Conclusions

MSs of U.S. medical schools are meaningful statements about values and direction. The use of social network text analysis provides an innovative method for understanding the structure of meaning within MSs and, potentially, how these documents might speak to institutional performance outcomes.

[[[[[

MS는 기관의 비전과 전략기획을 표현하는데 필수적인 문서가 되었다. MS는 한 기관의 물리적, 정치적, 사회적 환경을 보여준다. 따라서 MS는 한 기관이 내부와 외부 구성원들에게 그 정체성과 목적에 대해서 의사소통하기 위한 의도를 가지고 있기도 하다. 기업체, 경영대학, 대학 차원의 MS에 대해서는 많은 연구들이 있었고 법학대학, 심지어 동물원에 대한 연구도 있었으나 의하가분야에서는 이는 상대적으로 새로운 영역이다. Lewkonia의 다국가간 비교 연구 이외에 의과대학의 MS를 총체적으로 분석한 연구는 없었다.

The mission statement (MS) has become an essential document in expressing institutional vision and strategic planning.1 MSs also allow a view of the physical, political, and social environment in which an institution is embedded. These texts, therefore, reflect a deliberate intention to communicate institutional identity and purpose to both internal and external audiences.2 Whereas an abundance of research has examined the MSs of corporations,3 business schools,4–6 colleges and universities more broadly,7–10 law schools,11 and even zoos,12 this line of inquiry is relatively new to the field of medicine. We found, with the exception of Lewkonia’s 13 cross-national, comparative study, no systematic analyses of medical school MSs.

MS를 연구하는 연구자들은 content analysis를 통한 핵심 주제파악을 주요 분석방법으로 사용하는 것이 일반적이다. 이러한 접근법이 이 문헌에 담긴 주요 주제들을 찾아내는데 적합할 수는 있지만, 이러한 주제간의 연결에 대해서는 알려주는 바가 적다. (이러한 연결을 파악함으로서 한 분야에 속한 다양한 기관의 text의 구조와 의미를 밝힐 수 있고, 또한 MS차원에서 이런 기관들이 어떻게 서로 연관이 되는지를 보여줄 수도 있다.) White와 Dandi의 방식에 따라 우리는 text analysis와 network analysis 방식을 적용하여 모든 미국의 의과대학의 MS를 분석하였으며, 이를 통해서 어떻게 MS를 통해 기관의 정체성이 드러나는가를 보고자 하였다. 또한 소그룹별로 어떤 표명된 정체성의 차이가 있는가를 보고자 하였다(공립 vs 사립)

Researchers examining MSs typically seek to uncover core themes using content analysis (i.e., an analysis of the frequency of words and themes represented in text) as the primary analytical vehicle. Though such an approach allows for the identification of major themes embedded within these texts, these studies typically leave unexplored the connections among such themes—even though these connections can reveal the structure and meaning of texts across multiple institutions within a field, or even how the institutions themselves are related (or not) to one another by virtue of their MSs. Following White and Dandi,14 we combine text analysis with network analysis (i.e., an analysis of the relationships that exist between social entities)15–18 to examine all U.S. MD-granting medical school MSs in order to understand how institutional identity is projected through these statements. Further, we examine the extent to which differences in expressed identity exist between subsets of schools (e.g., public versus private).

의학에서의 MS 

MSs in Medicine

MS를 비롯한 기관 차원의 text에 대한 연구들은 보건의료분야에서는 거의 없다. 앞에서 언급한 Lewkonia의 연구 외에 매우 ㅅ소수의 연구자들만이 병원의 MS를 분석한 바 있고, 또 다른 그룹에서 레지던트 프로그램의 MS를 연구한 적이 있을 뿐이다. 더 넓게는 의학의 여러 전문과에 대해서 교육/연구/진료의 mission을 분석한 연구가 있으며, 졸업시 하는 선서와 White coat ceremonies에서 하는 선서를 분석한 연구가 있다. 개개인의 수준에서 Rabow 등은 의과대학 학생들의 개인적 MS를 분석한 바 있으며 Gruenbaum and Jotkowitz는 의과대학학생이 서술한 code of ethics와 좀 더 잘 확립된 ethical code를 content analysis를 통해 비교한 바 있다. 다른 분야의 MS에 대한 연구와 마찬가지로 이 모든 연구들은 어떻게 MS가 한 기관이나 프로그램의 목적이나 목표에 대한 지속적 토론의 계기가 되었다.

Few studies of MSs or other types of institutional texts are available within the field of health care. In addition to the aforementioned cross-national, comparative study of medical school MSs by Lewkonia,13 only a few researchers—White and Dandi,14 Smythe and colleagues,19 and Williams and colleagues 20—have investigated hospital MSs, and Bhat-Schelbert and colleagues 21 have studied family medicine residency program MSs. More broadly, other studies have examined the teaching, research, and clinical service missions of different medical specialty departments 22 or the oaths used in graduation and white coat ceremonies.23,24 At an individual level, Rabow and colleagues 25 studied the personal MSs of a national sample of medical students, and Gruenbaum and Jotkowitz 26 conducted a comparative content analysis of codes of ethics written by medical students versus more established ethical codes. Similar to the study of MSs in other fields, all of these studies document how MSs function as a key vehicle for ongoing discussions about the goals and purpose of an institution or program.

의과대학의 Mission은 그 자체로 사회적 계약의 하나이다. 즉, "교육/연구/진료/지역사회기여 등과 같은 의과대학 프로그램은 국가의 보건을 증진시키기 위한 상위 목표 달성을 위한 것이어야 한다."라는 의미이다. 의과대학은 이러한 사회적 계약의 한 부분으로서 다양한 내부/외부 구성원(audiences)에 대하여 적절한 반응을 보여야 한다. 이런 다양한 이해관계자와의 안정적인 관계를 유지하는 것이 "조직 분야(organizational field)"를 구성한다. 따라서 MS는 이해관계자, 기관, 환경간의 관계를 보여준다고 할 수 있다.

The mission of a medical school itself often serves as a treatise of a social contract—that is, “[m]edical school programs in education, research, patient care, and community outreach are or should become a means to meet [the] overarching mission to improve the nation’s health.”27 Medical schools, then, are parties to that social contract, making necessary their responsiveness to a variety of internal and external audiences, such as affiliated clinical enterprises, faculty, students, other health professionals, the university, patients and their families, and other medical schools. A stable pattern of relationships among these stakeholders (which can be within or outside any one institution) constitutes an “organizational field” with a well-recognized institutional life.28 MSs, therefore, can reflect the relationship among stakeholders and between the institution itself and its environment.1

Lewkonia의 연구는 다 종합해본다고 하더라도 MS에서 드러나는 구체적인 주제들은 제한적이며, 교육/연구/진료를 강조하는 것이 거의 모두에서 공통적으로 나타난다. 이는 대학들이 MS를 좀 더 인정받는(established) 동료가 기존에 확립해 놓은 script를 바탕으로 자신의 MS를 만든다는 것을 의미하기도 한다. institutional theory에서 예측되는 바와 같이, 미국의 의과대학은 그 레토릭 스타일에 있어서 대단히 유사하다. 네트워크의 관점에서 이는 MS가 공통의 주제 세트를 통해 고밀도로 연결되어 있음을 의미하며, 선언된 미션을 바탕으로 MS와 의과대학을 구분하는 것이 상당히 어려운 일임을 의미하기도 한다.

Lewkonia’s 13 study of medical school MSs suggests that, even collectively, these statements contain only a small number of specific themes and an almost universal emphasis on (the themes of) education, research, and service. This finding suggests that schools construct their MSs with an existing script predefined by more established peers. As such, and as predicted by institutional theory,1,28 we expect the MSs of U.S. MD-granting medical schools to be largely homogenous in rhetorical style. From a network perspective, this means that MSs should be densely connected through (i.e., they should have) a similar set of universal themes, making MSs, and schools themselves, largely indistinguishable in terms of their stated mission.

그럼에도 불구하고, 전반적으로 강조되는 핵심 개념은 공통적이지만, 어떤 타입의 대학에 대해서만 분석을 해보면 외부의 압력에 의해서 주정부나 지역사회와 같은 특정 대상에게 더 의존적이 되거나 더 반응하는 것을 확인할 수 있다. MS란 기관의 정체성을 내부 및 외부와 소통하기 위한 문서이기 때문에, 기관의 정체성과 목적이 MS에 투영되며, 텍스트 분석을 통한 네트워크 접근을 통해 바라본다면 중요한 차이를 발견할 수 있을것이라는 가설을 설정하였다. 이 연구에서, 네트워크 접근을 통해 우리는 미국 의과대학의 MS를 (1)공립과 사립 (2)사회집중형과 연구집중형 의과대학으로 나누어 그 공통점과 차이점을 보고자 하였다.

Nonetheless, although particular MS themes may appear to be meta or universal framings within analyses that stress the identification of core concepts, certain types of schools (e.g., public versus private; research-intensive versus “social-mission-focused”—see Mullan and colleagues 29) do experience different extrainstitutional pressures, making them both dependent on and potentially responsive to specific audiences, such as state governments and/or local communities.27 Because MSs are texts intended to communicate institutional identity to both internal and external audiences, we hypothesize that key differences in institutional identity and purpose are projected through school MSs and will become apparent particularly under the lens of a network approach to text analysis. In this report, using a network approach we explore the differences and similarities in the MSs of (1) public versus private and (2) social-mission-focused versus research-focused MD-granting medical schools in the United States.

더 나아가서, 앞에서 기술한 바와 같이 MS에 대한 대부분의 기존 연구는 특정 분야에 내에서 숨겨진 주제를 발견하는 일(uncovering themes)에 집중되어 있었다. 네트워크 분석을 활용한 연구가 발전하고 그 방법이 정교해지면서 연구자들은 그 텍스트 안에 숨겨진 의미의 사회적 구조를 발견할 수 있게 되었다. Carley와 Kaufer가 설명한 바와 같이 '개념'은 더 큰 메시지 안에 존재하며, 이 개념들이 더 커다란 의미네트워크를 이룬다. 예컨대, 교육/연구/진료가 의과대학의 MS에서 공통적으로 나타나는 주제이지만, 'health'라는 개념은 진료 보다는 연구에 더 가깝기 때문에 'health'라는 것의 의미를 health를 위한 의학발견으로부터 환자돌봄으로서의 health로 재구성한다. 더 넓게는 의미네트워크는 "텍스트 안에서 논의되는 그룹, 조직, 사회의 구조를 보여주는 창"이라고 할 수 있다. 예컨대 White 와 Dandi는 50개의 가톨릭의료시스템의 MS를 분석해서 어떻게 MS내의 개념들의 관계구조가 가톨릭의료시스템의 다양한 형태를 표현하는지를 보여주었다.

Moreover, and as noted above, the vast majority of research on MSs has focused on uncovering themes across institutions within a particular organizational field (e.g., community colleges or business schools). Since the development of research and methods in the field of network analysis, researchers have been able to examine the social structure of meaning embedded in texts.30,31 As Carley and Kaufer 32 explain, a concept (e.g., “patient-centered”) is situated within larger messages (e.g., surrounding text or clauses) that enable the concept to be elaborated into larger networks of meaning. For example, though the concepts “education,” “research,” and “service” appear to be universal themes across medical school MSs,13 “health” as a concept may be closer in proximity to “research” than to “service,” thus fundamentally reshaping the elaborated meaning of “health” from health as medical discovery to health as patient care within the larger text. More broadly, these larger networks of meaning “are windows into the structure of the groups, organizations, and societies discussed in these texts.”33 For example, White and Dandi’s 14 network text analysis of the MSs of 50 Catholic health systems shows how the relational structure of concepts within MSs expresses variation among Catholic health systems.

자료와 방법

Data and Method

이 연구를 위한 대상은 2010년 5월을 기준으로 LCME가 인증한 미국와 푸에르토리코의 132개의 의과대학(MD-granting medical schools)이다. 처음에는 AAMC의 구성원 웹사이트를 이용하여 의과대학을 찾았으며, 두 번째 AAMC 웹사이트를 이용하여 이 리스트를 보충하였다. 이 두 가지를 활용하여 각 의과대학의 홈페이지를 찾았으며, 이것을 각 학교 MS를 찾는 시작점으로 하였다. 일부 경우에 AAMC에 있는 홈페이지는 다른 기관의 홈페이지인 경우가 있었고 이 경우에는 Google과 같은 검색엔진을 활용하거나 기존의 web site링크를 활용하여 실제 홈페이지를 찾았다. 비록 이 연구의 기본 초점은 의과대학 MS의 text analysis였지만 추가적인 자료(비전, 가치)도 수집하였다.

The population for this study comprises the 132 MD-granting medical schools in the United States and Puerto Rico accredited by the Liaison Committee for Medical Education as of May 2010. We first identified the medical schools using the Association of American Medical Colleges (AAMC) member-listing Web site 34; we supplemented our list of schools through the use of a second AAMC site.35 We used these two resources to identify each school’s home page, which became the starting point for our search for each school’s MS. In some instances, a school’s AAMC-identified homepage was something else (e.g., the homepage of its affiliated medical center). In these instances, we identified the true URL using open search engines, such as Google, or combing the originally identified Web site for links to a more appropriate one. Although the primary focus of this study was the text analysis of medical school MSs, we collected additional data (other types of text attached to MSs [e.g., a vision statement or a values statement], the difficulty we encountered in actually finding each MS online, and the degrees of separation between an MS and a school’s homepage [i.e., how many links did it take to get from the former to the latter]).

데이터수집은 2010년 5월부터 2011년 1월까지 진행되었다.

Data collection began in May 2010 and continued through January 2011.

text analysis와 network analysis를 혼합하여 활용하였고, 텍스트 내의 단어와 개념의 관계를 분석하여 MS의 구체적인 하위그룹을 찾는 방법을 network text analysis라고 명명하였다. AutoMap과 Organization Risk Analyzer라는 소프트웨어를 활용하여 개념을 추출하고 그들 사이의 관계를 분석하였다. 이전의 연구에서 '개념'을 어떤 단어나 구(phrase)가 대표하는 하나의 아이디어라고 정의하였다. 우리는 '개념'에 대해서 '다른 개념과 연관되지 않는 이상 의미를 가지지 않는 것'이라는 가정으로 작업을 하였으며, 따라서 'supply' 또는 'primary care'와 같은 개념은 한 문장 내에서 'increase the supply of primary care physicians'라는 식으로 나타나야 의미를 갖게 된다. statement는 두 개념사이의 관계로서 모든 statement의 지도는 semantic network를 구성한다. 이러한 관계의 구조와 각 개념간의 상대적 위치는 MS또는 MS하위집단의 레토릭스타일을 보여준다.

We used a combination of text analysis and network analysis, or network text analysis, which we defined as an analysis of the relationships between words and concepts within text, to examine our population and specific subsets of MSs.30 Through the use of two software programs, AutoMap (version 3.0.8, Pittsburgh, Pennsylvania) and Organizational Risk Analyzer or ORA (version 2.3.6, Pittsburgh, Pennsylvania), we extracted concepts and analyzed the relationships among them. For our purposes, using previous research,17,31 we defined concept as a single idea represented by a word or a phrase, such as “medical school” or “health care.” We worked with the idea that concepts “are devoid of meaning except as they related to other concepts.”31 Thus, the concepts “supply” and “primary care” are endowed meaning when they are connected to each other in the form of a statement, as in “increase the supply of primary care physicians.” A statement is a relationship between two concepts. In turn, a map of all these statements together forms a semantic network (Figure 1). The structure of those relationships (i.e., how the statements connect to one another) and the relative position of each concept within the semantic network reflect the rhetorical style of a set or subset of MSs.

텍스트 정제 및 분석 

Refining and analyzing the text

분석에 앞서서, 텍스트는 '사전작업'을 거쳐야 한다. '사전작업'은 삭제(deletion)와 번역(translation) 단계를 거친다. 번역 단계에서는 동의의 개념만 묶었으며, meta concept이라 할 수 있는 service와 같은 것은 묶지 않았다. 

Before analyses, texts must first undergo preprocessing. The preprocessing phase involves deletion and translation.2 

• Deletion removes articles, prepositions, conjunctions, and other nonsignificant words from the text. 

• Translation requires, first, stemming of the text (i.e., converting plural to singular) and, then, identifying words with similar meaning in order to aggregate those words into meta or higher-order concepts. 

• For example, most medical schools use their formal name and/or related pronouns or identifiers (e.g., we/I/our) in their MS. Because each medical school name would be a unique concept (but of no real analytical value), we aggregated all names and pronouns under the concept “medical_school.” That way, we could retain this aggregated concept in, or remove it from, the analysis, depending on the question we were asking. 

• As a second example, we found that medical schools frequently employ adjectives, such as “consistently superior,” “preeminent,” “world class,” “cutting edge,” and “exemplary,” within their MSs. To simplify both our maps and our analysis, we aggregated these (and similar) terms (adjectives only) under the higher-order concept of “premier.” 

• A third example is the use of nouns, such as “medical educator,” “teacher,” and “educator,” to refer to “faculty.” 

• Notably, in this translation phase, we aggregated only synonymous concepts; we did not group concepts that, though not synonymous, could conceivably describe a meta (universal) concept, such as “service.” One of us (D.G.) carried out the actual translation using a thesaurus feature within AutoMap.

사전작업이 완료된 다음 AutoMap프로그램으로 MS를 그래프, 네트워크로 만들었다(nodes and arrows). 한 문장 내에서의 개념관 연결성을 정의하기 위해서 window size를 기반으로 한 proximity approach를 활용하였다. window size가 클 수록 개념간 연결(ties)수도 더 크다. 

After preprocessing is complete, AutoMap converts the MSs into a central graph, or semantic network, composed of a series of nodes to indicate concepts and arrows to indicate connections and/or direction of relationships (see Figure 1 for an example). To define ties between concepts within a sentence, we used a proximity approach whereby a given concept is linked to another within a specific “window” size of text.33 The larger the window size, the greater the number of ties among concepts. We used a window size of 3, which means that we created ties for (or counted links to) every pair of concepts within three units, or concepts, of each other. We used the network analysis program ORA to visualize and analyze the resulting semantic network.

아래는 예시이다.

Below, we have provided an example of the process of refining the texts for analysis using a randomly selected MS. The original, anonymized MS reads:

The [Surname] School of Medicine has a threefold mission/objective provided by the [U.S. state] General Assembly. These are: to increase the supply of primary care physicians in [U.S. state], to provide outstanding medical care to the people in Eastern [U.S. state], and to provide educational opportunities to minority and disadvantaged students.

삭제작업을 완료하고 동의어번역작업을 완료하면 아래와 같다.

After—first—deleting articles, conjunctions, and other words that, in this context, do not convey a concept (the, a, and, etc.), and—then—applying the thesaurus, the MS reads as follows:

benefactor medical_school provide state_general_assembly. increase supply primary_care physician state provide premier medical health_care people region provide education opportunity minority disadvantage student.

삭제와 번역작업을 완료하면 이 MS는 19개의 개념을 가지며, 36개의 statement를 가진다. 이 MS의 semantic network는 Figure 1과 같다. 이 예시는 다음의 두 가지에서 특징적이다. 첫 번째로는 'provide'라는 핵심 개념을 가지고 있다는 점이며, 두 번째는 세 그룹으로 개념이 나눠진다는 것이다.

After deletion and translation, this MS contains 19 concepts (e.g., “primary_care,” “provide,” and “region”) and 36 statements (e.g., region-people and health_care-people). Figure 1 shows the semantic network for this MS. Briefly, the example school’s concept map is notable in two respects. 

• First, its MS contains a core concept: “provide.” 

• Moreover, the map contains three groupings of concepts: (1) a lower left group of eight concepts (e.g., supply, state, and medical_school), (2) an upper group of five concepts (e.g., premier, medical, region), and (3) a group of five concepts on the right (e.g., education, opportunity, minority). These three groupings appear to identify two constituencies: students (particularly disadvantaged/minority students) in the lower right and external constituents in the upper group.

네트워크분석이 개별 MS를 해부하는데 도움이 될 수는 있지만, 개개의 MS는 어떤 구조도 가지고 있지 않을 수도 있다. 그러나 다수의 MS를 분석하면 핵심 개념을 찾게 해주고 개념을 묶을 수 있게 해줄 뿐만 아니라 이 결과에 'centrality'를 측정할 수 있다. centrality는 다양한 방법으로 측정 가능한데, 일반적으로 네트워크 안에서 그 개념이 어디에 위치하는지를 지칭한다. centrality가 높은 개념은 네트워크의 전략적 지점을 차지하고 있으며, 이러한 방법을 통해서 우리는 분석의 정량화가능성을 더했다.

Whereas network analysis may aid in the dissection of individual MSs and, as is the case with our example school, reveal a structure or groupings of concepts, analysis may also reveal that an individual school’s MS is void of any structure (itself an important finding). Examining multiple MSs, however, allowed us not only to identify core concepts and groupings of concepts across our population of MSs but also to attach a measure of centrality to those findings. The centrality of a concept in a network can be measured in a number of ways (e.g., density and conductivity [see below]), but it generally refers to the concept’s location within the network; concepts that have greater centrality typically occupy strategic locations in the network. In this way, our study of MSs adds a distinctly quantifiable aspect to its analysis.

MS내에서 연결성과 의미

Connectivity and meaning within MSs

centrality를 측정하는 한 가지 방법은 connectivity를 활용한 것이다. MS내에서 connectivity를 찾기 위해서 우리는 semantic network에서 어떤 개념의 밀도를 분석하였다. '밀도'란 '의미의 폭'을 뜻하며, 개념의 밀도가 높을수록 네트워크상에 connectivity가 더 크다고 할 수 있다. connectivity의 dimension은 방향성과 무관하게 그 개념이 직접적으로 연결되어 있는 개념의 수에 의해서 측정된다. Figure 1에서 provide는 가장 높은 밀도점수를 갖는다.

One means to measure the centrality of concepts is through their connectivity. To explore the connectivity of concepts within MSs, we examine a concept’s density within a semantic network.32 Density refers to the “breadth of meaning” of a concept across texts in that the greater the density of a concept, the greater is its connectivity within the semantic network. This dimension of connectivity is measured by the number of other concepts to which a concept is directly tied, regardless of directionality. In Figure 1, “provide” has the highest density score (score = 11) and, as such, is both located centrally and is the largest node.

Carley와 Kaufer는 centrality의 또 다른 척도로서 conductivity를 제시했는데, 그 개념을 통과하는 경로의 수를 의미하는 것이다. 어떤 개념은 그 개념으로 들어오는 것과 그 개념에서 나가는 것이 있는데, 가능한 경로가 많다면 이는 highly conductive concept이라 할 수 있다. 그럼에도 불구하고, 개념은 밀도는 높지만 conductivity는 낮을 수도 있다. 만약 한 방향으로 들어오는 flow만 많다면, 예컨대 benefactor는, conductivity가 낮는데, 이는 figure 1에서 보여지는 것처럼 medical_school이라는 개념으로 이어지는 경로에만 놓여져 있기 때문이다. 어떤 개념은 benefactor와 같이 늘 push-off point로만 작용하는데, 우리의 분석 결과를 보면 conductivity는 MS하위집단 뿐만 아니라 전체 MS집단에서도 density와 밀접한 관계가 있었다. 따라서 우리는 centrality를 density만 활용해서 제시하고자 한다.

Carley and Kaufer 32 present an additional measure of “centrality”—conductivity—which refers to the number of connected paths through the concept. Concepts can lead both into (in-links) or out from (out-links) a concept. With its many in-links and out-links, a highly conductive concept lies at the crossroads of many possible paths in the network. Nonetheless, a concept can, theoretically, have high density but low conductivity if it has many ties that flow in only one direction. For example, the concept of “benefactor” has a low conductivity across all MSs because it, as highlighted in Figure 1, always lies on the path that leads into another concept, “medical_school.” Although some concepts do occasionally serve solely as “push-off points” to other concepts (e.g., benefactor), our analyses showed that conductivity correlated highly with density for both our overall population of MSs as well as for subsets of MSs (r > 0.9). In our analysis, therefore, we present centrality results using only the density or connectivity measure.

우리 연구에서 우리는 밀도의 개념을 활용해서 모든 MS의 핵심 개념을 찾고자 했다. 또한 특정 하위집단에서도 MS를 분석하였다.

In our study, we use the measure of density to identify core concepts within the MSs of all schools. We also examined the MSs of particular subsets of schools: (1) public versus private and (2) the top 20 research schools (as defined by total dollar amount in awards received by the National Institutes of Health between 2005 and 2009) versus the top 19 “social mission” schools (as defined by the percentage of graduates who work as primary care physicians, the percentage of graduates serving in medically underserved areas, and the percentage of graduates who are underrepresented minorities).29

전체 MS에서 확인할 수 있는 개념의 총 숫자를 보면, 네트워크 지도를 그리기 전에 데이터의 양을 줄여야 한다. 따라서 우리는 최대로 가능한 density의 10%를 초과하는 density를 가진 개념만을 골랐다. 예컨대, 모든 의과대학에 대해서 528의 10%인 52를 초과하는 개념에 대해서 지도를 그렸다. 두 번째로 전체 MS에 걸쳐서 높은 일치도를 보이는 연결고리(links)만 제시했다. Carley와 Kaufer는 이러한 일치도를 consensus라고 불렀다. 즉 여러 대학이 한 가지 개념에서 들어오고 나가는 flow가 동일하다면, 그들 사이에 social consensus가 있다는 것이다. 즉, 우리는 뜸하게 나타나는 개념의 짝은 무시하였고, 이를 통해서 네트워크를 가지치기 하고 지도의 중심에 있는 개념만을 볼 수 있었다.

Given the overall number of concepts (N = 528) that appear across all MSs (see Table 1), we needed to reduce the amount of data before we could present the network maps. Therefore, we retained concepts with density scores with a value of 10% or more of the maximum possible density (10% provided an adequate, but not overwhelming, number of concepts to examine). For example, for all MSs (Figure 2), we map concepts with density scores above 52 (10% of 528). Secondly, we show only the links (i.e., statements) that have higher degrees of agreement across MSs (i.e., two degrees of agreement for smaller maps and five degrees for larger maps—again, simply to provide an adequate, but not overwhelming, number). Carley and Kaufer 32 referred to this agreement as consensus—the more schools share the same links that flow in or out of a concept, the greater the “social consensus” among them. In essence, we ignored pairs of concepts that are tied together only infrequently. This allowed us to prune the network and observe those concepts most central within the map.

Results

Discussion

이 연구는 미국 의과대학의 MS가 어떻게 그 가치와 방향성을 서술하고 있는가를 보여주고 있다. text analysis와 network analysis를 같이 활용함으로써 MS에 포함된 개념간의 관계가 전미에 걸친 공통된 레토릭 스타일과 더불어 의과대학 하부그룹 간 차이를 보여주었다. 모든 대학의 MS는 health에 대한 강조를 목표로 삼고 있었고 health care를 이 미션을 달성하기 위한 수단으로 여기고 있었다. 또한 연구와 교육, 그리고 '탁월한' 이라는 형용사는 전체적으로 등장하여 수사학적인 역할을 하고 있었다. 이러한 공통성은 다른 의과대학을 포함안 이해당사자들의 영역에서 MS는 그 내용과 의미가 상당히 유사함을 보여주는 것이다. 그러나 '미션'이란 개념에 대한 서로 다른 해석이 일부 MS 하부집단간에 존재했는데, 공립학교는 "the health of the people of the state"라는 개념을 강조하고 여기에 대한 합의가 더 두드러졌으며, 연구중심대학은 자기정체성, 생의학분야의 리더십, 탁월한 교육과 연구와 같은 사회적 미션을 더 강조한다는 것이 확인되었다. 

This study illustrates how the MSs of U.S. medical schools function as statements of values and direction. Using a combination of text and network analysis (network text analysis), we have shown how the relationships among concepts within these documents reveal both a universal rhetorical style across all U.S. MD-granting medical school MSs and important differences by subsets of medical school. The MSs of all schools are unified in their emphasis on “health” as an objective (i.e., health of the people) and of “health care” as a vehicle for achieving the mission. Further, the concepts “research” and “education”—as well as the adjective “premier”—appeared (almost) universally in supportive rhetorical roles. This universality suggests that within this organizational field of stakeholders, including other medical schools, MSs largely are homogenous in content and meaning. However, different interpretations of the notion of “mission” also exist within some subsets of MSs, as defined by school characteristics. MSs, our findings show, also function as windows into understanding differences in institutional identity among certain segments of schools—in our case, public versus private and research-oriented versus social-mission-oriented schools. For instance, public schools place an emphasis on and have a stronger consensus (as defined by the number of ties) among core concepts related to “the health of the people of the state.” Projecting a different kind of social mission, leading research schools emphasize their self-identity (“medical_school”), leadership in biomedicine, and their premier education and research, all evidenced via our network approach to text analysis. The analyses showed how medical schools can relate differently to the groups and institutions within their social contexts.

다른 많은 연구질문들이 의과대학 MS의미네트워크 분석을 통해서 제기될 수 있다. 예컨대 초기의 분석에서 새로운 학교일수록 오래된 학교와 달라서 조직이론, 교육의 혁신, 미션의 구별 차원에서 새로운 통찰을 보여주었다.

Many other research questions can be explored using medical school MS semantic networks and/or a network analysis approach like the one we used. For example, initial analysis (not shown) suggests that the newer schools (those founded since 2006) may differ appreciably from their older peers—thus yielding additional insights into institutional theory, educational innovation, and mission differentiation.

'diversity'와 같은 특정한 개념에 대한 후속 연구가 가능하다. 이를 통해서 어떻게 이 개념이 의과대학MS개념들 내의 특정한 위치를 잡게 되었는지, 그리고 다른 핵심 개념들과 어떻게 연결되는지를 볼 수 있다. 우리가 제시한 방법론적 접근법은 이러한 형태의 연구에 적절한대, 왜냐하면 개념간의 관계를 지도로서 보여주기 때문이다. 우리는 여기서 유사 개념을 묶을 때 보수적인 접근방법을 사용했지만, 다른 연구자들은 '소수인종' '빈곤층' 같은 개념을 '다양성'이라는 더 높은 차원의 개념과 묶을 수도 있다. 동시에 그 개념, 여기서는 '다양성', 에 대해서 높은 density score를 보이는 학교만 중심으로 분석할 수도 있다. 이는 'diversity'라는 개념을 좀 더 분해해서 그 요소들간의 관계를 보기 위한 것이고, 이를 통해서 핵심 이슈의 의미네트워크를 더 잘 이해할 수 있다. 

Future investigators could also focus on a specific concept, such as “diversity,” in order to better understand both how that concept is positioned within the universe of medical school MS concepts (central or marginal) and how that issue relates or is framed relative to other key concepts, such as “physician,” “student,” “health,” or “community,” within the world of medical education. The methodological approach presented here is uniquely suited to this form of investigation because it provides a visual network map to examine relationships among concepts. In this study, we took a conservative approach when aggregating concepts—choosing not to aggregate most concepts; however, other researchers may aggregate references to (concepts such as) “minority” or “disadvantaged,” into a higher-level concept such as “diversity,” which would better allow for connections among other less similar concepts to emerge. At the same time, schools with a high density score for a concept (such as, to continue with our example, “diversity”) could form a subgroup for further analysis. That is, they could “unpack” or examine the aggregate concept of “diversity” to explore the relationships among its component parts (e.g., “disadvantaged” or “minority”)—and thus better understand the semantic network of this key issue. Finally, the data derived from examining ties among concepts within MSs allow for the possibility of examining the structure of the similarities and differences among the MSs of individual medical schools.

비록 우리가 공립대학의 MS가 사립대악의 MS와 다르다는 것을 이미 알고있었더라도, 우리는 여기서 한 기관의 목적을 기술하는 문장으로서의 MS를 활용하여 그것의 validity를 찾아내고자 했고, 학교가 그들의 MS에 충실하게 운영되고 있는가를 검사하기 위한 것은 아니다. 궁극적으로 우리는 이 비교를 통해서 각기관의 performance가 그것이 스스로 명시한 목적에 부합하는지 또는 그렇지 않은지를 찾아내기 위한 질문을 찾는 현실적 플랫폼을 제공하고자 했다.  또한 무엇보다 'health' (또는 health of the public)라는 것이 핵심 개념으로서 모든 미국 의과대학의 MS에 존재했다는 것을 짚고 넘어가지 않을 수 없다. 만약 그렇다면, 중요한 질문이 생긴다. 미국 의과대학이 정말 실대로 health of all citizens를 위하여 기능하고 있는가? MS에서 나타나는 그들이 한다고 표명하는 것과, 그들이 실제로 하고 있는 것을 철저하게 align하는 것이 의학이 실제로 사회와 맺은 계약을 이행하는지에 대한 더 잘 이해하는 다음 단계일 것이다.

Although we do know that the MSs of, for example, public schools are in the aggregate different from those of private schools, we made the comparisons reported herein only to establish the validity of using the MS as a statement of institutional purpose and not as a test of schools’ operational fidelity to their MSs. Ultimately, we hope that these and related comparisons will provide an empirical platform from which to explore questions about the ways in which institutional performance remains faithful to—or deviates from—its stated purpose. After all, we would be remiss in not pointing out that although we found “health” (as in “health of the public”) to be the core concept both in terms of organizing individual MSs and in linking all U.S medical school MSs, an open (and important) question remains. That is, do U.S. medical schools, taken as a whole, actually function to advance the health of all citizens—whether through the types of students they train, the practice locations of their graduates, the quality of the medicine their trainees and graduates deliver, and/or the quality of the care and services they themselves provide? The need to aggressively explore the alignment between what institutions say they do (as reflected in their MSs) and what they actually do (as reflected in their institutional practices) is a necessary next step in better understanding how well all medical schools and medical educators do in fulfilling medicine’s social contract with society.

Medical school mission statements as reflections of institutional identity and educational purpose: a network text analysis.

Dr. Grbic is senior research analyst, Policy Research Studies, Association of American Medical Colleges, Washington, DC. Dr. Frederic W. Hafferty is professor of medicaleducation and associate director, Program in Professionalism and Ethics, Mayo Clinic, Rochester, Minnesota. Mr. Philip K. Hafferty is a graduate student, School of Art, Division of Art History, University of Washington, Seattle, Washington.

임상표현 교육과정개발

The Process of Developing a Clinical Presentation Curriculum

이병두, 박훈기1

인제의대 내과학교실, 한양의대 의학교육학교실1

Byoung Doo Rhee, M.D., Ph.D., Hoon-Ki Park1, M.D., Ph.D.

Department of Internal Medicine, Inje University College of Medicine, Busan, Korea

1Department of Medical Education, Hanyang University College of Medicine, Seoul, Korea

책임저자 주소: 박훈기, 133-791, 서울시 성동구 행당동 왕십리로 222 한양대학교 의과대학 의학교육학교실

Tel: 02-2290-8740, Fax: 02-2281-7279

E-mail: hoonkp@hanyang.ac.kr

서론

국내 의과대학의 기본의학교육(basic medical education)과정은 전통적인 기초의학과 임상의학의 수직적 연결 과정에서, 장기계통중심의 통합교육과정 추가[1,2], 문제바탕학습 도입, 팀 바탕학습 도입 등의 방향으로 발전하여 왔다.

본론

1. 국내 의과대학 교육과정 변화

의과대학 인증평가 및 의사국가시험의 실기시험 도입은 평가가 교육을 좌우한다는 금언을 실감케 하는 많은 변화를 가져왔다.

통합의학교육은 서울의대에서 처음 도입한 후 여러 의과대학으로 전파되었다[3]. 통합교육과정은 1950년대 미국 Western Reserve School of Medicine에서 시행한 수평통합(horizontal integration) 교육과정을 모델로 하여 서울의대에서 1971년 처음으로 국내에 도입한 교육과정이다.

1990년대 말에 처음으로 문제바탕학습 방법이 국내에 소개되고 성균관의과대학은 문제바탕학습 교육과정이 임상 전 교육과정의 골격을 이루는 최초의 의과대학이 되었다.

통합교육과정에 문제바탕학습을 접목시킨 경험은 튜터(tutor) 동원, 의학교육에 대한 관심 부족 등으로 보완책으로서 자리매김하기에는 많은 노력이 필요하였다[4]. 통합교육에 대한 학생들의 평가는 긍정적인 면도 많지만 강의 내용의 일관성, 교수학습 방법의 다양성, 통합을 강조하는 평가 방법의 도입 등을 개선책으로 제시하고 있다[5]. 통합교육에 문제바탕학습, 혹은 팀 바탕학습 도입을 시도하였지만 지나친 튜터의 개입으로 학생들의 역동적인 토의가 어려워지고 학생들의 긴장을 유발하여 학생들은 오히려 학습에 더 부담을 느끼는 것으로 평가되고 있다[6].

2. 외국 의과대학 교육과정 변화

지금으로부터 100년 전, Flexner는 미국과 캐나다 의과대학을 일일이 방문하여 의학교육의 실태를 파악하고 새로운 교육과정으로 기초의학과 임상의학을 나누어 체계적으로 교육할 것을 제안하였다[7]. 그 이후 의대 교육과정은 유형에 따라 차이가 있긴 하지만, 사실적 지식의 과부하, 적절한 교육과정 부재, 기초와 임상의 연결 구조 결함, 통합 부족, 맥락 및 관련성 부족 등이 문제점으로 지적되어 왔다[8]. 이러한 흐름에서 캐나다 McMasters 의과대학을 시작으로 문제바탕학습 교육과정이 새로이 개발되었다. 하지만 임상의사의 문제해결능력은 모든 임상 상황에서 공통적으로 적용될 수 있는 역량(generic competency)이 아니고, 임상 맥락이나 사례별 문제의 특이성을 반영한다는 점이 인지과학 연구에서 보고되었다. 문제바탕학습 교육과정에서 배양되는 문제해결능력은 의사가 된 후 현실에서 접하는 임상 문제를 해결하는 데는 한계점이 있다는 것도 밝혀졌다. 더구나 문제바탕학습 교육과정을 이수한 학생들이 졸업 후 임상에 들어오기 전에 체계적인 지식을 충분히 획득하지 못하고 있다는 비판도 받고 있다[9].

1990년대에 들어와 역량바탕평가(competency-based assessment)와 학습성과바탕교육(outcome-based education)이 의학교육의 화두로 떠올랐다[10]. 학습성과바탕교육은 다음과 같은 속성을 갖고 있다. 

• 1) 교육과정이 끝나면 달성해야 하는, 명백하게 기술한 학습성과를 개발하여야 하고, 
• 2) 학습성과를 성취하기 위하여 필요로 하는 학습전략과 학습 기회를 제공하는 교육과정을 설계하고, 
• 3) 학습성과를 평가할 수 있는 평가방법이 있고, 학생개개인이 학습성과에 도달했는지 평가할 수 있어야 하며, 
• 4) 필요에 따라 학생들에게 재교육 혹은 보강 교육(remedial learning)이 이루어져야 한다[11].

영국 Dundee 의대에서는 1997년 의대교육 과정 5년 전체에 학습성과바탕교육 방법을 도입하였다. 하지만 학습성과바탕교육이 교육과정에 반영되는 정도와 변화 속도는 매우 다양하다[12,13]. Table 1은 영국의 Dundee의대가 추구하는 교육과정의 학습성과를 보여주고 있다. 

미국 졸업후 의학교육인증평의회(accreditation council on graduate medical education, ACGME)는 2003년에 전공의 수련 프로그램에서 학습성과바탕교육을 채택하도록 권고하였다.

역량바탕의학교육은 졸업 후 갖추어야 할 기본 역량에 초점을 맞추고 사회와 환자가 요구하는 능력 위주로 편성된 진료(practice)를 수행할 수 있도록 의사를 준비시키는 접근방법이다[14]. 역량바탕의학교육은 학습성과바탕교육의 한 형태라고 볼 수 있다. 이는 수련기간 자체를 중요시하지 않고 책무성, 유연성, 학습자 중심 원칙을 강조한다.

역량바탕의학교육은 특정한 학습전략이나 형식을 한정시키지 않고 의도하고 있는 학습성과를 명백하게 기술한다. 1993년 영국에서 Tomorrow’s Doctors가 제정된 후 졸업 후 의학교육은 기간 혹은 과정 중심에서 역량바탕교육체제로 전환되었다. 그 후 역량바탕의학 교육은 캐나다 Canadian Medical Education Directives for Specialists (CanMEDS) Framework, 스코틀랜드, 미국 졸업후 의학교육인증평의회의 Outcome Project, 영국 General Medical Council (GMC)의 Good Medical Practice, 네덜란드 의학교육 등에 전파되었다[16]. 이 방법은 의료분야에서는 진료 현장을 있는 그대로 반영하는(authentic) 교육과정을 개발할 수 있게 하고 기본의학교육이 평생교육으로 자연스럽게 이어주는 역할을 한다[17].

3. 캐나다 캘거리 의대의 임상표현교육과정

1) 캘거리 의대 교육과정 변천사

캘거리 의대는 1968-1970년에 처음으로 의대 교육과정이 신설되었다.

교실 혹은 교과목 단위로 분리된 교육 체계의 단점을 보완하기 위해 기초와 임상의학을 병합한 통합교육과정(integrated curriculum)을 선택하였다. 통합교육과정은 1950년대에 미국 Western Reserve School of Medicine에서 처음으로 발전시킨 신체계통(body-system)중심 접근교육과정이다. 이로부터 20년이 지난 1990년대 초 당시 캘거리 의대 교육과정을 자체 재검토한 결과 장점도 많았지만 몇 가지 결함이 발견되었다.

다른 하나는 학생들의 입장에서 임상문제해결능력 배양이 필요한데, 정작 임상문제해결능력은 일반적인 역량이 아니고 특정한 임상 문제마다 관련된 구조화된 기본 지식을 바탕으로 갖추어진다는 점이 중요하게 부각되었다. 따라서 새로운 교육과정은 임상문제해결능력 배양과 성인학습원리에 입각한 변화를 필요로 하게 되었다.

2) 주요 임상표현(clinical presentation) 중심 교육과정 구조

임상표현 중심의 교육과정에는 인체가 수많은 손상이나 기타 여러 외부 영향을 받았을 때 보여주는 반응 양식은 몇 가지로 정해져 있으며 시간이 경과하더라도 이러한 반응 양상은 안정적이며 변화가 적다는 대전제가 있다[18]. 환자가 의사를 찾아와서 자신의 상태를 나타내는 또는 보여주는 양상을 ‘임상표현’이라고 부른다. 임상표현은 한 사람, 여러 사람이 모인 집단, 지역 사회, 인구 집단이 의사에게 찾아 왔을 때 자신 혹은 집단의 상태를 표현하는 공통적이고 중요한 방식이다.

1994년 가을, 캘거리 의대 교육과정위원회(curriculum committee)에서는 임상표현 일관성의 대전제가 원론적으로 옳다고 인정하고 이전의 교육과정에 대한 대체하는 임상표현을 중심으로 한 역량바탕교육과정을 채택하였다. 그 후 캘거리 의대에서 개발한 대표적 임상표현 목록은 캐나다 의사국가시험 학습목표집의 개발의 모태가 되었다[19]. 캐나다 Medical Council of Canada (MCC)에서는 1992년 초판, 1999년에 제2판, 2004년에 제3판 의사국가시험 평가목표집(objectives for the qualifying examination)을 발간하였다. 제2판에서는 임상표현을 127개로 정리하였고 제3판에서는 120개로 정리하였다. 2009년에는 ‘The Royal College of Physicians and Surgeons’ CanMEDS에서 정의한 7가지 영역의 의사 역할(communicator, collaborator,health advocate, manager, scholar, professional and expert)별로 임상증상을 재분류하여 제시하고 있다. 2009년 개정판에는 Considerations of the Cultural-Communication, Legal, Ethical and Organizational Aspects of the Practice of Medicine (C2LEO)의 목표를 추가하였다.

3) 최종목표(terminal objectives)

최종목표는 의과대학을 졸업하는 학생이 해당 임상표현을 접했을 때 해야 할 일(what to do)로 정의하였다(Table 3). 최종목표는 아래의 4가지 기준(criterion)에 따라 작성하는 것을 원칙으로 정하였다.

(1) 첫 번째 기준

개별 임상표현의 최종목표는 6가지의 표준적인 임상수행영역(병력청취; 신체진찰; 추정진단 목록 나열-감별진단 목록 나열; 적절한 검사 처방; 추정 진단의 자연사, 예후, 합병증 등에 대한 환자 교육; 예방, 치료, 합병증 관리에 대한 상담)에 따라 기술하여야 한다.

(2) 두 번째 기준

일반적 목표의 기술인데 이를 통해 학생은 자신이 적절한 임상표현을 선택하였는지를 확인할 수 있게 한다. 예를 들면, 일시적인 의식소실이 있을 때 경련(24번 증상)이 맞는 표현인지 혹은 실신(84번 증상)이 해당 표현인지 확인할 수 있다.

(3) 세 번째 기준

최종목표 카드에 6-9개의 진단 범주를 나열하고, 전형적인 진단명(prototype)을 가장 먼저 제시한다. 여기에는 가능성이 있는 진단명을 모두 다 나열하지는 않고, 경우에 따라서는 학생 스스로 졸업 후 전공의 수련교육이나 수련 후 평생교육에서 다루어야 할 질병으로 나열할 수 있는 여지를 남겨 두었다. 나열한 질병목록은 시대 및 지역사회 상황에 따라 바뀔 수 있다. 하지만 120개의 임상표현은 바뀌지 않는다.

(4) 네 번째 기준

최종목표는 학생들에게 전문가가 임상 문제를 해결할 때 활용하는 “감별진단체계(스키마, schema)”, “접근법(approach)”, “진단 길잡이(road map)”등으로 조직화 된다[20]. 학생들은 소그룹 활동이나 문제바탕학습 과정에서 이러한 진단체계를 활용하는 훈련을 반복한다. 임상표현교육 과정의 중요한 특성 중 하나는 바로 전문가의 감별진단체계를 각 임상표현 별로 작성한다는 점이다. Fig. 2는 빈뇨라는 임상표현을 시각적으로 도식화한 스키마를 나타내고 있다. 스키마는 관련 지식을 조직화하는 방법의 하나로, 복잡한 상황을 쉽게 이해하고 반응을 보일 수 있도록 지식을 인지적으로 범주화하는 과정을 말한다. 스키마는 그 분야의 전문가가 만들고 학생들이 새로운 정보를 얻을 때 기본 틀을 제공해주고 임상문제해결의 길잡이 역할을 한다. 지식체계가 취약한 사람은 명백한 조직체계를 보여주거나 새로운 정보의 발판이 될 수 있는 임시 모델을 제시하여 새 지식의 획득 초기 단계에서 얼개를 알려 주어야 한다. 따라서 스키마는 지식의 구조인 동시에 지식 탐색 전략을 제공한다. 임상문제를 해결하려면 일반화된 공통된 방법으로만은 안되고 임상문제마다 특정한 해결책을 사용해야 한다[21].

학생들이 이 카드 시스템을 통하여 전문가의 임상 문제해결 방식을 배우는 과정은 아래와 같다. 첫째, 학생들이 임상 상황에서 의식소실이라는 임상표현을 접하면 Fig. 1의 제일 앞면의 카드에 나와 있는 전문가들이 합리적인 원인이라고 생각할 수 있는 6가지 원인 질병을 우선순위에 입각하여 재정리한다. 예를 들어 실신의 기전이 대뇌로 가는 혈류 감소로 인한 경우라고 생각하면 이에 해당하는 우선순위가 높은 질병을 떠올린다(Table 1의 일반목표와 Fig. 1의 b-1칸 적용). 만약 심장박출 경로의 폐쇄에 의한 경우라면 전형적인 질환으로 대동맥 판막 협착증을 먼저 감별진단 하려 할 것이다(c-0칸). 마찬가지로 실신이 심장의 펌프작용의 이상에 의한 경우라면 부정맥을 우선순위에 놓을 것이고(d-0칸), 뇌혈류 감소가 동맥의 협착에 의한 경우가 의심되면 대동맥판막 협착증을(c-0칸), 압력수용체의 과민성에 의한 실신이 의심되면 경동맥동자극에 의한 실신을 먼저 생각하게 될 것이다(Fig. 1의 h-0칸). 둘째, 혼란을 야기할 수 있는 임상표현은 일반목표에 의해 구분이 된다. 예를 들면 실신이 있을 때, Table 3의 일반 목표를 보면 경련과 구별을 짓는 병력을 청취할 수 있어야 한다고 되어 있기 때문에 우선적으로 경련발작이 아닌지를 감별하는 병력청취를 하게 될 것이다. 셋째, 만약 임상 증상이 실신의 범주에 해당한다고 확인되면 학생은 그 다음으로는 Fig. 1의 c-1 칸에 해당하는 대동맥판막협착증과 관련된 병력을 청취하고 이어서 필요에 따라 나머지 5가지 의료행위 영역에 대해서도 같은 작업을 진행시킬 것이다. 마지막으로, 학생들은 이러한 임상 소견에서 출발하여 감별진단을 하는 전향적인 추론과정(forward-reasoning problem solving)을 지면의 사례, 표준화 환자, 실제 환자를 통하여 반복 적용함으로써 전문가의 진단체계를 스스로 터득하게 된다.

4) 실행 목표(enabling objectives)

일단 교육과정위원회에서 임상표현별로 최종목표가 확정이 되면 각 교실에서 실행목표를 수립하게 된다. 이는 최종목표에 도달하기 위하여 필요한 지식, 수기, 태도를 포함하게 된다. 최종적으로 120개 임상표현별로 하나씩의 최종목표와 23개씩의 실행목표가 생겨 결국 총 2,880개의 카드가 만들어지고 이들을 모두 컴퓨터에 입력하여 쉽게 입출력할 수 있는 시스템(curriculum dataBase for medical education, CUBE)으로 개발하였다. 각 임상 증상별로 21개 실행목표는 과나 사무실 단위로 설정이 되었지만 나머지 두 카드는 학생 개인이 혹은 환자-인구집단 관계와 관련이 있는 실행목표 카드였다.

평가 시스템을 제외한 모든 정보를 학생들이 공유할 수 있게 하였다.

5) 평가(evaluation)

과거의 장기계통중심 교육과정과 비교하여 어떤 성과를 보이는 지 알아보기 위하여 결과평가 영역으로 기초의학지식, 임상문제해결능력, 임상술기능력 등에 관한 지속적인 평가를 시행하였다. 학생들과 교수의 교육과정프로그램에 대한 만족도도 지속적으로 평가하였다.

The Process of Developing a Clinical Presentation Curriculum 임상표현 교육과정개발

이병두, 박훈기1 인제의대 내과학교실, 한양의대 의학교육학교실1 Byoung Doo Rhee, M.D., Ph.D., Hoon-Ki Park1, M.D., Ph.D. Department of Internal Medicine, Inje University College of Medicine, Busan, Korea 1Department of Medical Education, Hanyang UniversityCollege of Medicine, Seoul, Korea

Abstract In Korea, many medical schools have adapted their curricula to the recent paradigm shift introducing a professional graduate school system with universal accreditation criteria for medical education. This rapid transformation has driven the new adoption of system-based integrated curriculum, problem-based learning, team-based learning, and competency-based assessment. In the hundred years since the publication of Flexner’s report that suggested a two-phase educational structure consisting of a basic science didactic curriculum followed by the practicum of clinical clerkships, there have been many advancements in curriculum development for medical education. Medical education is undergoing a major paradigm shift from structure- and process-based to competency-based education utilizing outcome-based assessments. The Process of Developing a Clinical Presentation Curriculum authors reviewed the existing medical literature to provide practical insight into the clinical presentation curriculum introduced by University of Calgary in 1994, developing a roadmap to accomplish full implementation and evaluation. In the clinical presentation based curriculum, schemata (schemes) are organized by experts from terminal objectives, and are considered to have two functions: first, to serve as frameworks around which students can learn new information and secondly, to provide an approach to clinical problem solving. We conclude that there should be further meticulous review of this new system and a prospective evaluation of the students’ ability to benefit from it before launching a program based on the indiscreet adoption of a fashionable curricular reform.

학부의학교육의 설계와 도입으로부터 얻은 교훈(University of Dundee)

Planning and implementing an undergraduate medical curriculum: the lessons learned

MARGERY H. DAVIS1 & RONALD M. HARDEN2

1Centre for Medical Education, University of Dundee and 2The International Virtual Medical School (IVIMEDS), Dundee, Scotland, UK

배경

Introduction

교육과정의 여섯가지 특징

The medical school at the University of Dundee introduced a new curriculum in 1995. The curriculum combined idealism and pragmatism and six aspects were described by Harden et al. (1997): 

• the spiral curriculum; 
• a systems-based approach; 
• a core curriculum with options; 
• the educational strategies; 
• the student assessment approach; and 
• organization and management of the curriculum. 

The medical school has now had eight years’ experience of implementing the curriculum in practice. Since 1995 there have been significant changes both in the healthcare delivery system and in medical education. In this paper we look at how the curriculum has withstood the test of time and responded to change; which aspects of the curriculum are still in place; and what new approaches have been added. (...)

던디 의과대학의 학부 교육과정

The Dundee undergraduate medical curriculum

The 1995 curriculum was implemented as the result of proposals by a working group of the Dundee faculty of medicine for curriculum development (Davis, 1993). The focus for implementation was a sophisticated blend of educational strategies, which underpinned the curriculum. These included...

• a spiral curriculum with three interlocking phases; 
• a systems-based approach with themes running through the curriculum that provided a focus for the students’ learning; 
• a core curriculum with options; elements of problem-based learning (PBL); 
• community-based learning; 
• student-centred approaches to teaching and learning that encouraged students to take more responsibility for their own learning; and 
• an approach to assessment that emphasized the overall objectives of the course. 

An organizational and management structure and the allocation of resources were designed to support the educational philosophy. Since the programme was introduced, not unexpectedly, many details relating to the curriculum have changed. There have also been significant developments. In 1997, an outcome-based approach (Harden et al., 1999a, 1999b) was adopted for all five years of the curriculum, task-based learning (Harden et al., 2000) was introduced as the framework for student learning in phase 3 and the portfolio assessment process (Davis et al., 2001) was introduced as the medical students’ final examination.

교육과정 평가

Evaluation of the curriculum

The curriculum has been evaluated on evidence from a number of sources. These include both internal and external reviews and student examination data. The conclusions reached in this paper are based on this evaluation.

• (1) The internal reviews
• (2) External reviews, both formal and informal
• (3) Student examination data

교육과정

The curriculum

(1) The spiral curriculum

Lessons learned. The spiral design, with students revisiting topics in each phase, building on what they already know and adding further complexities is a robust and useful model for the undergraduate medical curriculum. One should not underestimate, however, the difficulty students may find in moving from one phase to the next, each with different approaches to teaching and learning. We found that an introduction to the overall curriculum and an interface between the phases was necessary.

(2) Outcome-based education

Lessons learned. There is a significant difference between outcome-based education and the production of a list of learning outcomes for an existing curriculum. ‘‘Outcome-based’’ suggested Spady (1993), ‘‘does not mean curriculum based with outcomes sprinkled on top. It is a transformational way of doing business in education.’’ The implementation in a curriculum of outcome-based education is not easy and requires the use of curriculum mapping. The effort is, however, worthwhile. The outcomes provide a valuable focus for student learning and direct the students’ attention towards learning outcomes that are easily ignored in the traditional curriculum. The outcomes also provide a sound basis for the student assessment process.

(3) Core curriculum with options

The core curriculum - Lessons learned. Identification of the core basic science components of the curriculum is not easy and is best done by basic scientists working in collaboration with clinicians. The specified learning outcomes play a key role in identification of what is core for all students

The options - Lessons learned. Options have proved popular with both staff and students, but providing large numbers of optional courses each attended by a few students is probably not cost effective. Staff and departments are more likely to accept a reduction of teaching time in the core if they can compensate with time in the optional part of the programme.

(4) The adaptive curriculum

Lessons learned. We learned that the adaptive curriculum approach could be employed in an undergraduate medical programme. Logistical difficulties were encountered with the implementation of the adaptive curriculum that led to changes in the number of attempts at an examination without, however, compromising the basic principles. What has been more challenging, however, is the creation of a new mindset which recognizes that curriculum time is finite and that how students may best use this time may vary from student to student.

(5) An integrated, systems-based approach

Lessons learned. System-based teaching is a key strategy in the early years of an undergraduate medical programme and is popular with both staff and students. Implementation may vary according to the preferred approach of individual teachers. Significant input from clinicians throughout the curriculum is needed to achieve both horizontal and vertical integration.

(6) Multiprofessional learning

Lessons learned. Multiprofessional education offers advantages and has attractions as a tool for enabling students to understand and respect the role of other healthcare professions. The true role of multiprofessional teaching and learning in medical education, however, is not clear. Unless there is a strong proponent or standard-bearer for the approach, significant change is unlikely. Multiprofessional education has to be institutionalized if it is to survive and contribute to the curriculum.

(7) Problem-based learning

Lessons learned. Implementation of an educational approach such as PBL may run into difficulties unless it is enthusiastically endorsed by the medical school. Task-based learning provides an option to PBL that is, in many ways, more attractive to staff, particularly in the clinical years. Task-based learning has been one of the curriculum’s successes. It is a valuable strategy for introducing an integrated and problem-based approach in the clinical years of an undergraduate medical curriculum. The tasks, matched with the appropriate learning outcomes, provide a framework or grid for identification of the core curriculum

Teaching and learning: student support

(1) Study guides

Lessons learned. The introduction of study guides clarifies what has to be taught and learned and has proved to be one of the most important innovations of the new curriculum. The costs of study guide production are substantial and need to be addressed. Both electronic and printed study guides have a role to play.

(2) Student-support scheme

Lessons learned. Student support is a taxing process that needs, to ensure its ongoing success, personal commitment from a large number of staff, secretarial resource to administer the system and a dedicated member of staff to provide the required leadership.

(3) Curriculum mapping

Lessons learned. Planned learning throughout a curriculum needs to be made explicit to both staff and students. Curriculum mapping aids this process. The complexities require an electronic learning environment.

(4) P-2-P learning

Lessons learned. P-2-P learning has an important part to play in supporting students

Teaching and learning: educational facilities

(1) Computer learning suite

(2) Educational resource area

(3) Integrated learning area

(4) Clinical skills centre

Lessons learned. The computer learning suite, the clinical skills centre and the integrated learning area are essential resources in a medical school. They support an integrated student-centred curriculum and help students to achieve the learning outcomes. Institutionalization of the educational facilities is essential for their successful and continued use. The clinical skills centre provides an important focus for clinical teaching, particularly in the early years of the curriculum. Unpaid volunteers have successfully provided a bank of simulated patients who are able to meet most needs of undergraduate medical student teaching in the centre. In the UK context, payment of simulated patients is not necessary and may make the extensive use of simulated patients unaffordable.

Assessment

(1) Twenty principles of assessment

Lessons learned. Principles of assessment are a useful tool to guide the development of an integrated assessment system. The principles need to be customized for the individual medical school context and kept up to date.

(2) Self-assessment

Lessons learned. One of the first principles of assessment is that the purpose of the assessment should be clear. Confusion between self-marking of summative assessment and self-assessment for formative reasons caused anxiety in some students. While self-marking of examination papers has potential for provision of rapid feedback to students, the purpose of the self-marking has to be clearly communicated to the students. The introduction of the process has to be carefully managed.

(3) Assessment to a standard

Lessons learned. The assessment-to-a-standard approach has been successful in supporting slower learners through the provision of supplemental instruction.

(4) Integrated assessment

Lessons learned. Integration of assessment is important to support curriculum integration. Integrated assessment may result in an academic staff ‘stand off’ from the assessment process related to lack of ownership.

(5) External examiners

Lessons learned. External examiners have an important contribution to make in ensuring that standards are set and maintained at an appropriate level.

(6) SSC(student selected components) assessment

Lessons learned. Relating SSC assessment to the learning outcomes facilitates standardization across SSCs. Standardizing student effort and marking criteria across disparate SSCs is challenging but achievable.

(7) Formative assessment

Lessons learned. The logistical implications of integrated assessment are considerable and had a deleterious effect on the provision of formative assessment opportunities for students.

(8) Progress test

Lessons learned. A progress test can provide useful feedback to staff and students. Student assessment needs to be adequately resourced in terms of academic staff, professional assessment advice, time and money.

(9) Portfolio assessment

Lessons learned. Portfolio assessment provided a framework within which student performance across a range of outcomes could be assessed. The portfolios identified student problems that the medical school did not have the processes to deal with; for example, a fitness to practice committee had to be set up for the undergraduates. The portfolio process is a major logistical exercise for the medical school, but it is considered to be worth the effort.

Organization and management: committee structures

(1) UMEC

(2) UMEC working group

(3) The three phase sub-committees of UMEC and the SSC committee

(4) The theme committee

(5) The faculty assessment committee

(6) The academic standards committee

(7) The computer committee

Lessons learned. The education committee structure and membership should reflect the needs of the curriculum. As a curriculum becomes established there is a tendency for the committee structure and membership to change, reflecting a more administrative and maintenance role rather than a forward-planning education role.

Organization and management: administrative support

Lessons learned. Administrative expertise residing at departmental level can be lost with the move to centralized administration of the curriculum. High-quality/senior administrative support is necessary for a successful shift to a centrally administered integrated curriculum. Separation of educational and administrative functions is needed as medical education staff can easily be regarded as administrators if academic staff are not aware of their areas of expertise. The assessment expertise residing within departments can be lost with the move to a centrally administered assessment system.

Conclusions

(1) The importance of initial planning

The 1995 curriculum was introduced as a result of a significant curriculum review. The review group was headed by the Dean and comprised 10 individuals with key roles in the curriculum and two students. They met regularly in the evenings for two to three hours at two weekly intervals over a six-month period. Attendance at the meetings was almost 100%. A careful analysis of the problems of the existing curriculum was carried out. Future needs were also considered. A key feature of the review was the wide consultation with a range of stakeholders, including recent graduates, general practitioners, current teachers and students. These stakeholders were invited to attend a meeting of, and discuss their views with, the review group. Other medical schools were surveyed for information regarding how they addressed a range of educational issues. The group issued a draft report for consultation and following this the final recommendations were produced and approved by UMEC and the faculty board. Communication of the finalized curriculum revision plans took place at a well-attended staff meeting and through circulation of the working group report.

(2) The need for a big picture

An overall structure and clearly enunciated educational principles provided a framework to inform ongoing discussions regarding curriculum implementation and guide change. The identification of the core clinical problems as the basis of task-based learning, integrated systems-based teaching and learning, outcome-based education with identification of 12 exit learning outcomes, the spiral curriculum, the core and options model and the 20 principles of assessment provided this structure and guidance.

(3) Facilitation of student learning

A range of approaches is needed to support student learning. Student study guides, introductory courses, educational facilities such as a clinical skills centre, computing suite and integrated learning area, P-2-P or collaborative learning, curriculum mapping, the student assessment system and a student support scheme are all important in facilitation of student learning.

(4) The student assessment system

The student assessment system needs to be integrated with the teaching and learning and be capable of supporting student learning. This is part of the paradigm shift from testing to assessment. If the curriculum is integrated in terms of disciplines and specialities, then the assessment system must also be integrated or the curriculum integration will be lost. The assessment-to-a-standard approach recognized the needs of different students and supported slower learners through the curriculum, even though the underlying concepts and shift in thinking involved in the approach had difficulty gaining general acceptance.

(5) Committee and administrative structure

The committee and administrative structure needs to support the curriculum. Changes in this structure may be necessary for different stages in the life of the curriculum: planning, implementation and maintenance. Implementation of an integrated curriculum where the responsibilities lie centrally in a school and where staff are located within departments does cause difficulties that need to be addressed. A matrix management system within a medical school may resolve the tensions between departmental and central control of the curriculum.

(6) Professionalism in medical education

There is a need for the commitment of all staff to the curriculum process. Different levels of educational expertise, however, are required. A critical mass of staff need to have an understanding of the underpinning educational principles and concepts and the educational vocabulary to discuss educational developments and to take part in the decision-making processes. Medical staff with educational expertise are needed for educational facilities such as the clinical skills centre. Professionalism in medical education is needed to support the curriculum, the assessment and the staff in their teaching activities. Research into medical education is necessary and professional medical educators can provide a focus for research activities. They can also engage students in the teaching and learning process and involve them in educational research.

(7) Leadership

Leadership is intimately associated with change and its sustainability. Leadership by the dean and other senior staff was needed for the curriculum revision and for the institutionalization of change. It is needed for the endorsement of change by curriculum committees. When leadership for the multiprofessional initiatives was lost, most failed.

(8) Flexibility

Built-in flexibility is important for sustainability. A curriculum is a living entity where ongoing change is almost certainly needed. When major changes such as outcome-based education, task-based learning and portfolio learning and assessment were introduced, the curriculum could adapt and cope.

Planning and implementing an undergraduate medical curriculum: the lessons learned.

Teaching lesbian, gay, bisexual and transgender health in a South African health sciences faculty: addressing the gap

Alexandra Müller

Background

LGBT 인구에게는 특별한 건강요구가 있다. 성적 지향과 성적 정체성은 그 자체가 건강결정요인이며, homophobia와 heteronormativity는 사회에 여전히 편견으로 남아있다. LGBT환자는 보건의료에서도 차별과 편견을 경험하고 있다. 최근 남아프리카공화국에서는 LGBT에게 필요한 보건의료를 제공하는 정책으로 나아가야 한다는 방향으로 가고 있으나, LGBT의 건강 관련 이슈를 다루는 교육과정은 없다. 본 연구는 University of Cape Town의 의학 교육과정에서 다루고 있는 LGBT 건강 관련 내용에 대한 연구이다.

People who identity as lesbian, gay, bisexual and transgender (LGBT) have specific health needs. Sexual orientation and gender identity are social determinants of health, as homophobia and heteronormativity persist as prejudices in society. LGBT patients often experience discrimination and prejudice in health care settings. While recent South African policies recognise the need for providing LGBT specific health care, no curricula for teaching about LGBT health related issues exist in South African health sciences faculties. This study aimed to determine the extent to which LGBT health related content is taught in the University of Cape Town’s medical curriculum.

Methods

UCT의 health sciences 교수들에게 LGBT건강관련 교육내용, 교육법, 평가법에 대하여 설문하였다.

A curriculum mapping exercise was conducted through an online survey of all academic staff at the UCT health sciences faculty, determining LGBT health related content, pedagogical methodology and assessment.

Results

31개분과의 127명이 응답하였다. 93명이 설문에 완전히 다 답하였다. 

127 academics, across 31 divisions and research units in the Faculty of Health Sciences, responded to the survey, of which 93 completed the questionnaire. 

• Ten taught some content related to LGBT health in the MBChB curriculum. 
• No LGBT health related content was taught in the allied health sciences curricula. 
• The MBChB curriculum provided no opportunity for students to challenge their own attitudes towards LGBT patients, and 
• key LGBT health topics such as safer sex, mental health, substance abuse and adolescent health were not addressed.

Conclusion

현재로서 UCT 보건학 교육과정에서는 LGBT관련 내용을 제대로 다루고 있지 않다. LGBT관련 내용이 MBChB교육과정에서 다뤄지고는 있으나, 이는 대부분 분절화되어있고, 체계적이지 못하며, 전체 내용을 아우르는 큰 구조가 없다. LGBT관련 내용을 모든 보건학 교육과정에 도입하려는 협력적 노력이 필요하고, 이어서 학생들이 LGBT 환자에 대해 전문가적인 지식을 바탕으로 태도와 행동을 보일수 있도록 가르치는 것이 필요하다. LGBT사람들의 건강요구에 대하여 학생을 잘 교육하는 것은 우수한, 개인적 판단이 배제된( non-judgmental ) 의료를 제공하기 위해 필수적이다.

At present, UCTs health sciences curricula do not adequately address LGBT specific health issues. Where LGBT health related content is taught in the MBChB curriculum, it is largely discretionary, unsystematic and not incorporated into the overarching structure. Coordinated initiatives to integrate LGBT health related content into all health sciences curricula should be supported, and follow an approach that challenges students to develop professional attitudes and behaviour concerning care for patients from LGBT backgrounds, as well as providing them with specific LGBT health knowledge. Educating health professions students on the health needs of LGBT people is essential to improving this population’s health by providing competent and non-judgmental care.

Teaching lesbian, gay, bisexual and transgender health in a South African health sciences faculty: addressing thegap.

PMID:

 

24373219

 

[PubMed - indexed for MEDLINE] 

PMCID:

 

PMC3877956

 

Free PMC Article

BRIEF REPORT: ‘‘Where Do We Teach What?’’

Finding Broad Concepts In The Medical School Curriculum

Joshua C. Denny, MD,1 Jeffrey D. Smithers, MD,2 Brian Armstrong, BS,3 Anderson Spickard III, MD, MS4

1Department of Medicine, Vanderbilt School of Medicine, Nashville, TN, USA; 2Department of Medicine and Pediatrics, Good Samaritan Regional Medical Center, Phoenix, AZ, USA; 3Vanderbilt School of Medicine, Nashville, TN, USA; 4Department of Medicine, Department of Biomedical Informatics, Vanderbilt School of Medicine, Nashville, TN, USA.

BACKGROUND: Often, medical educators and students do not know where important concepts are taught and learned in medical school. Manual efforts to identify and track concepts covered across the curriculum are inaccurate and resource intensive.

OBJECTIVE: To test the ability of a web-based application called KnowledgeMap (KM) to automatically locate where broad biomedical concepts are covered in lecture documents in the Vanderbilt School of Medicine.

METHODS: In 2003, the authors derived a gold standard set of curriculum documents by ranking 383 lecture documents as high, medium, or low relevance in their coverage of 4 broad biomedical concepts: genetics, women’s health, dermatology, and radiology. We compared the gold standard rankings to KM, an automated tool that generates a variable number of subconcepts for each broad concept to calculate a relevance score for each document. Receiver operating characteristic (ROC) curves and area-under-the-curve were derived for each ranking using varying relevance score cutoffs.

RESULTS: Receiver operating characteristic curve areas were acceptably high for each broad concept (range 0.74 to 0.98). At relevance scores that optimized sensitivity and specificity, 78% to 100% of highly relevant documents were identified. The best results were obtained with the application of 63 to 1437 subconcepts for a given broad concept. The search time was fast.

CONCLUSIONS: The KM tool capably and automatically locates the detailed coverage of broad concepts across medical school documents in real time. Use of KM or similar tools may prove useful for other medical schools to identify broad concepts in their curricula.

"우리가 유전학을 언제 배우고 있더라?" 학장도, 교수도, 학생도 이러한 질문을 한다. 이런 질문에 대해 답을 하려고 무수한 전화와 이메일이 오간다.

‘‘Where do we currently teach genetics?’’ is a typical question asked in medical schools. 

• A dean may pose this question in preparation of the school’s report to the Liaison Committee on Medical Education (LCME). 
• A faculty member may ask this question to prepare to teach a new genetics lecture added to the medicine clerkship. 
• A medical student clerk may ask this question to prepare for her postcall bedside presentation of her patient with complications of an inherited disease. 

Questions about where concepts and topics are covered in the curriculum are typically answered through lengthy collaborative meetings and numerous emails and phone calls. These labor- and communication-intensive approaches may not be sufficiently detailed and sustainable to yield accurate, up-to-date answers.

교육자들은 교육과정의 내용을 관리하고, 추적하고, 조율하기 위헤서 웹을 사용하기 시작했다.

Educators have turned to the web to display medical school information in order to improve the ability to manage, track, and coordinate curricular content. 

Some medical schools support a full text electronic curriculum so that teachers and learners have quick access to the current curriculum. 1,2 

Other medical schools take a step further by placing electronic curricular documents and images into a database. 3,4 

KnowledgeMap(KM)이란 프로그램을 개발했다.

Each document is labeled with a manually derived set of keywords or titles to allow for searching and sharing of curricular content. Improvements on these efforts would obviate the need for manual identification and entry of selected concepts that describe a teaching session, and yet grant the ability to locate all concepts within each curricular document automatically. We have developed KnowledgeMap (KM) to provide these functions.

BACKGROUND

KnowledgeMap 설명

KnowledgeMap is a web-based application that uses a concept identifier to locate biomedical concepts automatically from search queries of medical education documents.5 Faculty members use the KM web application to upload presentations and lecture handouts in HTML, Microsofts Words, Adobe Acrobat s PDF, and Microsofts PowerPoints formats. As each document is uploaded, the KM concept identifier uses a rigorous algorithm6 to find all Unified Medical Language System (UMLS, a composite vocabulary containing more than one million terms)6,7 concepts located in the document. KM has performed well in identifying biomedical concepts in large sets of medical curriculum documents.6

KnowledgeMap can also search for broad concepts, termed metaconcepts, in the curriculum. Examples of metaconcepts include ‘‘genetics’’ or ‘‘women’s health.’’ After a user submits a metaconcept query, such as ‘‘genetics,’’ the tool constructs a large list of related subconcepts (such as chromosome, point mutation, phenotype, etc.) using relationships defined in the UMLS. A user can decide how many subconcepts he or she wishes to search for by selecting from 6 expansion levels ranging from narrow (fewer subconcepts) to wide (more subconcepts). Once a user has selected the desired number of subconcepts and submits them for a search, KM returns the documents that contain the submitted subconcepts ranked by relevance. Analogous to a web search engine, the output lists all documents matching any subconcepts with the most relevant documents listed first. The user may select a document to see the display of subconcepts located in that document as shown in Figure 1.

METHODS

We tested the ability of KM to locate metaconcepts within the Vanderbilt School of Medicine curriculum. The Institutional Review Board approved the study. First, we determined 4 metaconcepts of interest; next, we established gold standard rankings for a set of documents; and then we searched the document set for metaconcepts. The authors identified 4 metaconcepts relevant for curriculum- type coverage queries: ‘‘genetics,’’ ‘‘women’s health,’’ ‘‘dermatology,’’ and ‘‘radiology.’’ Two of these, ‘‘genetics’’ and ‘‘women’s health,’’ were actual concept queries posed by curriculum review committees at the Vanderbilt School of Medicine.

One author (A.S.) scored 383 documents from 19 firstand second-year medical school courses in order to establish the gold standard set of documents. The author has 12 years’ experience in teaching in all 4 years of medical school and was not familiar with the concept coverage algorithm or the vocabulary sets. He scored each document as 1) having little or no information (‘‘low’’ documents), 2) having a moderate amount of information (‘‘moderate’’ documents), or 3) having a large amount of information (‘‘high’’ documents), which pertains to each of the 4 metaconcepts tested. References and ‘‘suggested readings’’ sections in documents were ignored when ranking. To validate the gold standard rankings, an expert in each field (genetics, women’s health, dermatology, and radiology) scored a set of 10 documents. The percentage of exact agreement between each expert and author A.S. ranged from 90% to 100%; the overall k between the author and 4 experts was 0.84 (calculated with PRAM8).

Using each expansion level of the KM metaconcept search (up to 40,000 subconcepts), we generated relevance scores for each of the 383 documents. We calculated sensitivity and specificity by iterating through all possible score ‘‘cutoffs’’ to identify ‘‘high,’’ ‘‘moderate or high,’’ and ‘‘low’’ documents among all documents scored. Documents with a score of zero were classified as ‘‘low.’’ For the gold standard ‘‘high’’ set, we considered a true positive any document ranked ‘‘high’’ in the gold standard set and above a given score cutoff in KM; ‘‘moderate’’ and ‘‘low’’ documents were gold standard negatives. For the ‘‘moderate-high’’ set, we considered a true positive those documents above a given score cutoff that were ranked ‘‘high’’ or ‘‘moderate’’ in the gold standard set; ‘‘low’’ documents were the only gold standard negatives. We derived a receiver operating characteristic (ROC) curve from the calculated sensitivity and specificity for each expansion set of each metaconcept. To compare the efficacy of each ranking, we calculated the area-under- the-curve for each ROC curve.9 The optimal sensitivity and specificity were determined by finding the northwest corner of each curve. For all statistical calculations, we used Statas version 7 (College Station, TX) and Microsofts Excel (Redmond,WA).

"Where do we teach what?" Finding broad concepts in the medical school curriculum.

The KM tool capably and automatically locates the detailed coverage of broad concepts across medical school documents in real time. Use of KM or similar tools may prove useful for other medical schools to identify broad concepts in their curricula.

Creating an ideal social and behavioural sciences curriculum for medical students

Jason M Satterfield,1 Shelley R Adler,2 H Carrie Chen,3 Karen E Hauer,4 George W Saba2 & Rene Salazar1

OBJECTIVES 

Undergraduate medical education programmes universally struggle with overfull curricula that make curricular changes quite challenging. Final content decisions are often influenced by available faculty staff, vocal champions or institutional culture. We present a multi-modal process for identifying ‘need to-know’ content while leveraging curricular change, using the social and behavioural sciences (SBS) as an exemplar.

METHODS 

Several multi-modal approaches were used to identify and triangulate core SBS curricula, including: 

a national survey of 204 faculty members who ranked the content importance of each of the SBS content areas; 

a comprehensive review of leading medical SBS textbooks; 

development of an algorithm to assess the strength of evidence for and potential clinical impact of each SBS construct; 

solicitation of student input, and 

review of guidelines from national advocacy organisations. 

To leverage curricular change, curriculum mapping was used to compare the school’s ‘actual’ SBS curriculum with an ‘ideal’ SBS curriculum to highlight educational needs and areas for revision. Clinical clerkship directors assisted in translating core SBS content into relevant clinical competencies.

RESULTS 

Essential SBS content areas were identified along with more effective and efficient ways of teaching SBS within a medical setting. The triangulation of several methods to identify content raised confidence in the resulting content list. Mapping actual versus ideal SBS curricula highlighted both current strengths and weaknesses and identified opportunities for change.

CONCLUSIONS 

This multi-modal, several-stage process of generating need-to-know curricular content and comparing it with current practices helped promote curricular changes in SBS, a content area that has been traditionally difficult to teach and is often under-represented. It is likely that this process can be generalised to other emerging or underrepresented topic areas.

INTRODUCTION

급격한 의학 지식의 축적으로 인해 좋은 점도 많지만, 많은 의과대학들은 제한된 시간에 늘어난 지식을 가르치느라 고전하고 있다.

Although the rapidly expanding fund of medical knowledge offers new possibilities for the promotion of health and the treatment of disease, it creates a vexing problem for overburdened medical schools balancing dozens of growing disciplines and content areas with a static number of teaching hours and resources. 

새로운 교육과정을 안정적으로 정착시키기 위해서는 새롭게 "알아야 하는" 내용을 확정하는 타당하고 신뢰도 있는 절차와 현재의 교육과정을 평가하는 과정이 필요하다. 다음의 모델들이 좋은 출발점이 될 것이다. 여기서는 curriculum mapping을 활용하여 사회/행동과학(SBS)교육과정의 개정한 사례를 제시하고자 한다.

A valid and reliable process of identifying ‘need-to-know’ content while evaluating current curricular efforts is required to integrate new knowledge and to change set curricula. 

• Important models of curricular mapping,1,2 
• curricular change management, 3 and 
• educational evolution since the time of the Flexner Report4,5 have been offered as starting points in the consideration of change. 

We present curricular change in the social and behavioural sciences (SBS) as an exemplar for identifying core content and using curriculum mapping as leverage for inclusion.

미국 내의 morbidity와 mortality의 원인은 행동적/사회적 요인과 관련되어 있으며, 의사들에게 SBS를 가르침으로서 outcome을 향상시킬 수 있으며, 반대로 사회문화적 차이를 모르면 outcome이 악화된다.

Approximately half of all causes of morbidity and mortality in the USA are linked to behavioural and social factors,6,7 and training doctors in the SBS is associated with improved outcomes. 

• Superior interviewing skills are linked to more accurate diagnoses, increased adherence, improved outcomes and greater patient satisfaction.8,9 
• Cultural competency training appears to reduce racial and ethnic health disparities and improve clinical outcomes.10 
• Conversely, lack of appreciation, exploration or understanding of socio-cultural differences between doctors and patients can lead to decreased adherence and, subsequently, poorer health outcomes.11,12

미국 인구 건강 향상을 위하여 IOM은 의사들에게 SBS에 관한 지식과 스킬을 익힐 것을 권고하고 있다.

With the goal of substantially improving the health of the US population, the Institute of Medicine (IOM) has called for doctors to acquire 

‘the knowledge and skills from the behavioural and social sciences needed to recognise, understand, and effectively respond to patients as individuals’.13 

또한 이 보고서에서는 의과대학에서는 4년간의 통합된 SBS교육을 다음의 여섯 개 영역에 대해서 할 것을 권고했다.

This report recommends that medical schools offer a 4-year, integrated SBS curriculum addressing six domains: 

• mind–body interactions; 
• patient behaviour; 
• the doctor’s role and behaviour; 
• doctor–patient interactions; 
• social and cultural issues in health care, and 
• health policy and economics. 

보고서에서 26개의 SBS토픽을 구분했지만, 의과대학은 총체적인 접근법을 고민해야 할 것이다. 

Although the report identifies 26 different SBS topics, medical schools need a systematic approach to determining the specific knowledge and skills essential for every medical student. To address this challenge, we employed a multi-modal process for identifying need-to-know SBS content for medical students while promoting curricular revisions. 

다음의 과정을 밟았다.

This process included the use of: 

• a locally generated topic list ranked by national SBS experts to validate and focus the IOM content suggestions; 
• a curriculum-mapping project to compare a local actual curriculum with the ‘ideal’ SBS curriculum, and 
• collaboration with clinicians to translate ideal SBS content into clinical competencies to support clinical clerkship revisions. 

We first review current challenges for SBS in undergraduate medical education, describe the ‘need-to-know’ principle, and then outline our content development and mapping processes. Although we focus on the SBS, this process may be applicable to content in other domains.

의과대학 교육과정에서 SBS교육과정 디자인과 도입시 도전과제들

Challenges in designing and implementing SBS curricula in medical schools

대부분 미국 의과대학이 약간의 SBS교육과정들을 가지고 있지만 정규 교육과정에서 다루고 있는 정도와 성공 수준에서 차이가 크다. 그 원인은 아래와 같은 것들이 있다.

Although most US medical schools include some SBS education, the degree and success of formal curricular implementation has been inconsistent. The variation in programmes results from challenges that include...

• competing curricula, 
• the legacy of the culture of biomedicine, and 
• inadequate SBS faculty development and support.13

Because current medical curricula are already crowded, the addition of SBS instruction may be viewed as threatening to other curricular content.14 This struggle for curricular space is unfortunately exacerbated by social and behavioural scientists and clinicians who fail to work well together. In some settings, an ‘us-and-them’ stance develops, negatively influencing the educational environment.15 Although this dynamic can exist in any content area, it tends to be more pronounced in the SBS, which is often not accepted by a medical culture that may see the field as less relevant to clinical care. Even among those faculty staff who support medical students’ education in the SBS, the need to reduce teaching time, share resources, and collaborate effectively can prove challenging.14,15

더 넓게는 생의학적 문화가 상당한 장애물이 되고 있다.

More broadly, the legacy of the biomedical culture remains a significant impediment to the development of integrated and valued SBS curricula. 

Although beliefs are shifting, mainstream clinical reasoning still attributes human disease to anatomic and biochemical abnormalities and tends to dismiss psychosocial determinants as less relevant.15 Without trained SBS educators advocating for SBS curricular content, the SBS may be overlooked or integrated poorly into the overall curriculum.16 If SBS content remains separate while other content is increasingly delivered in integrated formats, its peripheral status is highlighted and its value questioned. Teaching of the SBS can also be impeded by the ‘hidden curriculum’, the implicit messages communicated through role modelling and the imprinting of attitudes and values onto students by experienced educators.17

명확하게 규정된 SBS교육내용 세트와 SBS역량이 필요하다. 또한 통합이 필수적이다. 

To create an appropriately integrated, interdependent curriculum, a clearly defined (ideal) set of SBS content and competencies is required. Integration is critical to ensure that various components of the SBS curriculum reinforce one another and the larger curriculum, and that there is sequential development of SBS learning in an iterative or spiral configuration.

"꼭 알아야 하는 것(need-to-know)"의 원칙

The ‘need-to-know’ principle

급격히 증가하는 의과대학 교육과정 내용에 대응하기 위해서, 교육자들은 모든 의과대학생이 알아야 하는 지식과 술기의 내용을 제한할 필요가 있다. 이러한 rationale 하에 미국에서는 ACGME가 전공의 수련의 18개 역량을 개발하였다. 이 broad competencies는 모든 수련중인 의사가 "꼭 알아야 하는(need to know)" 것에 대한 전공과목간에 합의된 내용이다.

To address the dramatic increase in medical school curricular content, educators must restrict material to the fundamental knowledge and skills that every medical student needs to know, regardless of ultimate specialty. In the USA, the Accreditation Council for Graduate Medical Education (ACGME) developed competencies18 for residency training based on this rationale. These broad competencies represent a consensus among medical disciplines regarding the need-to-know content and skills for all resident doctors-in-training. These baseline competencies in knowledge, patient care, interpersonal and communication skills, professionalism, practice-based learning and improvement, and systems-based practice are applicable and have been adapted to all disciplines.

ACGME 전공의 역량은 포괄적인 가이드를 주기 위한 것이며, 교육과정 설계를 위한 세세한 내용은 담고있지 않다. 

The ACGME resident competencies are designed to offer broad guidance for general programme development and may provide insufficient detail for the construction of specific curricula.18 

For example, although the competencies of communication and professionalism may be considered SBS in nature, they are not described in sufficient detail and are too limited in scope to guide the development of a comprehensive SBS curriculum in graduate medical education. 

Specific knowledge and skills, such as those in mind–body interactions and patient behaviour content emphasised in the 2004 IOM report,13 are not addressed. 

Accreditation standards for US medical schools19 include SBS content, but are similarly too broad to guide content development for medical students. 

더 구체적인 가이드가 있어야 할 것이다.

Without more specific guidelines, individual medical schools and residencies must develop internal benchmarks and competency definitions in determining required SBS content.

METHODS

이상적인 교육과정, 실제 교육과정, 그리고 역량의 'translation"

The ideal curriculum, the actual curriculum and translating competencies

교육과정 설문과 mapping 프로젝트를 하였다. 이상적인 SBS교육과정과 비교하는 것.

We developed and implemented a curriculum survey and mapping project1,2 to validate and focus the IOM content suggestions,13 estimate local curricular needs and translate essential content into clinical competencies. This project included a comparison of our school’s existing SBS curriculum with an ideal one. 

Firstly, we identified core SBS content by reviewing expert resources and reports from professional societies to create a comprehensive content list, which was subsequently winnowed to establish core SBS content based on the need-to-know principle. 

Secondly, we conducted a national survey of medical school faculty to validate and refine the truncated core content list (Fig. 1). 

실제 교육과정을 이상적인 교육과정과 비교함으로써 부족한 것이 무엇인지를 알 수 있었고, 이것이 교육과정 개혁의 지렛대 역할을 할 수 있었다.

Our school’s ‘actual’ SBS curriculum was determined using electronic keyword searches and faculty interviews. The comparison of actual with ideal helped to identify core SBS teaching priorities, effectively direct limited resources and leverage curricular change. In collaboration with the clinical clerkships, SBS content was translated into clinical competencies complementary to existing third-year materials.

이상적인 교육과정 만들기

Creating the ideal curriculum

우리는 이상적인 학부 SBS교육과정을 정의하는 것에 있어서 몇 가지 핵심 요소를 포함시키고자 했다.

We define the ideal undergraduate medical education SBS curriculum as including several key features, including: 

• comprehensive coverage of core content; 
• a strong evidence base; 
• potential for integration with other scientific disciplines; 
• clinical relevance, and 
• sensitivity to curricular structure limitations (e.g. available curricular hours, competing accreditation requirements,19 course organisation). 

포괄적이고 걸러지지 않은(unfiltered) 목록을 만들었다. (1)교과서 중심 (2)미 전문직 조직들로부터 목록 수합

We created a comprehensive, unfiltered list of SBS topics using a variety of resources. 

• We began by reviewing six leading SBS textbooks for medical students and residents.20–25 The first author (JMS) developed matrices of content areas that included all topics covered in the six textbooks, ratings on a scale of 1–5 for the depth of coverage of each topic in each textbook (i.e. no, minimal, fair, good or comprehensive coverage), and notations on special strategies for presenting and reinforcing the materials. Topics receiving at least fair coverage in one textbook were added to an initial SBS topic list. 
• Next, we collected content lists and reports from US professional organisations (e.g. the Association of Behavioral Science and Medical Education,26 the American Psychosomatic Society,27 the American Medical Student Association,28 the American Board of Internal Medicine,29 the Institute of Medicine,13 the Association of American Medical Colleges30 and the Society of Teachers of Family Medicine31). Substantial redundancies in the list were removed and similar items combined.

설문 결과

Survey results

Frequency counts and mean ratings were calculated across all participants for each content area and for each item. Items were rated on a 5-point scale, on which 

• 1 = ‘We do not need to ensure that students are offered exposure to this topic during medical school’, 
• 3 = ‘Worth some effort to see that students are offered exposure to this topic, but not a top priority’ and 
• 5 = ‘It is essential that every effort is made to cover this topic’. 

Overall content area means were as follows: 

• mind–body interactions, 3.92 (standard deviation [SD] = 0.37); 
• patient behaviour, 4.13 (SD = 0.50); 
• the doctor’s role and behaviour, 4.10 (SD = 0.36); 
• doctor–patient interactions, 4.36 (SD = 0.21); 
• socio-cultural issues, 4.22 (SD = 0.35), and 
• health policy, 3.98 (SD = 0.32). Item means ranged from 3.07 to 4.77. 

Tables 1 and 2 list the highest- and lowest-rated items based on mean item ratings.

실제 SBS교육과정에 적용시키기

Application of the ideal to the actual SBS curriculum

"이상적인" SBS교육과정을 만들었더라도, 지금 진행중인 실제 SBS교육과정을 분석하기 전까지는 교육과정을 바꿀 수 없었다. 또한 교육과정 구조, 교수법, 문화 등에 대한 면밀한 조사가 필요했다.

Although the robust, convergent validity of our newly created ‘ideal’ SBS curriculum was persuasive in its own right, curricular revisions could not be recommended until we had examined our school’s actual SBS curriculum. Moreover, many complex issues such as curricular structure, pedagogy and the local teaching culture required careful attention before any dissemination or implementation efforts could be made.

우리 학교의 SBS 교육과정을 리뷰하였다.

We reviewed our school’s medical student curriculum SBS content to...

• maximise the coordination and 
• use of pre-existing materials and to 
• identify unmet curricular needs by comparing the actual with the ideal SBS curriculum. 

방법

1. 키워드 검색
   Using an electronic keyword search (n = 370 keywords across six IOM domains13 derived from our core content list and synonymous MeSH terms), we identified, downloaded and reviewed all teaching materials in our school’s electronic curriculum database (‘Ilios’), including teaching cases, special projects and assignments, and learning objectives. (Ilios is a UCSF-developed database program used to store, coordinate and revise content for all undergraduate medical education teaching sessions. ‘Published’ (i.e. completed) teaching materials are fully searchable and openly accessible via the Internet.) We found a total of 1444 hits and handreviewed all associated teaching materials. 
2. 반구조화 면접
   Our team also conducted semi-structured interviews with all clerkship directors to elicit and catalogue formal and informal SBS teaching in core clerkships. 
3. Medical education curricular maps
   We subsequently created six undergraduate medical education curricular maps with visual timelines corresponding to the six IOM domains. Comprehensive appendices for each map detailed case content, learning objectives and other curricular elements. This detailed, actual SBS curriculum was then compared with the ideal SBS curriculum to set development goals and priorities for medical school Years 1–3.

예상했던 바와 같이 가장 요구가 크고, 기회가 많은 학년은 3학년의 임상실습이었다. 

As anticipated, the area of greatest need and opportunity was the third-year clinical clerkships. 

Although students acquired a solid SBS knowledge base in Years 1 and 2, the concepts were often difficult to translate to clinical practice, inconsistently reinforced, and sometimes actively devalued by supervising residents and faculty members. 

"이상적인 SBS교육과정"의 내용이 각 IOM 영역에 translate 되었고, 이상적인 역량을 실제 임상실습 역량과 비교하고, 요구도가 높은 SBS역량으로 목록을 좁혀 나갔음.

As a first translational step, we applied the ACGME clinical competencies framework to our ideal SBS curriculum and translated the ideal SBS concepts into skill-based competencies for each IOM domain. 13 We then compared this list of ideal SBS competencies with actual clerkship competencies and data from the semi-structured clerkship director interviews. Lists of high-need SBS competencies were narrowed to a locally relevant list of nine competencies to guide future clerkship revisions.

토론

DISCUSSION

We developed a multi-modal process to find the closest, objective approximation to an ideal SBS curriculum for medical students. In an overfull curriculum with competing disciplinary champions, this transparent and carefully derived content list was more persuasive than personal opinions or student preference. This ideal SBS content was then adapted to carefully assessed local curricular needs, teaching priorities and available resources using an ‘ideal versus actual’ mapping approach to leverage change. Social and behavioural sciences content was translated into clinical competencies to make its clinical relevance more obvious to non-SBS faculty members and students. Although specific SBS curricular needs are likely to vary across schools, the derived ideal SBS curriculum can be used as a starting point for curricular comparisons and need assessments at other institutions. Given the breadth of SBS content and its potential inclusion in many different courses and clinical teaching cases, a careful mapping and oversight process is probably even more essential for SBS than for other more circumscribed content areas. The translation of core content into clinical competencies may hold important benefits for other content areas, including the basic sciences.

응답자들이 자신이 준 점수에 대한 설명을 하지 않았으므로 왜 덜 중요하다고 했는지 이유는 알 수 없다.

Because survey respondents did not explain or justify their ratings, we cannot determine why certain items were viewed as less important. 

한 설문에서 1/3의 응답자들은 정신사회적 요인을 아는 것이 별로 도움이 안된다고 했다.

In two surveys of doctor, resident and student attitudes toward psychosocial factors in medicine, Astin et al.32,33 found about one-third of respondents believed that addressing psychosocial factors yielded minimal or no improvement in patient care. Most participants believed their past psychosocial training was ineffective and few desired additional training. 

이상적인 SBS교육과정에서 그 중요성을 높게 평가받은 항목들이 있더라도 정신사회적 내용에 대한 훈련 필요성을 낮게 보는 분위기는 이런 높은 우선순위 항목에조차 영향을 줄 수 있다.

Reasons cited for the view that psychosocial factors are less important included low self-efficacy, limited knowledge base, insufficient time and low reimbursement. 32,33 Although the perceived value of highly rated items in an ideal SBS curriculum may improve learner acceptance and motivation, prevailing attitudes regarding the value of psychosocial training and the importance of psychosocial factors in clinical care could undermine even the highest priority content.

Creating an ideal social and behavioural sciences curriculum for medical students.

New perspectives—approaches to medical education at four new UK medical schools

Amanda Howe, Peter Campion, Judy Searle, Helen Smith

영국 의과대학 학생 수가 증가하면서, 네 개의 의과대학이 신설되었다. 저자들은 이들 학교가 의학교육에 대한 접근방식이 어떤 면에서 공통적인가를 보고자 했다.

With the expansion in UK medical student numbers, four new medical schools have been established. The authors, all senior faculty members at these new schools at the time of writing, discuss how much the schools have in common in their approaches to medical education

더 많은 의사 양성을 위해서 영국정부는 1998년과 2005년 사이에 의과대학학생 수를 57%늘렸다 (3749명에서 5892명). 이를 위해서 기존 학교들의 정원이 늘어나기도 했고, 이학대학 졸업자들을 대상으로 한 더 짧은 의과대학 프로그램을 만들기도 했고, 동일한 프로그램을 다른 학교에 '쌍둥이'프로그램으로 마들기도 했고, 네 개의 새 의과대학을 만들기도 했다. 이 중 네 개의 새로운 의과대학이 어떤 면에서 공통적인 vision을 가지고 있는지 그 rationale을 보고자 한다.

To create more UK doctors, the government has funded an increase in medical student numbers of 57% (from 3749 to 5894)1 between 1998 and 2005. This has been done by increasing student places at existing medical schools; creating shortened programmes open to science graduates; “twinning” arrangements, which host an existing curriculum at a new site; and four entirely new schools (table 1). Through reflection on our experiences and the literature evidence, we examine to what extent these new schools have a common vision and approach to undergraduate medical education, and we discuss the rationale for and likely outcomes of these new ventures.

핵심 요소

Key perspectives

한 의과대학이 가진 이념은 교육과정에서 잘 드러난다. 영국의 의과대학에 대한 인증/등록 기관인 GMC는 지난 십년간 의학교육의 혁신을 요구해왔고, 다음의 것들을 요구했다.

A key aspect of a medical school’s ideology is its approach to the curriculum. The UK accrediting and registering body for medicine, the General Medical Council, has for the past decade called for reforms in medical education2 and recommended courses that

integrate teaching of basic sciences (anatomy, biochemistry) with clinical and social sciences, 

make use of community as well as hospital healthcare settings, 

increase overall patient contact, and 

provide greater student choice. 

이에 맞춰서 새로운 교육과정은 다음의 특징을 가진다.

New courses are likely to...

encourage learning methods that directly link new knowledge to patient care,3 

modernise approaches to basic science (in particular anatomy4), 

increase emphasis on appropriate consultation skills5 and attitudinal learning, 6 and 

promote a more humane and supportive learning environment.7

또한 이들 학교는 학생 선발과 평가에도 혁신적인 접근법을 도입할 기회가 있었다.

New schools also have the opportunity to take innovative approaches to selecting candidates for medical education and to the assessments that underpin the direction of student learning. How do the four new medical schools deal with these issues?

학생 선발과 입학정책

Student selection and admissions policies

새로운 의과대학은 "접근성의 확대" 논쟁에 영향을 받았고, 학업성적보다 우선하여 필요한 것이 무엇인지를 재고려하여 나이나 사회인구적 특성에 무관하게 좋은 학생들을 모집하였다.흥미롭게도 첫 입학생 중 고등학교를 졸업하고 바로 입학하지 않은 비율이 20%~60%에 달했다.

The new medical schools are funded for UK and European Union applicants, and their approaches have been influenced by the “widening access” debate.8 9 They have reconsidered what constitutes necessary prior academic attainment, and they attempt to attract good candidates regardless of age and sociodemographic and school background. Interestingly, although all the new schools offer a full five year undergraduate entry course with no reduction for those who already hold a first degree, between 20% and 60% of their first cohorts have not come directly from secondary school.

네 학교 모두 선발과정에서 학업적 기준은 그저 한 단계일 뿐이며, 표준화된 면접이 기준(norm)이고, 선발의 일부는 비학업적 준거에 따라서 이루어진다. 또한 기존의 선발과는 다른 배경을 가진 지원자를 장려한다. 고등학교 졸업 직후에 지원하지 않은 지원자의 학업적 능력은 GAMSAT과 같은 screening tool처럼 다른 도구를 활용해서 판별한다.

All the schools claim to use selection procedures for applicants in which academic criteria are only one hurdle in the process, standardised interviews are the norm, and part of the selection rests on non-academic criteria. All have local access links and programmes to encourage applicants from non-traditional backgrounds (for example, 15% of the intake at the University of East Anglia are from access schemes whereby students from non-traditional backgrounds can do a foundation year of science preparation). The academic performance of applicants who are not coming directly from school is assessed in a variety of ways, with the Peninsula Medical School trialling the GAMSAT (graduate Australian medical schools admissions test)10 as a screening tool. Table 2 gives further details of the selection procedures.

교육과정 설계

Curriculum design

통합

Integration

네 개 학교는 모두 전 과정에 걸쳐서 '환자'에 초점을 둔다. 임상-비임상의 기존 구분을 두지 않고, 기초-임상의 구분도 두지 않는다. 교육과정 구조는 '달성해야 할 성과'를 중심으로 디자인되고, 체계적으로 임상과 각종 술기를 반복하여 익힌다. "내 옆에 붙어있어요" 식의 도제식 교육을 지양하여 학생의 학습경험의 편차가 커지는 것을 방지한다.

All the new schools integrate student learning by focusing on patients throughout the course. Their curriculums show no traditional divide between clinical and non-clinical phases, nor between basic and applied science. They structure learning around desired outcomes11 and systematically rehearse clinical and technical skills through simulated and supervised “near life” situations. They aim to reduce apprenticeship “tag along with me” learning, which risks wide variation in student opportunities.

선택 과정

Student selected modules

특정한 주제에 대해 더 익히거나 연구하고 싶은 학생을 위하여 네 개 학교 모두 GMC가 student selected module이라고 칭하는 과정을 도입했다. 이 과정은 전체의 30%정도를 차지하며, 법/보건경제 등의 전문분야 뿐만 아니라 사회과학과 인문학도 포함하고 있다. 이 과정에서 학생들은 졸업후교육에서 사용되는 학습법/평가법을 따르게 된다(peer presentation 등). 

For students to acquire critical appraisal and research skills, the four schools have adopted repeated use throughout the course of what the GMC called student selected modules. These occupy about 30% of course time and draw on the social sciences and humanities as well as professional fields such as law and health economics. In these modules, students encounter methods and assessment modalities similar to those used in postgraduate education—such as peer presentations. All courses include a summatively assessed research project for senior students.

합목적성

Fitness for purpose

유구한 역사에서 오는 제한이 없었기 때문에, 이들 학교는 새로 의사들을 교육하는 것에 있어서 '환자를 포함한 다학제간 팀으로서 일하는 것'이라는 것을 목적으로 삼을 수 있었다. 

Without historical constraints, the schools have designed their curriculums with the aim of creating junior doctors fit for the purpose of working as part of multidisciplinary teams that include the patients. 

Early patient contact, 

systematic consultation skills linked to clinical practice, and 

group learning settings are used to emphasise the responsibilities of the students towards others. 

학생이 발전하는 과정은 지적인 측면 뿐만 아니라 태도적인 측면도 평가하였고, 이것이 평가를 단순히 후향적 판단이 아니라 건설적으로 목적을 달성하게 하고, 학생의 약점을 조기에 발견하여 개입할 수 있게 하였다.

Student progress is assessed on attitudinal as well as intellectual progress, thus ensuring that fitness to practise is a formative curricular goal, rather than a retrospective judgment, and enabling early diagnosis and intervention in areas of weakness (see table 4).

학습법과 평가법

Learning methods and assessment

자연과학에 대한 새로운 접근법

New approaches to life sciences

기초 자연과학은 그 양과 접근법 모두에 있어서 근본적인 변화가 있었다. 해부와 실험실 실습이 "prosection"으로 바뀌었고, 정교한 모델과 컴퓨터 이미지를 활용하였다. 네 학교는 여기서 가장 서로 달랐는데, 해부학 교육에 있어서 각각의 철학을 반영하였다. 

The basic life sciences are radically altered both in amount and approach, with dissection and laboratory work being replaced in three of the four schools by prosection (pre-dissected material displayed for students to study, examine, and touch) and use of sophisticated models and computerised imaging. The schools are most diverse in this regard, expressing their individuality and preferred philosophies through such issues as anatomy teaching, with Peninsula Medical School not using cadavers at all whereas Brighton and Sussex Medical School includes dissection throughout the course.

더 나은 의사소통과 통합을 위한 정보기술의 활용

Information technology for better communication and integration

네 학교 모두 전자교육과정프로그램 (Blackboard 또는 Studentcentral이라고 불리는)을 사용하였다. 빠른 접근이 가능하고, 평가에 걸리는 시간이 짧고, 의사소통이 빨라지고, 모든 교사,평가자,학생이 어느 곳에서나 접근가능해졌다. 이것은 또한 자기주도적 학습, E-learning의 중추이기도 하다.

All four schools use electronic curriculum programmes (“Blackboard” or “studentcentral”) to underpin and coordinate their courses. These allow rapid access to information and quick turnaround of evaluation and messaging, and allow all tutors, assessors, and students at any site to look at the curricular context of their own particular contribution. These managed learning environments form a strong backbone to self directed and e-learning

임상 강조

Clinical emphasis

네 개 학교 모두 환자와의 조기 접촉을 도입하였다. 전체 시간은 다른 의과대학과 큰 차이가 없을지 몰라도 구조화 된 것이 달랐고, 그 기본 원칙은 전공과에 기초하는 것이 아니라, 환자의 관점에 기초하여 학습하는 것이다.

All the schools have adopted early contact with patients, supported by large numbers of clinical (NHS) staff as tutors in both campus based teaching and clinical placements. Although the overall time commitment to clinical placements is probably no greater than in other medical schools, they seem to be organised differently. The principle is to base learning on the patient perspective, rather than by specialty.

평가

Assessment

형성평가가 일반적으로 사용되며, 총괄평가는 '다음 단계로 넘어갈 수 있는가'를 보기 위한 목적으로 사용되는 정도이다. 

Under the close scrutiny of panels of visitors from the GMC’s Education Committee, each school has developed rigorous procedures to assess students’ knowledge, skills, attitudes, and fitness to practise. Formative assessment is generally used to enable students to appreciate their progress, while summative tests ensure that only those who are performing adequately can progress to the next stage of the course or to their preregistration year. Peninsula Medical School has adopted a progress test (run four times a year) for its major summative assessment of applied medical knowledge.14 

OSCE는 다음의 것을 평가하기 위하여 사용된다.

The objective structured clinical (and practical) examination (OSCE or OSCPE) is commonly used to assess...

clinical skills; 

projects and presentations are used to assess other academic ability; 

포트폴리오는 태도와 행동을 보여준다.

and portfolios of evidence from students and tutors reveal attitudes and behaviour. 

Peer and tutor feedback and reflection on experiential learning help students to compile a summatively assessed “portfolio report.” The time needed to perform and validate such detailed, multi-faceted assessments may prove challenging as student numbers increase over the first five years, and more so if further expansion occurs.

더 넓은 맥락에서..

The wider academic context

대부분의 대학에서 교육과 연구 사이에는 상당한 긴장감(tension)이 존재한다. 그리고 신생 학교도 예외는 아니다. 

There is considerable tension between teaching and research roles in most universities,15 and this is particularly acute for the new schools—where staff numbers are still building up, there are major educational and organisational challenges in setting up the new courses, and the research units have no institutional track record. 

Peninsula Medical School has developed research institutions rather than traditional clinical academic departments as the main “home” for its staff, sending a strong message about the value of education in a research-rich environment. 

Hull York Medical School is placing staff active in research in existing departments of the universities of Hull and York, so providing the infrastructure for research and critical mass for research groups. Time and the research assessment exercise, which compares research performance across UK universities, will tell how successful these arrangements are.

이들 신생 대학에 대해서는 연구가 충분히 되어 있지 않다. 여러 변화에 대한 근거가 아직 부족하다. 

The innovations in the new schools may themselves be under-researched.16 Evidence is lacking for many of the changes made: for example, the outcomes of new admissions policies cannot be evaluated until the changes have been made. No substantive funding has been offered for research into the comparative outcomes of the new courses across Britain as a whole. A longitudinal cohort study to compare outcomes would be of great value, and, given the taxpayers’ investment in the expansion of medical school places, this does not seem an unreasonable proposal. A comparative survey is currently in progress for the Department of Health, which includes representation from the new schools, and this may reveal further research needs.

결론