한국의사면허시험에서 합격점수 결정 (J Educ Eval Health Prof 2007)

한국의사면허시험에서 합격점수 결정 (J Educ Eval Health Prof 2007)

Reconsidering the Cut Score of Korean National Medical Licensing Examination

Duck Sun Ahn*, Sowon Ahn

Department of Medical Education, College of Medicine, Korea University, Seoul, Korea

도입

INTRODUCTION

국가 보건 인력인가 심사위원회 (NHPLEB)는 현재 라이센스 요구 사항으로 60-40 %의 컷오프 점수 (전체 검사의 60 %의 정확한 응답과 각 과목의 40 %의 정확한 응답을 의미 함)를 사용합니다. 이 컷오프 점수는 한국의 다양한 국가 시험에 적용되어 합리적이라고 간주됩니다. 그러나 psychometrics의 관점에서 볼 때, 특히 최소의 역량을 획득하지 못한 사람들을 구별하지 못하도록하는 면허 시험의 경우, 절취 점수를 설정하는 유효한 방법이 아닙니다.

The National Health Personnel Licensing Examination Board (NHPLEB) currently uses a cut score of 60-40% (which means 60% correct responses of overall tests and 40% correct responses of each subject) as a license requirement. These cut scores have been applied to various national examinations in Korea and are regarded as reasonable. From the perspective of psychometrics, however, it is not a valid way to set a cut score, especially for a licensing examination that is intended to discern those who acquire minimum competence from those who do not.

합격선 결정에 관한 이론

THEORIES OF SETTING CUT SCORES

절단 점수는 응시자가 건강 전문 직업을 수행하기 위해 습득해야하는 지식이나 기술의 최소 수준을 나타냅니다. 커트 점수는 후보자의 역량에 대한 직업적으로 표현 된 가치이며 관련 철학과 일치 된 의견을 반영합니다. 즉, 자르기 점수 설정은 수학적 기법이 아니라 복잡한 정책 결정 과정으로 이해해야합니다.

A cut score indicates the minimum level of knowledge or skill that a candidate must have acquired to perform health professions. Cut scores are professionally expressed value on candidates’ competency, which reflects educational philosophy and consensus among those related. This means that setting cut scores should be understood not as a mathematical technique but as a complex policy-making process.

1) 표준의 유형 결정 (절대 표준과 상대 표준), 

2) 표준 설정 방법 결정, 

3) 심사 위원 선정, 

4) 표준 설정 회의 개최, 

5) 표준 계산, 

6) 결과 확인 [1].

Setting cut scores usually progresses as follows: 

1) Deciding on the type of standard (absolute vs. relative standards), 

2) Deciding on the method for setting standards, 

3) Selecting the judges, 

4) Holding the standard setting meeting, 

5) Calculating the standard, 

6) Checking the results [1].

Angoff 방법은 1990 년대에 객관식 테스트에 사용 된 가장 보편적 인 방법이었다 [3]. 그러나 이 방법은 근본적인 단점이 있습니다. 즉, minimally acceptable person이 각 항목에 올바르게 응답 할 확률을 추정하는 것은 실제로 불가능합니다. 이 단점을 수용하기 위해 몇 가지 수정 사항이 제안되었습니다.

Angoff method had been the most popular method usedfor multiple-choice tests by the 1990s [3]. However, this method has a fundamental drawback, which is that it is practically impossible to estimate the probability that a minimally acceptable person would answer each item correctly. To accommodate this drawback, several modifications were suggested

현재의 합격선에 관한 이슈

ISSUES WITH CURRENT CUT SCORES

현재의 60-40 % 체제는 교육과 철학적 근거가없는 일제 식민 통치 하에서 임의로 설정되었습니다. 또한, 시험 어려움에 따라 유능하지 못한 사람들의 유능하고 운 좋은 패스의 불행한 실패와 같은 심각한 오 분류를 초래할 수 있습니다.

The current 60-40% system was arbitrarily set under Japanese colonial rule, with no educational and philosophical basis. In addition, it can result in gross misclassification, such as the unfortunate failure of the competent and the fortunate pass of the non-competent depending on test difficulty.

표 1은이 현상을 명확하게 보여줍니다. 표 1에서 합격률은 약 95 %이다. 그러나 2001 년과 2003 년의 합격률은 약 85 %로 다른 해보다 낮습니다.

Table 1 clearly demonstrates this phenomenon. In Table 1, the pass rate is approximately 95%. However, the pass rates of 2001 and 2003 drop to approximately 85%, lower than other years.

원칙적으로, 면허 시험과 같은 기준 참조 시험의 어려움은 최적의 합격률을 고려하여 시험 전에 조정되지 않는데 있다. 한국에서는 시험 항목의 유출에 대한 우려로 인해 사전에 난이도를 조정할 수 없습니다. 대신, 시험관은 건강 전문직을 수행하는 데 필요한 기본 지식과 기술을 요구하는 좋은 질문을해야합니다. 현재 60-40 % 기준에는이 최소 수준의 역량이 반영되어 있지 않으므로 변경해야합니다.

In principle, the difficulty of criterion-referenced test such as licensing examination is not adjusted before examination in consideration of optimal passing rate. In Korea, it is not practically possible to adjust the degree of difficulty in advance due to the drainage of test items. Instead, examiners are expected to make good questions asking basic knowledge and skill that are required to perform health professions. Since the current 60-40% criterion does not reflect this minimum level of competence, it should be changed.

요구분석 결과

RESULTS OF NEED ASSESSMENT

설문 조사는 정신 분석 계원, 의학 교육자 및 심사관으로부터 의견을 수집하기 위해 수행되었습니다. 우리는 현재의 커팅 점수가 유효한지, 왜 개선 이유가 무엇인지, 그리고 개선 이유에 대해 질문했습니다. 결과는 표 2에 나와있다.

Surveys were conducted to gather input from psychometricians, medical educators, and examiners. We asked whether and why they thought the current cut score was valid and their suggestions for improvement. The results are in Table 2.

다음은 개선을위한 제안 사항입니다. 

• 첫째, 대부분의 응답자는 절대적인 평가가 유지되어야한다고 생각했습니다. 이렇게하려면 변형 된 점수가 실행 가능한 대안이 될 수 있습니다. 
• 둘째, 시험 목적을 개발해야한다. 
• 셋째, 항목 개발을위한 교수 훈련에 대한 투자가 필요합니다. 
• 넷째, 어려움의 정도를 통제하기 위해 시험 항목을 분석하기위한 과학적이고 체계적인 방법론이 필요하다. 
• 다섯째, 항목 은행은 보다 현실적인 항목을 보유해야합니다. 
• 여섯째, 절단 점수를 설정할 때 융통성이 있어야합니다. 예를 들어, Angoff 방법은 이러한 유연성을 제공합니다. 
• 마지막으로, 절취 점수는 NHPLEB, 의료계 대표 등 이해 관계자 간의 합의하에 설정되어야합니다.

The followings are suggestions for improvement. 

• First, most of the respondents believed that absolute evaluation should be retained. To do so, transformed scores can be a viable alternative. 
• Second, examination objectives should be developed. 
• Third, investment in faculty training for the item development is required. 
• Fourth, scientific and systematic methodology is needed to analyze test items, to control the degree of difficulty. 
• Fifth, item bank should hold more realistic items. 
• Sixth, there should be flexibility in setting the cut score. For example, the Angoff method provides such flexibility. 
• Finally, the cut score should be set under the agreement among stakeholders such as NHPLEB, medical representatives, and so on.

선진국의 합격선 결정 방법

STANDARD SETTING METHODS OF THE DEVELOPED COUNTRIES

우리는 여러 선진국의 표준 설정 방법을 분석했습니다. 결과는 표 3에 요약되어있다.

We analyzed the standard setting methods of several developed countries. The results are summarized in Table 3.

그들은 절대 표준에 충실하며 합리적이고 합리적인 표준 설정 과정을 유지하는데 많은 노력을 기울입니다. 이러한 결과는 한국이 정신 분석의 과학적 방법에 기반한 표준 설정 방법을 채택해야 함을 시사한다.

they stick to absolute standards, and put much effort into keeping the process of standard setting rational and reasonable. These results suggest Korea should adopt the standard setting method based on scientific methods of psychometrics.

제언

SUGGESTIONS FOR STANDARD SETTING

북마크 [4]와 수정 된 앤 구프 (Angoff) 방법이 한국의 현 상황을 고려한 적절한 합의에 도달했습니다.

We reached the agreement that Bookmark [4] and modified Angoff methods are appropriate considering the current situation in Korea.

북마크 방법

The bookmark method

2002 년 북마크 표준 설정을 적용하여 초등 3 학년 학생들과 비교하여 기본 역량을 갖춘 사람들을 파악했습니다. 한국에서 북마크 방식의 첫 번째 응용 프로그램이었습니다. 이 방법은 표준 설정 패널을 테스트의 특성에 익숙하게하고 패널에 표준 어플리케이션의 결과를 제공합니다. 이 패널은 주제 전문가들로 구성됩니다. Bookmark 방법은 다음과 같이 진행된다 [5].

In 2002, the Bookmark standard setting was applied to discern those who achieved basic competency from those who did not among 3rd year elementary school students. It was the first application of the Bookmark method in Korea. The methodallows a standard setting panel to be accustomed to the char-acteristics of the test and provides the panel with the resultsof standard application. The panel consists of subject experts. The Bookmark method proceeds as follows [5].

a) 패널은 가장 쉬운 것부터 가장 어려운 것 순으로 난이도가 높은 항목을 나열한 주문 된 아이템 소책자 (OIB)를 받았다. OIB를 만들기 위해 항목 응답 이론 (IRT)이 적용되었고, 2/3의 정답 확률이 수험자의 능력을 나타내는 척도로 사용되었습니다.

a) The panel received an ordered item booklet (OIB), which lists items in order of difficulty, from the easiest to the hardest. To make the OIB, item response theory (IRT) was applied and 2/3 probability of correct response was used as a scale score to represent examinee ability.

b) 패널은 소그룹, 일반적으로 6 명에서 8 명으로 구성된 그룹으로 나뉘었다. 소그룹에서는 OIB의 각 항목을 검토하고 항목에 올바르게 대답하는 데 필요한 지식과 기술을 논의했습니다.

b) The panel was divided into small groups-typically groups of six to eight people. In small groups, the panel examined each item in the OIB and discussed knowledge and skills required to answer the item correctly.

c) 그룹 토의 후에, 각 패널리스트는 기초 실력 수준의 학생들이 알아야하고 할 수 있어야하는 것에 대한 자신의 판단에 따라 OIB에 북마크를 배치하여 점수를 결정합니다. 표시된 항목의 눈금 점수가 첫 번째 구분이었습니다.

c) After the group discussion, each panelist determined a cut score by placing a bookmark in the OIB based on his or her own judgment of what students with basic performance level should know and be able to do. The scale score of the marked item was the first demarcation.

d) 패널은 소그룹 토론을 통해 자신의 견해 차이를 타협했다. 패널리스트는 OIB에서 두 번째 경계였던 선택을 표시했습니다.

d) The panel engaged in the small group discussion again to compromise differences in their opinions. The panelists then marked their choice on the OIB, which was the second demarcation.

e) 한 명의 특정 개인이 작은 그룹으로 토론을 지배하지 못하도록 두 개의 소그룹을 중간 규모 그룹으로 합쳤다. 그룹 토론이 끝난 후, 패널은 자신의 선택을 변경할 수있는 또 다른 기회를 얻었고 책갈피를 OIB에 배치했습니다.

e) Two small groups were combined into a mid-sized group to prevent one specific individual from dominating the discussion in small groups. After the group discussion, the panel was given another opportunity to change their choice and placed the bookmark on the OIB.

f) 마지막으로 모든 패널 토론자가 한 곳에서 모여 북마크 선택에 대해 논의했습니다. 토론이 끝난 후, 그들은 최종 선택 기회를 부여 받았다. 그런 다음 최종 북마크를 OIB에 배치했습니다.

f) Finally, all panelists gathered in one place and discussed their choice of bookmarks. After the discussion, they were given a final opportunity to change their choice. They then placed the final bookmark on the OIB.

g) 최종 라운드의 모든 북마크 배치를 수집하고 중앙값을 계산하여 패널의 권장 절단 점수를 설정합니다.

g) All the bookmark placements in the final round were gathered and the median was calculated to set the panel’s recommended cut score.

h) 컷트 점수에 기초하여, 패널은 북마크 앞의 항목을 검사하고 기본 성능 수준의 학생들이 보여줄 수 있어야하는 지식, 기술 및 능력에 대한 요약을 나타내는 성능 수준 설명자를 작성했습니다.

h) Based on the cut score, the panel examined the items before the bookmark and wrote performance-level descriptors that represent a summary of the knowledge, skills, and abilities that students with the basic performance level must be able to demonstrate.

북마크 방법은 패널이 항목 난이도를 정확하게 예측할 수 없다는 Angoff의 방법의 단점을 보완합니다. 또한 psychometric 지식이 거의없는 사람들은 북마크 방법이 성능 수준의 설명을 제공하기 때문에 자르기 점수의 의미와 의미를 이해할 수 있습니다.

The bookmark method compensates for the drawback of the Angoff’s method, which is that the panel cannot correctly estimate item difficulty. In addition, people with little psychometric knowledge can understand the meaning and implication of the cut score because the bookmark method provides performance-level descriptors.

변형된 Angoff

Modified angoff

Angoff의 원래 방법에서는 운영 절단 점수 조사를 실행하는 방법에 대한 세부 정보가 없었습니다. 원래의 방법에서 특이성이 없기 때문에 많은 수정이 제안되었습니다. 다음은 수정 된 Angoff 메소드의 일반적인 프로세스입니다.

In the original Angoff method, there was no details of how to run an operational cut score study. Due to the lack of specificity in the original method, many modifications were suggested. The following is a general process of modified Angoff methods.

a) 패널 선택 : 일반적으로 패널은 주제 전문가, 교사, 관련 관리자 등으로 구성됩니다. 의학 면허 시험의 경우, 패널에는 기초 과학 및 클리닉의 의사 및 교수, 의료 관리자 등이 포함될 수 있습니다. 패널은 컨텐츠 전문가 여야하며 수험생의 특성을 잘 알고 있어야합니다. 적절한 패널 수에 대한 의견이 많지만 적어도 10 명 이상의 패널리스트가 필요하고 15 ~ 20 명의 패널리스트가 이상적이다 [6-9].

a) The choice of a panel: Generally, the panel consists of subject experts, teachers, related administrators, and so on. In case of medical licensing examination, the panel may include doctors and professors of basic science and clinic, medical administrators, and so on. The panel should be content experts and know well the characteristics of examinees. There are diverse opinions on the appropriate number of the panel, but at least 10 panelists are required, while 15~20 panelists are ideal [6-9].

b) Achievement Level Description (ALD) : 성취 수준 개념화는 정책 정의에서부터 시작됩니다. 교육 인적 자원부 또는 보건 복지부와 같은 정부 기관은 성취 수준에 대한 정책 정의를 제공합니다. 이 정책 정의에 기초하여 패널은 각 단계의 성과에 대해 토론하고 설명합니다. 이 설명은 각 레벨의 학생들이 지식, 기술 및 행동 측면에서 알아야 할 일과해야할 일을 지정하고 운영상의 정의를 제공합니다. 모범 사례도 제공 될 수 있습니다. 진행자는 시간을 절약하기 위해 예비 ALD를 패널에 제공하여 패널이 경계선 그룹의 특성에 대한 합의를 통해 표준을 설정하기 시작할 수 있습니다.

b) Achievement Level Description (ALD): Conceptualizing achievement level starts from policy definition. Government agency such as the Ministry of Education & Human Resources Development or the Ministry of Health & Welfare provides a policy definition of achievement levels. Based on this policy definition, the panel discusses and describes performance of each level. This description specifies what students at each level should know and be able to do in terms of knowledge, skills, and behaviors and provides an operational definition. Exemplary items can be provided as well. To save time, the facilitator may provide preliminary ALD with the panel, so that the panel starts to set the standard with some consensus on the characteristics of a borderline group.

c) 실습 : 패널은 모범적 인 항목으로 실습합니다. 유형이 다른 유형의 항목이 혼합 된 경우 각 유형의 항목으로 연습합니다. 특히 성과 항목에 대해서는 실제 성과 데이터를 제공하여 패널이 수험생의 수준을 파악할 수 있도록해야합니다.

c) Practice: The panel practices with exemplary items. In case different types of items are mixed, they practice with each type of item. Especially for performance item, actual performance data should be provided, so that the panel can get a sense of the level of examinees.

d) 첫 번째 추정 : 패널은 3 ~ 4 명으로 구성된 작은 그룹으로 나뉩니다. 패널은 시험에서 실제 항목을 해결합니다. 시험을 마친 후 올바른 답으로 답을 확인합니다. 그런 다음 각 항목에 대해 수위 그룹의 정답 확률을 계산합니다. 개별 평가 후 결과가 수집되고 절단 점수는 각 항목의 중앙값의 합계로 설정됩니다. 컷오프 점수가 게시되고 컷오프 점수 적용 결과가 제공되므로 패널은 현실적인 지 여부를 확인하고 필요한 경우 변경할 수 있습니다.

d) The first round of estimation: The panel is divided into small groups of three or four people. The panel solves actual items on the exam. After solving the exam, they check their answers with correct ones. Then, they estimate the probability of correct answers of a borderline group of examinees for each item. After individual estimation, the results are collected and the cut score is set at the sum of medians of each item. The cut score is posted and the result of cut score application is provided, so that the panel has opportunity to check whether it is realistic and change it if necessary.

e) 두 번째 추정 :이 패널은 중간 규모 그룹으로 나뉘어져있다. 첫 라운드에서 ADL과 그들의 경험을 바탕으로, 그들은 그들의 의견을 교환합니다. 그런 다음 각 항목의 경계선 그룹의 정답 확률을 계산합니다.

e) The second round of estimation: The panel is divided into mid-sized groups. Based on ADL and their experiences at the first round, they exchange their opinions. Then, they estimate the probability of correct answer of a borderline group of examinees for each item.

f) 세 번째 평가 : 모든 패널 토론자가 한 곳에서 모여 토론합니다. 초점은 큰 편차를 보이는 항목에 있습니다. 토론 후에 그들은 세 번째 추정을합니다. 결과는 수집되고 게시됩니다. 세 번째 라운드가 충분하면 세 번째 라운드에서 얻은 커트 포인트가 최종 커팅 점수가됩니다. 절단 된 점수는 척도로 변환됩니다.

f) The third round of estimation: All the panelists gather at one place and discuss. The focus is on the items showing large deviations. After the discussion, they make third estimations. The results are collected and posted. If the third round is enough, the cut point obtained at the third round becomes the final cut score. The cut score is transformed into a scale score.

g) 최소 역량에 대한 설명 : 필요한 경우, 패널은 항목 및 항목에 대한 학생들의 응답을 분석하여 각 레벨의 학생들이 할 수있는 것을 씁니다.

g) Description of minimum competency: If required, the panel writes what students at each level are able to do by analyzing items and students’ response to the items.

Bookmark vs. Modified Angoff Methods

The two methods are compared in terms of process, time and cost, and advantages and disadvantages. The results are shown in Table 4.

위 방법을 적용하는데의 현실적인 이슈

PRACTICAL ISSUES IN APPLYING THE METHODS

위원회의 필요성 : 표준을 수립하기위한 시험 위주의 접근법에서는 각 과목별로위원회가 있어야합니다. NMLE에는 3 개의 과목이 있으므로 3 개의위원회가 필요합니다. 각위원회마다 20 명의 위원이 구성되어 있다면, 60 명의 위원이 많은 비용을 부담하게됩니다. 예산 부족 및 그에 따른위원회 규모 부족으로 인해 표준을 설정하는 데 타당성이 없어 질 수 있습니다.

Need for committee: In a test-centered approach in setting the standards, there should be a committee for each subject. Since there are three subjects in NMLE, three committees are required. If twenty members are set for each committee, 60 members are in need, which would incur considerable costs. Insufficient budgeting, and consequent insufficient committee size, can lead to the loss of validity in setting the standard.

심리 측정 분석의 필요성 :이 논문에서 권고하는 두 가지 방법 모두는 심리 측정에 대한 과학적 분석을 기반으로합니다. 따라서이 방법을 적용하기 위해서는 고전적인 품목 분석과 IRT가 사전에 적용되어야한다. 예를 들어 북마크 메서드의 OIB에는 IRT를 기반으로 한 사전 분석이 필요합니다. OIB는 추가 시간과 비용이 들지만 패널의 부담을 줄여줍니다.

Need for psychometric analysis: Both methods recommended in the present paper are based on scientific analysis of psychometrics. Therefore, to apply the methods, classical item analysis and IRT should be applied in advance. For example, OIB in the Bookmark method requires pre-analysis based on IRT. The OIB costs extra time and cost, but it lessens the burden of the panel.

추가 비용의 필요성 : 과학적이며 유효한 방법을 적용하려면 추가 비용이 불가피합니다.

Need for extra cost: To apply a scientific and valid method, extra cost is inevitable.

의료법 개정 필요 없음 : 새로운 표준 설정 방법으로 의료법 개정안의 필요성에 관해 질문이 제기됩니다. 그러나 새로운 법으로도 현재 법을 유지할 수 있습니다. 그렇게하는 한 가지 방법은 척도를 척도로 변환하는 것입니다. 그림 1에서 원시 점수의 컷오프 점수는 250이며, 이는 60으로 변경됩니다. 법률 개정이 많은 논란없이 수행 될 수 있다면 현행법을 변경하는 것이 법적 문제를 처리하는 또 다른 방법입니다.

No need for amendment of medical law: A question arises as to the need for amendment of medical law with a new standard setting method. However, the current law can be maintained even with a new method. One way to do so is to transformraw scores to scale scores. In Fig. 1, the cut score of raw scores is 250, which is transformed to 60. If amendment of the law can be done without much argument, changing the current law is another way to deal with legal issues.

테스트 동등화 방법 : 일반적으로 매년 커팅 점수는 설정되지 않습니다. 대신, 통계 기술을 적용하여 다른 테스트를 비교할 수있게합니다. 이를 테스트 동등화 (test equating) [11, 12]라고합니다. 테스트가 동일한 경우 동일한 절단 점수를 연속적으로 사용할 수 있습니다. 그러나 한국에서는 시험 항목의 유출에 대한 우려로 인해 test equating method를 적용하는 것이 현실적으로 불가능합니다. 이 경우, 매년 커트라인이 설정되는 곳에서, 여러 해에 걸친 커트라인의 비교가 합리적 일 것입니다.

Test equating method: In general, the cut score is not set every year. Instead, a statistical technique is applied to make different tests comparable. This is called test equating [11, 12]. If tests are equated, the same cut score can be used continuously. However, it is not practically possible in Korea to apply test equating methods due to a drainage of test items. In this case, where the cut score is set every year, comparison of cut scores across different years would be reasonable.

결론

CONCLUSION

북마크 및 수정 된 Angoff 방법을 현재 시스템의 대안으로 사용할 수 있습니다. 이러한 새로운 방법을 적용하려면 몇 가지 문제를 미리 해결해야합니다. 

Bookmark and the modified Angoff methods as viable alternatives to the current system. To apply these new methods, several issues must be resolved beforehand. 

첫째, 면허 시험 자체의 철학적 의미를 재고해야한다. 현재의 고정 된 컷트 점수에서 라이센스 또는 인증 시험의 개념을 위반하는 합격률의 급격한 변화를 막기 위해 테스트 난이도를 미리 조정해야합니다.

First, the philosophical meaning of licensing examination itself should be reconsidered. Under the current fixed cut score, test difficulty should be adjusted in advance in order to prevent a radical change in pass rates, which violates the concept of licensing or certifying examinations.

둘째, 표준 설정에 대한 철학적 재검토가 필요합니다. 현재 60-40 %는 철학적 또는 교육적 근거없이 설정되었습니다. 따라서 우리는 면허 시험의 의미와 철학에 근거하여 절단 점수를 설정해야합니다.

Second, philosophical reconsideration of the standard setting is required. The current 60-40% was set without any philosophical or educational rationale. Therefore, we need to set the cut score based on the meaning and philosophy of license examination.

셋째, 시험 항목의 보안 및 저작권 문제를 해결해야한다. 현재, NHPLEB는 원칙적으로 시험 항목을 공개하지 않습니다. 그러나 수험생은 시험을 치른 후에 동료에게 아이템을 공개하므로 원래 테스트를 거의 복원 할 수 있습니다. 이것은 명백히 저작권 침해입니다. 그러나 한국에서는 이런 종류의 행위가 심각한 것으로 간주되지 않으며 관련된 행위는 도덕적 인 후회를 나타내지 않습니다. 가까운 장래에 이러한 표절의 관행이 통제되어야합니다.

Third, the issue of security and copyright of test items should be resolved. Currently, the NHPLEB as a rule does not release test items. However, examinees release the items to their peers after their examination, making it possible to almost restore the original test. This is obviously infringement of copyright. In Korea, however, this kind of act is not regarded as serious and those related show no moral remorse. This common practice of plagiarism should be controlled in the near future.

---

J Educ Eval Health Prof. 2007;4:1. doi: 10.3352/jeehp.2007.4.1. Epub 2007 Apr 28.

Reconsidering the cut score of Korean National Medical Licensing Examination.

Ahn DS1, Ahn S.

Author information

1

Department of Medical Education, College of Medicine, Korea University, Seoul, Korea. dsahn@korea.ac.kr

Abstract

After briefly reviewing theories of standard setting we analyzed the problems of the current cut scores. Then, we reported the results of need assessment on the standard setting among medical educators and psychometricians. Analyses of the standard setting methods of developed countries were reported as well. Based on these findings, we suggested the Bookmark and the modified Angoff methods as alternative methods for setting standard. Possible problems and challenges were discussed when these methods were applied to the National Medical Licensing Examination.

KEYWORDS:

Bookmark Method; Cut Score; Modified Angoff Method; Psychometrics; Standard Setting

PMID:

 

19224002

 

PMCID:

 

PMC2631201

 

DOI:

 

10.3352/jeehp.2007.4.1