연구 - 백인중산층을 넘어(BMJ, 2004)

Reaching beyond the white middle classes

Petra M Boynton, Gary W Wood, Trisha Greenhalgh

이해와 의미

Understanding and meaning

질문의 의미는 여러분과 여러분의 연구진에게 분명할 수 있지만, 그렇다고 해서 모든 응답자들이 그것을 비슷하게 해석한다는 것을 의미하지는 않는다. 모호한 질문은 참가자의 견해를 정확하게 파악하지 못하는 응답2 또는 응답하는 것을 방해하지 않는 응답으로 이어질 것이다.5

The meaning of a question may be obvious to you and your research staff, but this does not mean all participants will interpret it similarly. Ambiguous questions will lead to responses that do not accurately capture participants’ views2 or to them not bothering to respond.5

연구자와 참가자 사이의 사회적 거리가 클수록 오해의 위험이 커진다. 예를 들어, 감정적 웰빙을 측정하기 위한 설문지에는 "are you blue?"라는 질문이 포함될 수 있지만, 일부 참가자들은 이를 신체적 건강에 대한 질문(피부색이나 몸에 표시를 나타내는 파란색)으로 해석할 수 있다.

The greater the social distance between researcher and participant, the greater the risk of misunderstandings. For example, a questionnaire seeking to measure emotional wellbeing might include a question “Are you blue?” but some participants may interpret this as an inquiry about their physical health (with blue referring to skin colour or a mark on the body).

연구자들이 일상적으로 사용하는 단어들은 참가자들에게 익숙하지 않을 수도 있고 현실 세계에서 대체적인(그리고 심지어 반대되는) 의미를 가질 수도 있다. 대부분의 사람들은 동성애라는 단어를 이해하지만, 이성애자heterosexual이라는 단어는 그보다는 덜 널리 사용되고 있으며, 심지어는 동성애자의 동의어로 잘 못 해석될 수도 있다(어떤 사람들에게는 정상일 수도 있다). 간단한 설명자(동성애자 대신 남성과 성관계를 가지는 남성)는 당신의 도구에 대한 접근성을 확장시킬 것이다.

Phrases that researchers use routinely may not be familiar to participants or may have alternative (and even opposite) meanings in the real world. Most people understand the word homosexual, but heterosexual is less widely used and may be wrongly with interpreted as synonymous homosexual (the alternative of be which, for some people, would normal). A simple descriptor (such as men who have sex with men, instead of homosexual) will extend the accessibility of your instrument.

설문지 항목에는 종종 사람들이 어떻게 사는지에 대한 무의식적인 가정이 포함된다. 예를 들어, 노인들의 음주량을 조사한 소규모 조사는 응답자 중 5%가 하루에 음주 횟수를 기준으로 질문을 했을 때 과음한 것으로 분류했다. 그러나 (응답자들이 일반적으로 음료로 계산하지 않은) 차와 커피에 첨가된 알코올에 대한 질문이 포함되었을 때, 과도한 음주자의 유행이 두 배로 증가하여 10%가 되었다.6

Questionnaire items often include unconscious assumptions about how people live. A small survey of elderly people’s alcohol intake, for example, classified 5% of respondents as drinking excessively when questions were framed in terms of number of drinks per day. But when a question was included on tots of alcohol added to tea and coffee (which respondents generally did not count as a drink), the prevalence of excessive drinkers doubled to 10%.6

심지어 "텔레비전을 몇 일 보느냐?"와 같은 간단한 것조차도 여러 가지 방법으로 해석될 수 있다. (주중 며칠은 주말을 포함한다; "너"는 나와 나만을 의미하는가, 아니면 내 가족만을 의미하는가?; 텔레비전을 백그라운드에서 켜는 것인가?7)

Even something as simple as “how many days of the week do you watch television?” can be interpreted in several ways (does days of the week include weekends; does “you” mean just me, or me and my family; does having the television on in the background count?7).

복잡한 설문 번호 이동 지침(아니면 질문 3으로 이동, 예일 경우 질문 12로 이동)은 동기부여를 줄이고 무차별적인 상자 체크 표시를 유발할 수 있다. 참가자가 올바른 경로를 따르지 않을 경우 추가 통계 분석이 필요할 수 있다.

Complex routing instructions (if no, go to question 3; if yes, go to question 12) reduce motivation and may lead to indiscriminate box ticking. If participants do not follow the correct routing, additional statistical analysis may be required.

취약한 참가자

Disempowered participants

응답자는 [부끄러움이나 당혹감이나 보복에 대한 두려움 없이] 질문에 대답하고 감정을 공개적으로 표현하는데 자신감을 가질 수 있어야 한다. 위협, 오명, 사회적 압력은 모두 이 목표를 달성하는 데 심각한 장벽을 초래할 수 있으며, 만약 도구를 연구자에게 숨길 것이 없는 "당당한" 응답자에게만 파일럿 조사를 해본다면, 연구자들은 이러한 영향을 알 수 없을 것이다.

People should feel confident to answer questions and express feelings openly, without shame, embarrassment, or fear of retribution. Perceived threat, stigma, and social pressure can all pose serious barriers to achieving this goal, and such influences will be hidden from researchers if the instrument is piloted only on articulate respondents with nothing to hide.

한 가지 핵심 원칙은 설문지를 작성할 때 프라이버시를 보장하고, 위협적이지 않은 환경을 보장하고, 응답 분석을 할 때 완전한 익명성을 보장하는 것이다. 물리적 위치는 결과에 영향을 미칠 수 있다. 한 연구에서 참가자들은 직장 내에서 같은 질문을 받았을 때와 문 앞에서 답변을 할 때는 다른 대답을 했다.8 참가자들에게 설문지를 작성하고 싶은 곳을 물어보십시오. 적어도, 호기심어린 눈을 피할 수 있는 조용한 한 쪽 구석을 제공해라.

One key principle is to assure privacy and non-threatening surroundings when completing the questionnaire and total anonymity when analysing the responses. Geographical location may influence outcomes. In one study, participants gave different answers if they were asked questions on their doorstep than they did when asked the same questions within their workplace.8 Ask participants where they would prefer to complete the questionnaire. At the very least, offer a quiet corner away fromcurious eyes.

참가자가 설문을 완료하도록 돕기

Helping participants to complete questionnaires

연구자가 작성한 설문지는 연구 프로토콜의 계획된 부분인 경우 정당한 접근방식이 될 수 있지만, 연구자들은 목소리, 얼굴 표정 또는 몸짓의 반사에 의해 반응에 미묘하게 영향을 미칠 수 있다.10 예를 들어, 응답자가 무의식적으로 불편함을 느끼거나, 설문이 중요하지 않은 것으로 느껴질 경우 대충 응답할 수 있다. 연구자가 지루하거나 피곤해보이면 열의가 부족해보일 것이고, 이는 "대답이 별로 중요하지 않다"라고 해석될 수도 있다.

Questionnaires completed by researchers can be a legitimate approach if they are a planned part of the study protocol,9 but researchers can subtly influence responses by inflections of the voice, facial expressions, or gestures.10 For example, they may unconsciously hurry through questions they find uncomfortable or perceive as unimportant. A bored or tired researcher will convey a lack of enthusiasm, which might be interpreted as “it doesn’t really matter which answer you choose.”

질문 순서나 표현을 변경하면 설문도구의 타당도에 영향을 줄 수 있다.9 그러나 한편으로는 응답자가 모든 문항을 순서대로 작성하는 경우도 별로 없다. 이들은 지침 페이지를 여러 번 참조하고 나중에 작성한 질문으로 되돌아가는 경향이 있다. 연구자가 참가자가 표준화된 조치를 완료하도록 돕고 있는 경우, 표준화된 스크립트에 너무 집착하는 것은 역효과를 초래할 수 있다.10

Changing the order or wording of questions could render the instrument invalid.9 But participants rarely work through self completed questionnaires in a linear fashion. They tend to refer to the instructions page several times and return to previous questions once they have completed later ones. If a researcher is helping participants to complete a standardised measure, sticking too closely to a standardised script can be counterproductive.10

우편 조사는 높은 수의 참여자에 도달할 수 있지만 낮은 응답률의 위험을 수반한다.4 연구원이 직접 실시하는 설문지는 노동 집약적일 수 있지만, 우편조사보다 총 표본은 적더라도 궁극적으로는 더 많은 응답으로 이어질 수 있다.

Postal surveys are able to reach high numbers of participants but carry the risk of low response rates.4 Researcher administered questionnaires may be more labour intensive, but do lead to more responses, albeit in a smaller sample than that used in postal surveys.

인구통계적 정보

Background demographic data

연구원들은 종종 설문지의 인구통계 부분을 가장 덜 위협적이고 설계하기 쉬운 것으로 본다. 결국, 나이, 성별, 결혼 여부, 직업, 사회경제적 지위, 우편번호 또는 민족성을 완성하라는 요구를 받았을 때 누가 불쾌해 할 수 있었는가? 그러나 사실, 이러한 항목들은 매우 예민하며, 불쾌하게 만들 수도 있다.

Researchers often see the demographics section of a questionnaire as the least threatening and easiest to design—after all, who could be offended when asked to complete their age, sex, marital status, occupation, socioeconomic status, postcode, or ethnicity? In fact, these items may be perceived as highly sensitive and upsetting

Table A on bmj.com lists

참가자에 대한 위협을 최소화하기 위해 인구통계학적 질문을 맨 뒤에 배치하고, 3 이러한 세부 정보가 필요한 이유, 어떤 용도로 사용될 것인지, 그리고 이 개인 정보가 어떻게 보호될 것인지에 대한 명확한 정보를 제공해야한다.

Place demographic questions at the end to minimise the threat to participants,3 and give clear information about why these details are required, what they will be used for, and how this personal information will be protected.

소수인종

Minority ethnic groups

전형적인 서양 사람들은 대부분의 다른 집단들보다 일반적으로 평가 척도와 선호도나 선택을 나타내는 것에 더 익숙하다. 그렇다고 다른 인종의 사람들이 설문지를 이해할 수 없다는 것은 아니지만, 그 항목들은 그들에게 다른 의미를 가질 수도 있고, 그들은 상호 배타적인 응답의 개념을 이해할 수 없을 수도 있다.

Indigenous Western people are generally more familiar with rating scales and indicating preferences or choices than most other groups. That is not to say people from other groups cannot understand questionnaires, but the items may have different meanings to them,11 and they may find the notion of mutually exclusive responses incomprehensible.

어떤 사람이 영어로 매우 읽고 쓸 줄 아는 것처럼 보일지라도, 그들의 보건의료정보에 대한 이해력(건강 정보를 이해하고 처리하는 능력)은 훨씬 더 낮아질 수 있다.12 부족하고 교육받지 못한 민족 집단의 구성원들에 의한 증상의 과소 보고로 이어질 수 있다.12 전문적인 번역과 해석 서비스는 필수적이지만, 그렇게 한다고 해서 의미에 대한 완전하고 충실한 번역을 보장하지는 않는다. 번역 자체가 불가능할 수 있기 때문이다(box 2)

Even when someone seems highly literate in English, their functional health literacy (the ability to understand and process health information) may be much lower, leading to underreporting of symptoms by the poor and uneducated members of ethnic groups.12 Professional translation and interpreting services are essential,13 but these do not necessarily ensure full and faithful translation of meaning,14 since direct translations of words may simply not exist (box 2).

소수 민족 집단의 참가자들은 다중의 위험을 경험할 수 있다; 그들은 가난하고, 사회적으로 배제되고, 만성적으로 병들고, 어떤 언어에서도 문맹일 수 있다. 그들은 그것이 쓰여진 어떤 언어로든 설문지를 말하거나 읽을 수 없거나, 평가 척도나 질문 라우팅을 이해하지 못하거나, 연구의 목적에 대한 잘못된 인식을 이해하지 못하기 때문에 연구에서 제외될 수 있다.

Participants from minority ethnic groups may experience multiple jeopardy; they may also be poor, socially excluded, chronically sick, and illiterate in any language. They risk being excluded from research because of inability to speak or read the questionnaire in whatever language it is written, failure to comprehend rating scales or question routing, or misconceptions about the purpose of the study.

또한 [질문을 한다는 것이 무엇을 나타내는지]에 대한 문제도 있다. 예를 들어, 일부 참가자는 여성 연구자가 남성에게 질문을 하는 것을 받아들일 수 없을 수도 있고, 반대도 마찬가지다. 이러한 모든 어려움은 설계 단계에서 지역사회 대표들과 긴밀히 협력하고 신중한 조종을 통해 최소화될 수 있다.

There is also the issue of what someone asking questions represents. For example, some participants may find a female researcher asking questions to a man, or vice versa, unacceptable916; All these difficulties can be minimised by working closely with representatives of the community at design stage and by careful piloting.

질병 특이적 이슈

Disease specific issues

특정한 건강 문제나 위험 프로필을 가진 사람들은 일반 인구에서 "비정상"으로 간주될 수 있는 믿음을 가지거나 행동을 할 수 있다.

People who have a particular health problem or risk profile may hold beliefs or engage in behaviours that would be considered “abnormal” in the general population.

사회적 상호작용으로서 설문 인터뷰

Questionnaire interview as social interaction

연구자와 참가자 사이의 만남은 사회적 상호작용이다. 또한 이러한 만남은 외롭거나, 집에 묶여 있거나, 사회적으로 소외된 사람들에게 특히 중요하다. 다른 사회적 연구와 마찬가지로, 참가자들은 설문인터뷰 진행자를 냉정한dispassionate 과학자(박스 3)로 보는 경우가 거의 없으며, 의료 제공 조직으로 잘못 연관시킬 수도 있다. 응답자의 이러한 인식과 사회적 상호작용의 질은 의심할 여지 없이 응답에 영향을 미친다.

A meeting between a researcher and a participant is a social interaction91018and often particularly important for people who are lonely, housebound, or socially excluded. As with other social research, participants rarely view the interviewer as a dispassionate scientist (box 3) and may erroneously associate them with the organisation that delivers care. These perceptions, and the quality of social interaction, undoubtedly influence responses.

연구자 훈련과 서포트

Researcher training and support

실제로 설문지를 전달하는 사람들은 종종 연구팀에서 경험이 가장 적은 구성원들이다.20 그러나 이들이 관련 학위를 보유하였더라도 데이터 기록, 청소 및 분석의 기본 원칙, 표준화의 개념 또는 시간 압박, 당황, 소진 및 지루함의 데이터 품질에 대한 위험을 이해하지 못할 수 있다.39

The people who actually deliver questionnaires are often the least experienced members of the research team.20 Even if they hold a relevant degree, they may not understand basic principles of recording, cleaning, and analysing data, the concept of standardisation, or the dangers to data quality of time pressures, embarrassment, burnout, and boredom(box 4).39

개인적인 질문들은 그 정의상 물어보기 어렵다. 그리고 사람에 따라서는 신체 기능에 대해 질문하는 것 뿐만 아니라, 민족성, 성별 또는 소득에 관한 질문들을 불편하게 여길 수도 있다. 감독자들은 이러한 차이를 정당한 것으로 인식하고 적절한 확신과 지원을 제공해야 한다. 단지 진료시에 그러한 질문을 할 수 있다고 해서, 연구 환경에서도 동일한 질문을 하기 쉽다는 것을 의미하지는 않는다. 그들이 사용할 설문지를 가지고 연구자들을 훈련시키는 것은 필수적이다.

Personal questions are by definition difficult to ask, and whereas one person might recoil from asking about bodily functions, another might find questions about ethnicity, sexuality, or income uncomfortable. Supervisors must recognise these differences as legitimate and provide appropriate reassurance and support. Just because someone asks intimate questions in their clinical work does not mean they will find the same questions easy to ask in a research setting. Training researchers with the questionnaire they will be using is essential.

설문지 연구에서 종종 무시되는 문제는 중 하나는 연구자들의 행복과 안전이다. 응답자들은 응답을 요청받으면 불쾌해하거나, 분노, 흥분, 좌절 또는 낙담으로 등의 반응을 보일 수 있다. 참가자에게 방해 없이 프라이버시를 가질 것임을 알리는 것은 베일에 싸인 성적 제안으로 오해될 수 있다. 전문가처럼 보이게 준비하고(이름 배지, 소개서, 관습적인 복장 코드 등), 인터뷰에 할당된 시간을 명확하게 나타내며, 참가자에게 특정 질문이 개인적이거나 민감한 성격임을 미리 경고하는 것은 그러한 반응을 줄일 수 있다.9 지원 기관 또는 의뢰 서비스 목록을 제공해야 한다. 그러나 우리는 결코 인간의 반응의 범위나 깊이를 완전히 예측할 수 없다는 것을 기억해야 한다.2 연구 감독자는 연구자들이 참가자들에게 다양한 감정(스트레스, 각성, 당혹감)을 기대하게 하고 이에 대처하기 위한 구체적인 전략을 가질 수 있도록 준비해야 한다.

An under-researched and often neglected issue in questionnaire research is the wellbeing and safety of the researchers. Participants may react to the invitation to participate with a somewhat unnerving appreciation of the warmth of human contact or with anger, arousal, frustration, or dismay. Informing the participant that they will have privacy without interruption can be misconstrued as a veiled sexual proposition. Professionalising cues (such as a name badge, letter of introduction, conventional dress code, and so on), a clear indication of the time allocated for the interview, and forewarning the participant that certain questions are of a personal or sensitive nature, can reduce such reactions.9 A list of help organisations or referral services should be available. Remember, though, that we can never fully predict the range or depth of human response to our efforts.2 research The research supervisor should prepare researchers to expect a range of emotions (distress, arousal, embarrassment) in participants and to have specific strategies for dealing with these.

결론

Conclusions

설문지 연구는 전통적인 중류층을 넘어서야 한다. 무능력자, 문맹자, 사회적으로 배제된, 비영어권 참여자들과 함께 일하고 민감한 주제에 대해 질문을 하는 것은 힘든 일과 시간이 소요되며 참가자와 연구원 모두에게 잠재적인 건강 위험을 수반한다. 연구자는 설문지 부수가 아니라 시간 단위로 인건비를 지불받아야 하며, 데이터 수집으로부터 정기적으로 휴식을 취하여 refresh와 reflection을 할 수 있어야 한다.21 특정 취약 계층의 참여자는 자신과 유사한 면접관이 필요할 수 있다. 연구 프로토콜에서는 설문이 완료된 후 연구자가 참가자와 대화할 수 있도록 허용해야 한다. 이러한 모든 조치는 프로젝트 계획, 일정 및 예산에 반영되어야 하며, 진정으로 설문지 연구에서 발생할 수 있는 편견을 최소화하려면, 자금 제공자는 그 필요성에 민감해야 한다.9

Questionnaire research needs to move beyond its traditional focus on the white middle classes. Working with disempowered, illiterate, socially excluded, and non-English speaking participants and asking questions about sensitive topics is hard work and time consuming and carries potential health risks for both participants and researchers. Researchers should be paid by the hour rather than by piecework and should take regular breaks from data collection to allow refreshment and reflection.21 Participants from particular vulnerable groups may need an interviewer who is similar to them. Study protocols should allow time for researchers to talk to the participant after the instrument has been completed. All these measures should be reflected in the project plan, timescale, and budget, and funders who are serious about redressing the gross bias in questionnaire research should be sensitive to the need for them.9

BMJ. 2004 Jun 12;328(7453):1433-6.

Reaching beyond the white middle classes.

"질문이 답의 형태를 결정한다": 보건전문직교육 연구에서 사용된 설문도구의 퀄리티 평가(Acad Med, 2018)

“The Questions Shape the Answers”: Assessing the Quality of Published Survey Instruments in Health Professions Education Research

Anthony R. Artino Jr, PhD, Andrew W. Phillips, MD, MEd, Amol Utrankar, Andrew Q. Ta, and Steven J. Durning, MD, PhD

자기보고되는 행동과 태도는 질문의 표현, 형식, 맥락과 같은 연구 도구의 특징에 의해 강하게 영향을 받는다.

—노버트 슈바르츠, 19991

Self-reports of behaviors and attitudes are strongly influenced by features of the research instrument, including question wording, format, and context. 

—Norbert Schwarz, 19991

이 분야에서 가장 영향력이 큰 3개 학술지에 대한 최근 연구에 따르면, 모든 원저 중 52%가 적어도 1개의 설문조사를 채택했다.2 조사는 종종 다른 이해하기 어려운 개념에 대한 정보를 수집하는 가장 좋은 방법이기 때문에, 부분적으로 인기가 있다.3,4 특히, survey는 일반적으로 "구인construct"이라고 불리는 관측할 수 없는 변수를 평가하는데 유용하다.5,6 HPE에서 Construct는 매우 여러가지가 있다(예: 학생 동기 부여, 환자 만족, 의사 공감).

A recent study of the three highest-impact journals in the field found that 52% of all original research studies employed at least one survey.2 Surveys are popular, in part, because they are often the best way to collect information about otherwise elusive concepts.3,4 In particular, surveys are useful for assessing nonobservable variables, commonly referred to as constructs.5,6 Constructs abound in HPE (e.g., student motivation, patient satisfaction, physician empathy).

불명확하거나 서식이 불량한 문항을 포함한 설문이나 형식적으로 문제가 있는 설문은 응답자가 해석하고 대답하기 어려워 질 수 있다.1,6,7 응답자가 문항을 이해하는 데 어려움을 겪는 경우, 이것은 결과적으로 나타나는 점수에 대한 신뢰도를 저하시킬 수 있는 측정오차가 된다.6,8–10, 궁극적으로, 설문의 설계가 문제가 있을 경우 그 도구는 연구자에게 신뢰할 수 있고 해석할 수 있는 데이터를 제공하지 못할 수 있기에, 타당성 주장을 방어하거나 결과를 해석하는 것도 어렵게 할 수 있다.11,12

Poorly designed survey instruments containing unclear or poorly formatted items can be difficult for respondents to interpret and answer, yielding low-quality data.1,6,7 When respondents have difficulty processing survey items, the result is measurement error that can degrade the reliability of the scores that emerge.6,8–10 Ultimately, poorly designed survey instruments may fail to provide researchers with reliable, interpretable data, thereby making validity arguments difficult to defend and study results hard to interpret.11,12

HPE 분야에서 연구자들은 종종 새로운 조사 도구를 개발하는데, 그 때 설문 점수와 그 설문의 의도된 용도와 관련하여 [타당성 및 신뢰성 증거를 수집하거나 철저히 보고하지 않는 경우가 많다.13~15 대안으로, 일부 HPE 연구자들은 추가적인 타당도 및 신뢰도 분석을 수행하기보다는, 이전에 발표된 조사 도구를 자신의 표집 형태에 맞춰서 조금 변경하여 사용한다. 이렇게 하는 이유는 그 설문 도구가 피어리뷰된 문헌에 발표되다는 것에 근거한다.

In the field of HPE, researchers often develop new survey tools without collecting or thoroughly reporting validity and reliability evidence for the survey scores and their intended use.13–15 Alternatively, some HPE researchers use or adapt previously published survey instruments without conducting additional validity and reliability analyses for their specific sampling frame, presumably because they are published in the peer-reviewed literature

그러나 이러한 행동은 적어도 두 가지 이유로 문제가 있다. 

• 첫째, 연구자들은 흔히 이러한 도구를 "validated survey"라고 부르는데, 타당도와 신뢰도는 평가 점수 및 평가 도구 자체의 특성이 아니라 주어진 맥락에서 제안된 해석의 속성이기 때문에 이러한 표현은 부정확하다.16 

• 둘째로, 이미 출판된 설문도구에 의존한다면, 그 도구와 그 안에 있는 문항들이 잘 설계되고, 잘 쓰여지고, 잘 포맷되어 있다고 가정할 가능성이 높다. 불행하게도, 과연 그러한지에 대한 평가는 잘 이뤄지지 않는다.13–15

This latter behavior is problematic for at least two reasons. First, researchers often refer to such instruments as “validated surveys,” which is inaccurate because validity and reliability are properties of the survey scores and their proposed interpretations in a given context, not properties of the survey instrument itself.16 Second, a researcher who chooses to rely on a published survey is likely assuming the instrument, and the items therein, are well designed, well written, and well formatted. Unfortunately, the veracity of this assumption often goes unassessed.13–15

현재 HPE 연구에 사용되는 조사 도구의 품질에 대한 통찰력이 부족하다.

Currently, we lack insight into the quality of the survey instruments used in HPE research.

방법

Method

코딩 루브릭

Coding rubric

특정 코딩 기준 및 예를 포함한 전체 코딩 루브릭은 보충 부록 1( http://links.lww.com/ACADMED/A499)에 수록되어 있다.

A copy of the full coding rubric, including specific coding criteria and examples, is provided in Supplemental Digital Appendix 1 (at http://links.lww.com/ACADMED/A499).

또한 이 루브릭의 부분을 사용하여, 코더들은 저자들이 내용, 인지 과정, 내부 구조, 다른 변수와의 관계 및 결과에 기초한 증거, 교육 및 심리 테스트 표준에 명시된 다섯 가지 근거 출처에 부합하는 타당성 증거를 보고했는지와 어떻게 보고했는지를 평가했다.16

Using this portion of the rubric, the coders also assessed if and how authors reported validity evidence that aligned with the five sources of evidence articulated in Standards for Educational and Psychological Testing: evidence based on 

• content, 

• cognitive processes, 

• internal structure, 

• relationships with other variables, and 

• consequences.16

타당성 근거와 무관하게 신뢰성 증거를 평가했지만, 신뢰도란 타당도에 대한 함의를 가지고 있음(신뢰도는 타당도의 일부임을) 인정한다(예를 들어 internal structure의 근거이다).16

Although we assessed reliability evidence independent of validity evidence, we recognize that score reliability has implications for validity (e.g., as evidence of internal structure).16

설계 및 시각적 레이아웃에서 널리 인정되는 모범 사례 또는 설계 원칙 위반.

• (1) 동의 응답지, 

• (2) 다중 질문 항목, 

• (3) 라벨이 없는 응답지, 

• (4) 불균일한 간격의 응답지

• (5) substantive한 응답지와 구분이 어렵게 제시된 nonsubstantive 응답지

a violation of widely accepted best practices, or design tenets, in the design and visual layout of Likert-type rating items: (1) agreement response items, (2) multibarreled items, (3) unlabeled response options, (4) unevenly spaced response options, and (5) nonsubstantive response options formatted together with substantive response options.

설계 함정으로 표시된 5가지 조사 설계 원칙의 설명과 예는 표 1과 보충 디지털 부록 1( http://links.lww.com/ACADMED/A499)에 수록되어 있다.

Descriptions and examples of the five survey design tenets, framed as design pitfalls, are provided in Table 1 and Supplemental Digital Appendix 1 (at http://links.lww.com/ACADMED/A499).

통계 분석

Statistical analysis

결과

Results

2013년 3개 학술지에 게재된 732편의 논문 중 376편이 독창적인 연구 논문이 아니었으며, 171편의 원조사 논문은 설문조사를 사용하지 않았다(그림 1).

Of 732 articles published in the three journals in 2013, 376 were not original research articles, and 171 original research articles did not use a survey (Figure 1).

타당도와 신뢰도 근거

Validity and reliability evidence

표 2는 저자가 보고한 타당성 및 신뢰성 증거를 요약한 것이다.

Table 2 summarizes the validity and reliability evidence reported by authors.

문항 퀄리티 평가

Item-quality assessment

문항의 품질 평가 결과는 표 3에 제시되어 있으며, 아래에 요약되어 있다.

Results of the item-quality assessment are presented in Table 3 and summarized below:

원칙별로 각각을 위반한 항목의 비율에 대한 분포는 그림 2에 제시되어 있다.

The distributions of the percentage of items that violated a given tenet, per survey instrument, are provided in Figure 2.

고찰

Discussion

결함이 있는 문항이 실제로 응답자에게 부정적인 영향을 미쳤는지 또는 어떻게 영향을 미쳤는지는 알 수 없지만, 우리는 수십 년간의 경험적 연구에 근거하여, 이러한 문항이 응답자에 의해 잘못 해석되거나, 부정확한 데이터로 이어질 수 있다고 추측한다.

Although we do not know whether or how such flawed items may have negatively affected respondents, we speculate, on the basis of decades of empirical research,8,10,21,22 that these items could have been misinterpreted by respondents or otherwise led to inaccurate data.

신뢰도나 타당도에 대한 공격을 방어하는 방법 중 하나는 연구의 특정 맥락에 근거하여 조사한 점수에 대한 신뢰도 및 타당도 증거를 수집하고 보고하는 것이다.16 불행하게도, 새로 개발된 도구이든 기존에 출판된 도구를 변형하여 사용하였든 대다수의 연구자들은 그러한 증거를 보고하지 않았다. 더욱이, 증거를 보고한 저자들 조차, 대체로 그 방법이 부적절했다. 예를 들어, 가장 흔히 기술된 타당도 근거의 출처는 전문가에 의한 내용 검토였으며, 보통 약 6개 연구 중 1개에서만 보고되었다. 그러나 타당도 근거가 보고되었다 하더라도 저자는 전문가의 자격이나 검토 과정의 구성요소를 충분히 기술하지 않았기 때문에, 검토 과정의 세부사항을 알 수 없었다. 또한 가장 일반적으로 보고된 신뢰성 근거의 출처는 내부 일관성 계수(Cronbach alpha)이다. Cronbach's alpha에 대해 잘 알려진 한계점이나 이를 부적절하게 사용하는 여러 관행을 고려할 때, 신뢰도를 보고하기 위해 연구자들이 alpha만을 거의 독점적으로 사용하는 것은 당혹스럽다.

One way to guard against unreliable scores and flawed validity arguments is to collect and report validity and reliability evidence for survey scores based on a study’s specific context.16 Unfortunately, our results indicate that the majority of investigators failed to report such evidence, whether their survey tool was newly developed or appropriated or adapted from a previously published instrument. Moreover, those authors who did report evidence typically did so inadequately. For example, the most common source of validity evidence described was content reviews by experts, reported for approximately one in six surveys. However, even in those cases, the reporting lacked detail, with authors not fully describing the qualifications of their experts or the components of the review process. In addition, the most commonly reported source of reliability evidence was an internal consistency coefficient (Cronbach alpha). Considering the well- known limitations24,25 and inappropriate uses26,27 of this metric, its almost exclusive use by investigators to report reliability is disconcerting.

Wetzel13이 HPE의 조사 개발 기사에 대한 리뷰에서 지적한 바와 같이, "이용가능한 증거들을 주의 깊게 고려하지 않은 상태에서는, 연구자든 교육자든 문헌에 발표된 도구를 채택하고 적용하는 데 신중해야 한다."

As Wetzel13 noted in her review of survey development articles in HPE, “researchers and educators should be cautious in adopting and applying instruments from the literature without carefully considering the available supporting evidence.”

우리는 연구자들이 직접 저자들에게 연락하여 타당성 및 신뢰성 증거를 문의하거나, 또는 조사 시행 전에 그들 자신의 파일럿 데이터를 수집할 것을 권고한다.

we recommend that researchers attempt to contact the authors directly to inquire about validity and reliability evidence or, alternatively, collect their own pilot data prior to survey implementation.

문항 퀄리티

Item-quality tenets

이중 문항

the use of multibarreled items,

그러나, 모든 이중 조사 항목이 똑같이 문제가 되는 것은 아니다. 예를 들어, "당신의 주치의가 예의바르고 예의바르게 행동했는가?"라는 설문 항목은 이중으로 표시되지만, "polite"와 "courteous"라는 단어는 동의어다. 따라서 질문이 필요 이상으로 단어적이지만, 응답자에게 어려움을 주지 않을 수 있다.

However, not all multi-barreled survey items are equally problematic. For example, the survey item “To what degree was your physician polite and courteous?” is double-barreled, yet the words “polite” and “courteous” are synonyms. So, while the question is wordier than necessary, it may not cause difficulty for respondents.

해결책은 간단하다. 두 가지 질문으로 나누어 풀어놓거나, 가장 중요한 요소에 대해 한 가지 질문만 할 수 있다. 그러나 이 연구에서 관찰한 바와 같이, 이 문제는 종종 수정되지 않는다.

Although the solution is simple—untangle the original item by asking two questions or only ask one question about the most important component—such problems often go uncorrected, as we observed in this study.

레이블이 지정되지 않은 응답 옵션 또는 불균일한 간격의 응답 옵션 사용 또는 실질적인 응답 옵션과 함께 비실제적인 응답 옵션 배치

using unlabeled response options or unevenly spaced response options, or placing nonsubstantive response options together with substantive response options,

따라서 설문이라는 방법을 사용할 연구자는 문항 작성방법과 모범 사례에 익숙해져야 한다.5,6 이 권고사항은 일반적으로 [측정 오차가 결과를 왜곡할 가능성이 더 큰] 상대적으로 작은 표본에서 데이터를 수집하는 HPE 맥락에서 훨씬 더 중요하다.29 .7

Therefore, we encourage HPE investigators who intend to use surveys for research to become familiar with item- writing and pretesting best practices.5,6 This recommendation is even more important in HPE contexts where we typically collect data from relatively small samples,29 which gives measurement error greater potential to skew results.7

한계와 미래 방향

Limitations and future directions 

우리 연구의 중요한 한계쩜은, "명확하지 않거나 잘못 포맷된 조사 항목이 응답자의 응답 프로세스에 부정적인 영향을 미쳐 측정 오류로 이어진다"는 우리의 기본 가정과 관련이 있다.1,6,8–10,22 그러나 본 연구에서는 항목 품질과 점수 신뢰성 및 유효성 사이의 관계를 명시적으로 평가하지 않았다.

A second important limitation relates to our underlying assumption that unclear and/or poorly formatted survey items negatively affect respondents’ response processes, thus leading to measurement error.1,6,8–10,22 However, in the present study, we did not explicitly assess the relationship between item quality and score reliability and validity.

22 Krosnick JA. Survey research. Annu Rev Psychol. 1999;50:537–567.

 13  Wetzel AP. Factor analysis methods and validity evidence: A review of instrument development across the medical education continuum. Acad Med. 2012;87:1060–1069.

25 Tavakol M, Dennick R. Making sense of Cronbach’s alpha. Int J Med Educ. 2011;2:53–55.

29 Picho K, Artino AR Jr. 7 deadly sins in educational research. J Grad Med Educ. 2016;8:483–487.

6 Gehlbach H, Brinkworth ME. Measure twice, cut down error: A process for enhancing the validity of survey scales. Rev Gen Psychol. 2011;15:380–387.

Acad Med. 2018 Mar;93(3):456-463. doi: 10.1097/ACM.0000000000002002.

"The Questions Shape the Answers": Assessing the Quality of Published Survey Instruments in Health Professions Education Research.

효과크기 - 큰, 중간의, 작은 (Perspect Med Educ, 2016)

Effect size – large, medium, and small

Jimmie Leppink1 · Patricia O’Sullivan2 · KalWinston3

사례

Example study

평균 시험 성적이 그룹 A에서는 50점, 그룹 B에서는 55점이라고 가정하자. 즉 평균의 차이는 5점(55–50)이다. 시험 점수의 표준 편차는 두 그룹에서 모두 약 10점이라고 가정하자. 표준 편차로 표현되는 그룹 차이는 0.5: 평균 차이/표준 편차 = 5/10이다. 이는 '중간' 크기 차이를 나타낸다. 관례상 0.2, 0.5 및 0.8 표준 편차의 차이는 각각 '소형', '중간', '대형' 효과 크기로 간주된다[1].

Suppose, the average exam performance is 50 points in group A and 55 points in group B. In other words, the difference between means is 5 points (55–50). Suppose, the standard deviation of exam scores is about 10 points in both groups. Expressed in standard deviations, the group difference is 0.5: mean difference/standard deviation = 5/10. This indicates a ‘medium’ size difference: by convention, differences of 0.2, 0.5, and 0.8 standard deviations are considered ‘small’, ‘medium’, and ‘large’ effect sizes respectively [1].

척도 차이

Different scales

효과크기의 개념을 이해하기 위해서는 다른 규모의 문제를 이해할 필요가 있다. 교육연구에서, 우리는 종종 다른 경험적 연구에서 질문의 수가 다른 시험과 같이 설문지와 평가에서 서로 다른 척도로 얻은 차이에 대해 염려한다. 18 °F의 차이가 10 °C의 차이에 해당하는 온도 등의 변수와 대조적으로, 앞에서 언급한 0 ~ 80의 척도에서 시험 점수의 차이가 반드시 0 ~ 160 사이의 척도에서 시험 점수의 10 포인트와 일치하는 것은 아니다.

In order to understand the idea of effect sizes, we need to understand the problem of different scales. In educational research, we are often concerned with differences obtained on different scales in questionnaires and assessments, such as exams with different numbers of questions in different empirical studies. In contrast to a variable such as temperature, where a difference of 18 °F corresponds with a difference of 10 °C, the aforementioned 5 points of difference in exam score on a scale from 0 to 80 does not necessarily correspond with 10 points of difference in exam score on a scale that ranges from 0 to 160.

효과크기란?

What are effect sizes?

연구자는 표준 편차와 같은 통계 단위로 표현되는 차이, 즉 효과 크기를 계산할 수 있다[1].

researchers can calculate so-called effect sizes, that is: differences of interest expressed in statistical units such as standard deviations [1].

효과크기는, 다른 통계치처럼, 연구마다 변동이 있다.

Effect sizes, like other statistics, fluctuate from study to study

다시 말해서, 차이를 [효과 크기]로 표시한다고 해서 작은 표본의 문제가 해결되는 것은 아니다[2].

In other words, labelling differences in terms of effect size does not resolve the problem of small samples [2].

효과크기에 대한 유의미한 해석 

Meaningful interpretation of an effect size

예를 들어, 두 그룹의 평균이 50과 51이고 각 그룹에서 표준 편차가 약 2인 경우, 효과 크기가 0.5 표준 편차일 것이다. 그러나 50과 51의 차이는 실질적으로는 또는 향후 연구에 있어서는 유용한 영향을 미치지 않을 수 있다. 따라서 특정 연구 질문에서 효과 크기(예: 표준 편차의 절반)가 필요한지, 실제 차이(예: 표준 편차가 10인 5점)가 필요한지 신중하게 고려할 것을 권고한다. [실제 차이가 실용적 목적에 비해 너무 작다면] 효과 크기가 큰 의미가 없다.

For instance, had the means of the two groups been 50 and 51, with a standard deviation of about 2 in each group, that would also have resulted in an effect size of 0.5 standard deviations. However, a difference between 50 and 51 may or may not have useful implications for educational practice or further research. Thus, we recommend to carefully consider if a particular research question calls for an effect size (e. g. half a standard deviation) and, if so, to report the actual difference (e. g. 5 points with a standard deviation of 10) as well. Effect sizes do not mean a lot when the actual difference is too small for practical purposes.

결론

To conclude

실제 차이로부터 계산한 효과 크기는 마찬가지로 연구마다 변동을 일으키므로, 연구 결과를 더 넓은 모집단으로 일반화할 때 신뢰 구간으로 보고해야 한다.

Calculated from actual differences, effect sizes are subject to the same study-to-study fluctuation, and should thus be reported with confidence intervals when generalizing study findings to a broader population.

Note

6. Wilson DB. Practical meta-analysis effect size calculator. http://www.campbellcollaboration.org/resources/effect_size_input.php. Accessed 16 August 2016.

Perspect Med Educ. 2016 Dec;5(6):347-349.

Effect size - large, medium, and small.

1988년부터 2010년까지 의학교육연구의 핵심 주제, 기관, 사람 (Adv in Health Sci Educ, 2012)

The themes, institutions, and people of medical education research 1988–2010: content analysis of abstracts from six journals

Jerome I. Rotgans

최초의 의학교육학과는 거의 반세기 전에 미국에서 설립되었다. 의학 교육은 연구 분야로, 체계적인 연구를 할 자격이 있는 분야로 부상했다. 학과, 교수직, 저널, 컨퍼런스의 수를 성숙의 지표로 삼는다면, 분명 이 분야는 번창하고 있다. 예를 들어, 80년대 초에 의학교육학을 다루는 저널은 두개 뿐이었다. 이제 보건전문직교육을 다루는 16개 이상의 저널이 있다. 이 분야의 검소성의 또 다른 예: 의료 교육 분야의 최고 6개 학술지는 1988년에서 2010년 사이에 10,000개 이상의 연구 논문을 출판했으며, 이는 교육 심리학을 포함한 광범위한 교육 연구 분야에서 최고 6개 저널이 출판한 약 4,000개의 논문보다 많은 수이다.

Almost half a century ago, the first departments of medical education were established in the United States. Medical education emerged as a field of research and as a domain deserving systematic study. If the numbers of departments, professorial positions, journals, or conferences are to be used as indicators of its maturity, the field is thriving. For instance, in the early eighties the field was covered by two journals. Now there are no less than sixteen journals dealing with health professions education. Another example of the frugality of the field: the best six journals in medical education have contributed more than 10,000 research articles to the literature between 1988 and 2010, the best six in the broader domain of educational research, including educational psychology, about 4,000.

하지만 의학 교육의 질은 어떤가? 최근에, 많은 저자들이 우리 분야가 선호하는 연구 방법론의 관점에서 의학 교육 연구의 상태를 비판하였다(Albanese 2009; Davis and Ponnamperuma 2006; Eva 2009). 이들은 우리가 지금보다 더 엄격해야 한다고 주장한다. 자기보고식 도구를 덜 사용하고 실제 성능에 대한 척도를 더 많이 사용해야 하며, 관찰보다는 실험을 해야 한다.

But what about the quality of the science of medical education? Recently, a number of authors have criticized the state of the art in medical education research from the perspective of the research methodologies our field preferably employs (Albanese 2009; Davis and Ponnamperuma 2006; Eva 2009). The suggestion is that we should be more rigorous than we are. Use less self-report instruments and more measures of actual performance. Experiment rather than observe.

의학 교육의 중심 주제를 연구해야 할 많은 이유가 있다. 

There are a number of reasons to study the central themes of medical education. 

• 첫번째는 순전히 호기심이다. 무엇이 그 오랜 세월 동안 그 분야를 몰두하게 했는지 보는 것은 그야말로 흥미롭다. 가장 인기 있는 주제, 가장 시급한 이슈는 무엇이었습니까?어떤 기관, 어느 과학자가 이 주제를 가장 자주 다루었는가? 과학은 익명의 작업이 아니다. 그것은 연구 노력에 기여하는 데 다소 성공할 수 있는 사람들과 연구 부서들을 포함한다. 

• 두 번째 이유는 연구 주제가 정말로 이 분야의 요구에 근거하여 우선순위를 나타내는지 여부를 자문할 수 있기 때문이다. 우리는 그 분야의 수요의 관점에서 '올바른 일'에 관여해 왔는가? 

• 셋째, 그러한 분석을 통해 미래에 대한 연구 우선순위의 형성이 가능할까? 테마가 누락되었거나 충분히 다루어지지 않았는가? 

• 넷째, 역사적 관점에서 보면, 지난 20년 동안 어떤 테마가 등장했고 어떤 테마가 사라졌는가?어떤 주제들이 일관된 관심을 보였는가?새로운 테마가 있는가?어떤 연구 영역은 효과적으로 '죽은'가 되는가?이 말은 들판의 상태에 대해 뭐라고 하는가? 

• 그리고 다섯째, 대륙마다 발행되는 저널들은 다른 이슈들을 강조하는가? 뚜렷한 '유럽'의학교육이나 '북미' 의학 교육이 따로 있는가?

• The first is sheer curiosity. It is simply interesting to see what has kept the field preoccupied all those years. What were the most popular topics, the most urgent issues?Which institutions,which scientists addressed these themes most often? Science is not an anonymous affair. It involves people and research departments that can be more or less successful in contributing to the research effort. 

• The second reason is that we can ask ourselves whether these themes really represented priorities based on the informational needs of the domain. Have we been involved in the ‘‘right stuff’’ from the perspective of the wants of the field? 

• Third, would such analysis allow for the formulation of research priorities for the future? Are themes missing or insufficiently covered? 

• Fourth, taking a historical perspective, which themes have emerged throughout the last 20 years and which have disappeared?Have some themes shown consistent interest?Are there emerging themes?Are some areas of research effectively ‘‘dead’’?What does this say about the state of the field? 

• And fifth, do journals published on different continents emphasize different issues? Is there a distinctively ‘‘European’’ or a ‘‘North-American’’ medical education?

방법

Method

자료

Materials

(1) Academic Medicine, 

(2) Advances in Health Sciences Education, 

(3) Medical Education, 

(4) Medical Teacher, 

(5) Advances in Physiology Education, and 

(6) Teaching and Learning in Medicine.

절차

Procedure

유럽에서는 의학 교사 및 의학 교육(데이터에 반영되는 총 추상 수: 4,416개) 저널을 선택한 반면, 북미에서는 학술 의학(데이터에 반영되는 총 추상 수: 3,653개)을 선택했다.

For Europe we selected the journals Medical Teacher and Medical Education (total number of abstracts reflected in our data: 4,416), whereas for North America we chose Academic Medicine (total number of abstracts reflected in our data: 3,653).

분석

Analysis

SPSS 텍스트 분석에서 설문조사를 위해 적용한 언어 텍스트 분석 기술을 사용하여 10,168개의 제목과 초록을 분석하였다.TM 2.1 소프트웨어(SPSS 2006).

The 10,168 titles and abstracts were analyzed using linguistic text analytical technologies applied by the SPSS Text Analysis for SurveysTM 2.1 software (SPSS 2006).

예를 들어, '학생 평가' '평가에 접근' '평가 방법' '서면 평가'라는 용어는 '평가'라는 용어로 분류될 것이다. 이와 같이 '평가'는 하나의 범주를 구성하는데, 이 범주는 "평가"라는 근본용어와 그 이전의 모든 단어 조합, 그 이후의 모든 단어 조합을 포함한다.

For instance, the terms ‘‘student assessment’’, ‘‘approach to assessment’’, ‘‘method of assessment’’ ‘‘written assessment’’ would be grouped under the root term ‘‘assessment’’. As such, ‘‘assessment’’ forms a category, which includes the root term ‘‘assessment’’ and all word combinations before it, after it, or both.

예를 들어, no not good better 같은 한정자가 제거되었다. 또한 유사한 개념들을 보다 일반적인 초좌표 범주 이름으로 수동으로 분류하였다. 예를 들어, '시험', '다중 선택 질문', '포트폴리오 사용', '학생 평가 방법'의 개념들은 '평가 방법'이라는 범주 이름으로 분류되었다.

For instance, qualifiers like ‘‘no’’, ‘‘not’’, ‘‘good’’ or ‘‘better’’ were removed. In addition, similar concepts were manually grouped under a more generic super-ordinate category name. For instance, the concepts of ‘‘examination’’, ‘‘multiple-choice questions’’, ‘‘use of portfolio’’, and ‘‘method of student assessment’’ were grouped under the category name ‘‘methods of assessment’’.

결과

Results

표 1의 처음 4개 항은 내용 분석 결과를 요약한다.

The first four columns of Table 1 summarize the results of the content analysis.

그림 1은 주제 중 하나인 임상 사무국의 주제 중 하나가 시간이 지남에 따라 발생 빈도가 어떻게 변했는지와 다른 저널에서 어떻게 다르게 표현되었는지를 보여 주는 그림이다.

Figure 1 is an illustration of how one of the themes, that of the clinical clerkships, changed in frequency of occurrence over time and how it was differently represented in the different journals.

표 2는 6개 초점 저널에 나타낸 바와 같이 1988년에서 2010년 사이에 의학 교육에서 가장 많은 수의 출판물을 생산하는 10개 대학의 이름을 나열한 것이다.

Table 2 displays a listing of the names of the ten universities producing the highest number of publications in medical education between 1988 and 2010 as represented in the six focal journals.

표 3은 의학 교육 분야에 가장 많은 논문을 기여한 10명의 연구자들의 이름을 담고 있다.

Table 3 contains the names of the ten researchers who have contributed the largest number of articles to the field of medical education.

표 4는 현장에서 가장 인용된 상위 10개 논문을 보여준다.

Table 4 shows the top-ten of most cited articles in the field.

표 5는 문헌에서 가장 많이 인용된 연구자 10명의 목록을 포함하고 있다.

Table 5 contains a listing of the ten researchers whose work was cited most in the literature.

고찰

Discussion

첫째, 의학교육 연구의 주요 주제 29개가 확인되었는데, 이 중 학생 평가, 임상 및 커뮤니케이션 기술, 임상실습, 문제 기반 학습(PBL)이 가장 두드러졌다. 특히 학생들의 평가는 최우선 관심사로 보인다. 기사들 중 26%는 이 문제를 이런저런 방법으로 다루고 있다고 평가했다. 채택된 조치의 신뢰성과 타당성은 반복되는 우려사항이다. 연구 대상으로서의 필기시험과 구술시험이 큰 관심을 끌지 못한다는 점은 흥미롭다. 이러한 것들은 지난 20년 동안 광범위하게 연구되었고 더 이상 문제가 없다고 여겨지지 않았을 가능성이 있다. 60년대와 70년대에 의료 교육에서 핵심 이슈인 MCQ에도 동일한 사항이 적용될 수 있다. 흥미롭게도, 자기 평가, 성과에 대한 전문가의 판단, 포트폴리오와 같은 새로운 방법들이 주목할 만한 접근법으로 등장하고 있다. 더 넓은 평가 범주 내에서 대부분의 논문은 performance assessment에 많이 할애되고 있는데, 여기에는 임상 기술 평가,더 넓게는 임상 능력 평가, OSCE 등이 있다.

First, twenty-nine major themes of medical education research were identified, of which student assessment, clinical and communication skills, clinical clerkships, and problem-based learning (PBL) were the most prominent. Assessment of students in particular seems to be an overriding concern. Twenty-six percent of the articles counted deals with this issue in one way or another. Reliability and validity of the measures employed are recurrent concerns. It is interesting to note that written and oral examinations as object of study do not attract much attention. It is possible that these have been studied extensively in bygone eras and have not any longer been considered problematic in the last 20 years. The same may apply to the use multiple-choice tests, in the sixties and seventies a core issue in medical education. Interestingly, new methods such as self-assessment, expert judgment of performance, and portfolio now emerge as approaches deserving notice. Within the broader assessment category most articles have been devoted to performance assessment, as witnessed by the frequencies by which concepts such as clinical skills assessment and, broader, clinical competence assessment, and objective structured clinical examinations occur in the literature.

교수방법에 관해서는, 의학교육의 임상 단계, 즉 임상 및 커뮤니케이션 기술의 교육(17%)과 임상실습(13%)에 다시 초점을 맞추고 있다. 3위는 PBL(7%)이다. 이것을 강의, 컴퓨터 지원 강의에 대한 상대적으로 강조가 부족한 것과 비교해보라. 이 주제들의 시간은 이제 지난 것 같다.

With regard to teaching methods, focus is again on the clinical phase of medical education: the teaching of clinical and communication skills (17%) and the clinical clerkships (13%). A good third is here PBL (7%). Compare this with the relative lack of emphasis on lectures and computer-assisted instruction. These topics seem to have had their time.

둘째로, 미국의과대학들이 의학 교육 연구의 대부분을 생산한다. 이것은 미국의 의과대학의 수가 상당히 많고 의학교육 연구가 먼저 이 나라에서 개발되었기 때문에 예상된 것이었다. 게다가, 미국의 의과대학들은 연구집중적인 경향이 있고 이러한 태도는 의학교육학교실로도 흘러가는 경향이 있다. 그러므로, 두 개의 캐나다 대학과 두 개의 유럽 대학이 가장 다재다능한 기관의 상위 10위 안에 든다는 것은 놀라운 일이다. 네덜란드의 마스트리히트 대학의 의학 교육학과는 사실 가장 생산적이다. 이러한 상황은 표 3에 요약된 조사 결과에 의해 강화된다. 여기 11명의 연구원 중 8명이 유럽인이나 캐나다인이다. 분명히, 의료 교육 연구는 다른 많은 의학 분야보다 더 국제적인 노력이다.

Second, US schools produce most of the research in medical education. This was to be expected because the number of medical schools in the US is sizable and medical education research developed in this country first. In addition, US medical schools tend to be research intensive and this attitude tends to spill over to the departments of medical education. It is, therefore, surprising to note that two Canadian and two European universities appear in the top-ten of most versatile institutions. The department of medical education of Maastricht University, The Netherlands, is in fact the most productive of all. This state of affairs is reinforced by the findings summarized in Table 3. Here eight out of eleven researchers are either European or Canadian. Clearly, medical education research is a more international endeavor than many other medical domains.

셋째로, PBL에 대한 관심은 평가에 대한 것보다 상당히 작아 보인다. 그러나, PBL을 다룬 핵심 논문은 표 4에 나타난 바와 같이 가장 많이 인용되는 것들 중 하나이다. 가장 인용된 기사 중 10개 중 4개는 PBL에 관한 것이고 20개 중 3개가 더 있다. 아마도 이러한 의학적 접근방식이 둘러싸고 있는 열정과 논쟁의 양에 대한 증인이 될 것이다. 가장 많이 인용된 논문은 모두 연구 논문이라기보다는 문헌에 대한 평론이다. 가장 많이 인용된 25개 논문 중 3개만이 original research이라는 점에서, 의학교육학은 review와 같은 문헌에 상당히 크게 의존하고 있는 것으로 보인다. 가장 많이 인용된 논문은 OSCE 형태의 시험에서 체크리스트와 글로벌평정 사이의 심리측정 특성 비교이다 (Regehr et al. 1998).

Third, PBL represents a considerably smaller domain of attention than assessment. However, its core articles are among the most cited in the field, as displayed in Table 4. Among the top-ten of most cited articles four are about PBL and among the top-twenty, there are another three. It is perhaps witness of the amount of enthusiasm and controversy that this approach to medical education surrounds. The most cited papers are all reviews of the literature rather than research articles. The field seems to quite heavily rely on such reviews because among the top 25 most cited articles only three present original research. The first appears on position twelve, involving a comparison between psychometric properties of checklists and global ratings in OSCE-format examinations (Regehr et al. 1998).

넷째, 의학 교육 문헌은 학생들의 전문적인 실습에 대한 직접적인 준비를 압도적으로 강조하고 있다. 거의 60%의 논문은 전문직으로서 학생의 문제를 직간접적으로 다루고 있다. 이것에는 아무 문제가 없다. 의사가 되기 위한 훈련은 높은 평가를 받는 교육이다. 학생들이 전문직으로서의 실천에 대한 준비가 제대로 되어 있지 않으면, 환자는 고통받거나 심지어는 죽을 수도 있다. 따라서 진단 및 관리 측면과 임상 및 대인 관계 기술 측면에서 임상 역량을 최적화하는 문제는 그러한 교육에 관련된 사람들에게 필수적이다. 그러나 대부분의 국가에서 임상 전 교육이 의료 훈련의 큰 부분을 차지하고 있지만, 임상 전 교육이 상당히 덜 광범위하게 연구된다는 것은 다소 실망스러운 일이다.

Fourth, the medical education literature shows an overwhelming emphasis on the direct preparation of students for professional practice. Almost 60% of the articles assessed deal with the issue of the student as professional in a direct or indirect way. There is nothing wrong with this. Training to become a doctor is high-stakes education: if students are poorly prepared for professional practice, patients may suffer or even die. Therefore, issues of optimizing clinical competence, both in terms of diagnosis and management and in terms of the clinical and interpersonal skills, are vital to those involved in such education. However, it is somewhat disappointing to note that preclinical education is studied considerably less extensively although in most countries it constitutes the larger part of medical training.

이런 주제들이 있을 것이다. 이런 문제들은 대부분 해결되지 않았고 의학적 교육을 개선하기 위한 해결책을 고려해야 마땅하다.

• 기초과학이 임상과학보다 앞서야 하는가, 아니면 첫날부터 통합이 가능한가? 

• 의학에서 가르치는 것은 다학문이어야 하는가 아니면 건강과 질병에 대한 깊은 이해를 위한 단일학문적인 것인가? 

• 학생들이 효과적으로 배우기 위해서는 강의를 통한 교육이 얼마나 필요한가? 

• 기초과학을 깊이 이해하면 진단추론이 어느 정도 개선되는가? 

• 어떻게 해부학, 생리학 또는 생화학에서 실용성을 학습에 최적화할 수 있는가? 

• 진단 전문지식에 사용되는 지식의 본질은 무엇인가?

Issues such as: 

• Do the basic sciences need to precede the clinical sciences or is integration possible from day one? 

• Should teaching in medicine be multidisciplinary or is a disciplinary approach essential for deep understanding of health and disease? 

• How much guidance through lecturing do students need in order to learn effectively? 

• To what extent does deep understanding of the basic sciences improve diagnostic reasoning? 

• How can practicals in anatomy, physiology or biochemistry be optimized for learning? 

• What is the nature of the knowledge used in diagnostic expertise? 

...are largely unresolved and deserve resolution to improve medical education.

다섯 번째 관찰은 의학 교육 연구가 거의 전적으로 학생 개개인과 그의 학습에 맞춰져 있는 것처럼 보인다는 것이다. 사실 이 두 개념은 초록에서 가장 빈도가 높은 개념들이었다. 동기, 학습 스타일, 학업 성취도, 추론능력, 그리고 시험에서의 학생간의 차이의 타당성은 이 점에서 중요한 개념이다. 의학 교육 연구는 철저히 '심리학化된' 것처럼 보인다."지난 20년 동안 이 분야를 지배해 온 과학자들이 누군지를 생각한다면 이는 그리 놀랄 일이 아니다. 표3과 표5에 기재된 연구자의 거의 절반이 심리학자로, 심리학자들은 개별화된 외관유리를 통해 세상을 보는 경향이 있다. 이 수사관들은 좋은 아이디어와 많은 엄격함을 현장에 가져왔으나 현실에 대한 시야도 좁혔을 것이다.

A fifth observation is that medical education research seems almost exclusively geared toward the individual student and his learning. In fact these two concepts were among those with the highest frequency in the abstracts. Motivation, learning styles, academic achievement, reasoning skills, and validity of differences between students on tests are important concepts in this respect. Medical education research seems thoroughly ‘‘psychologized.’’ This may come as no big surprise if one considers the scientists who have dominated the field for the past 20 years. Almost half of the researchers listed in Tables 3 and 5 are psychologists, and psychologists tend to see the world through an individualizing looking glass. These investigators have brought good ideas and much rigor to the field, but may have also narrowed its view on reality.

의학적 교육과 상당히 관련이 있어 보이는 다른 관점(분야)에서 출발할 수 있는 질문을 만드는 것은 어렵지 않다. 예를 들어: 

It is not difficult to formulate questions provoked by other perspectives that seem quite relevant to medical education. For instance: 

(1) 시스템 관점. 우리는 평균적으로 의대생들은 명목상 가능한 것보다 졸업할 시간이 더 필요하다는 것을 안다(Schmidt et al. 2010). 특히 유럽에서는 학생들이 공부를 미루는 경향이 큰 문제다. 우리는 또한 시험이 학습을 촉진한다는 것을 알고 있다(Van der Vleuten 2000). 왜 아무도 학습 기간을 최적화하기 위해 체계적으로 시험 시스템을 실험하지 않는가? 일련의 순차 모듈로 커리큘럼을 구성하면 병렬로 가르치는 과목에 비해 학습이 상당히 향상되는 것 같다(Jansen 2004). 이것은 왜 그런 것인가요?

(1) A systems view. We know that medical students on average need more time to graduate than is nominally available (Schmidt et al. 2010). In particular in Europe, students tending to postpone studying is a big problem. We also knowthat examinations drive learning (Van der Vleuten 2000). Why is nobody systematically experimenting with examination systems to optimize study duration? Organizing the curriculum in a series of sequential modules seems to improve learning considerably as compared with teaching subjects in parallel (Jansen 2004). Why is this so?

(2) 사회학적 관점. 의대에 입학한 사람들은 더 상위권 중산층 가정에서 오는 경향이 있다. 졸업생으로서 이러한 학생들은 인구의 큰 부분의 삶의 도전에 대한 경험이 제한되어 있다고 가정할 수 있다. 실제로 그러한가? 그리고 이 제한된 경험이 해당 인구집단을 serve하는 능력에 영향을 미치는가?

(2) A sociological view. Those admitted to medical school tend to come from higher middle class families. One may assume that these students as graduates have only limited experience with the kinds of life challenges of large segments of the population. Is this so? And does this limited experience affect their ability to serve those segments?

(3) 경제적 관점. 짧은 시간에 더 많은 의사들을 훈련시키는 것이 가능한가? 우리는 여러 나라에서 의료 교육을 줄이려는 시도가 있었다는 것을 알고 있다. 이 시도들의 결과는 무엇인가? 어떤 경우에는 12년 동안 훈련을 받고 있는 고학력 전문직 종사자들의 훈련이 정말 필요한 것인가? 덜 훈련된 건강 전문가를 의료 실무에 참여시키는 것이 가능한가? 의료훈련에 어떤 결과가 나올까?

(3) An economic perspective. Is it possible to train more doctors in a shorter time? We know that there have been attempts to shorten medical education in several countries. What are the results of these attempts? Is the training of highly qualified professionals who are in training in some cases for 12 years really what is needed? Is it possible to involve lesser-trained health professionals in medical practice? What would be the consequences for medical training?

(4) 생태학적 관점. 의사들의 초기 훈련을 위해 3차 진료 병원이 어느 정도 필요한가? 1961년에 이미 이러한 병원에서는 인구의 질병 패턴의 변동의 1% 미만으로 구성된 가장 아픈 환자만을 치료한다는 것을 알게 되었다(White et al. 1961). 게다가, 교육병원마다 임상실습동안 학생들에게 경험을 제공하는 능력에 있어서 상당히 편차가 크다. (Wimmers 등, 2006) 그러므로 주로 1차 진료 환경에서 사무직을 수행하는 것이 더 효과적이지 않을까?

(4) An ecological perspective. To what extent do we need tertiary care hospitals for the initial training of doctors? It was already noticed in 1961 that these hospitals treat only the most ill patients comprising less than 1% of the variation in disease patterns in the population (White et al. 1961). In addition, teaching hospitals vary considerably in their ability to provide student during clerkships with an all round experience (Wimmers et al. 2006). Would it therefore not be more effective to conduct clerkships largely in primary-care contexts?

이러한 문제들을 다루는 더 많은, 그리고 더 결정적인 연구를 의료 교육 및 의료 관행의 질에 중요한 것으로 보인다.

It seems important to initiate more, and more conclusive, research dealing with these issues important to the quality of medical education and medical practice.

여섯 번째 관찰은 의학 교육에서 행해지는 대부분의 연구가 발견 중심적이기 보다는 효과 중심인 것처럼 보인다는 것, 즉 새로운 접근법을 발견하기 보다는 기존 접근법의 상대적 효과를 연구한다는 것이다. 60년대부터 다섯 가지 혁신이 의학 교육 연구로부터 나타났다고 주장할 수 있다: 

• (1) 내용 특이성 현상, 그리고 임상적 추론이 넓은 범위의 지식에 기초하고 있다는 밀접하게 관련된 발견, 

• (2) 문제 기반 학습, 

• (3) 전문 기술의 훈련에 대한 체계적인 접근, 

• (4) OSCE, 그리고 

• (5) 글로벌 평정 등급이 세부 체크리스트보다 타당하다는 확인. 

A sixth observation is that most research conducted in medical education seems to be effectiveness-driven rather than discovery-driven, that is: it studies the relative effectiveness of existing approaches rather than to discover new ones. One could argue that, since the sixties five innovations have emerged from medical education research: 

• (1) the content specificity phenomenon, and the closely related finding that clinical reasoning is to a large extent knowledge based; 

• (2) problem-based learning, 

• (3) a systematic approach to the training of professional skills, 

• (4) the OSCE, and 

• (5) the finding that global ratings of performance are more valid than detailed checklists. 

1만 개 이상의 연구결과를 생산하기 위해 들어간 에너지와 인력의 양으로 볼 때 이것은 상당히 빈곤한 수확으로 보인다.

This seems to be a fairly limited harvest given the amount of energy and manpower that has gone into producing the 10,000 or more articles.

게다가, 이러한 혁신들은 대부분의 다른 주제들과 같은 효과성 바이러스의 희생양이 되었다. 그 대표적인 예가 문제 기반 학습이다. 이 영역에서 대부분의 연구 노력은 다양한 종류의 전통적인 교육(Albanese and Mitchell 1993; Colliver 2000; Dochy et al. 2003; Gijbels et al. 2005; Khoo 2003; Vernon and Blake 1993)과 비교하여 PBL의 상대적 효과에 대한 연구에 들어갔다. 반면에, 다음과 같은 질문에 대한 대답을 찾으려는 연구는 매우 적었다. 왜 효과가 있을까? 어떻게 개선할 수 있을까? 이러한 발견 지향적인 질문들은 대부분 해답이 없다. 지나치게 많은 연구가 사상의 정당성을 목표로 하고 있고 명확화를 목표로 하는 것은 너무 적은 것 같다.

In addition, these innovations have been fallen prey to the same effectiveness virus as most other topics. A case in point is problem-based learning. Most of the research effort in this domain went into studying the relative effectiveness of PBL compared to various kinds of conventional education (Albanese and Mitchell 1993; Colliver 2000; Dochy et al. 2003; Gijbels et al. 2005; Khoo 2003; Vernon and Blake 1993). On the other hand, very limited research has been dedicated to answering questions such as: What works in PBL? Why does it work? How can it be improved? These discovery-oriented questions remain largely unanswered. It seems that too much research is aimed at justification of ideas and too little aimed at clarification.

일곱째, 시간이 지남에 따라 다양한 영역의 변화를 조사하면 이 분야에 대한 관점이 다소 달라진다. 분명히 임상적 추론과 같은 일부 영역이 계속 관심을 끌고 있다. 컴퓨터 보조 교육 같은 다른 것들은 '전성기'를 지나고 있는 것처럼 보인다. 이러한 추세에 대한 관찰은 쉬우며, 해석은 더욱 어렵다. 애초에, 무엇이 바람직한지 또는 바람직하지 않은지를 판단하는 것이 명확하지 않다. 위에서 설명한 바와 같이 대부분의 연구가 효과 중심이라면, 한 분야가 나타나고 활동의 초점을 보여준 다음, 필요에 따라 사라지는 패턴을 잘 볼 수 있을 것이다. 질문이 제기되고, 답변을 얻는다. 이런 관점에서 보자면, 체계적인 검토는 효과성 연구의 최종 산물이다.

Seventh, examining the changes in various areas over time yields a somewhat different perspective on the field. Clearly some areas, such as clinical reasoning, continue to attract interest. Others such as computer-assisted instruction, appear to have ‘‘had their day’’. Observation of these trends is easy; interpretation is more difficult. From the outset, it is not clear what should be viewed as desirable or undesirable. If, as described above, most research is effectiveness-driven, then one might well view a pattern where a field emerges, shows a focus of activity, then disappears, as desirable. The question has been raised, then answered. The systematic reviews are the final product from such a perspective.

반면 과학철학적 관점에서 보자면, 어떤 분야가 진보한다는 것은 새로운 의문이 끊임없이 제기된다는 뜻이다. 쿤이 말한 '과학 혁명'은 [질문이 고갈된 죽어가는 퇴보적인 연구 패러다임]에서 [새롭고 흥미로운 질문이 제기되는 새로운 패러다임]으로 바꾸는 것을 의미한다. 라카토스는 어떤 프로그램의 진보성에 대해서 "더 세련된 질문들을 계속해서 만들 수 있는 정도에 따라 "퇴보적" 또는 "진보적"이라고 판단한다(Lakatos and Musgrave 1974). 많은 교육 지도자들이 이 분야가 이론적으로 저개발되어 있다고 보는 점(Albert et al. 2006)을 고려할 때, 20년 동안 지속적이고 꾸준한 성장을 보여 온 임상 추론과 같은 영역이 진보적인 연구 영역의 원형이라고 가정할 수 있다.

On the other hand, from a philosophy of science perspective, a field is progressive to the extent that new questions are constantly arising. Kuhn’s ‘‘scientific revolutions’’ (Kuhn 1962) arise from a change from dying, regressive research paradigms that have run out of questions to new paradigms that create new and interesting questions. Lakatos directly describes programs as ‘‘regressive’’ or ‘‘progressive’’ to the extent that they can continue to create new and more refined questions (Lakatos and Musgrave 1974). Given the perspective on many educational leaders that the field is underdeveloped in theory (Albert et al. 2006), one could presume that a domain such as clinical reasoning, which has shown consistent and monotonic growth over two decades, is a prototype of a progressive, research domain.

여덟째, 강조의 관점에서, "북미"와 "유럽" 의학교육 사이의 약간의 차이가 나타난다. 이러한 차이점들은 주로 new world와 old world 사이의 정치-문화적 차이에서 기인하는 것 같다. 고등교육에서 소수민족 학생들의 위치는 그러한 이슈 중 하나이다. 미국의 고등교육은 어떻게 하면 인종적 측면에서 접근을 공정하게 할 것인가와 씨름하고 있지만, 아직 유럽은 이 문제에 도달하지 못했다. 하지만 유럽이 점점 다양해지면서 그러한 방향으로 갈 것이다있다. 문화적 역량에 대해서도 마찬가지다. 여성의 건강에 대한 강조가 저조한 것은 이 운동이 모국보다 해외에서 더 성공적이었음을 시사하는 것 같다.

Eighth, in terms of emphasis some differences between ‘‘North-American’’ and ‘‘European’’ medical education emerge. These differences seem to be largely due to politico-cultural distinctions between the new and the old world. The position of minority students in higher education is such an issue. While US higher education wrestles with how to make access fair in terms of ethnicity, this issue has not yet reached Europe, but it may, as Europe becomes more diverse. The same applies for cultural competence. Differential emphasis on woman’s health seems to suggest that this movement has been more successful abroad than on the mother continent.

Adv Health Sci Educ Theory Pract. 2012 Oct;17(4):515-27. doi: 10.1007/s10459-011-9328-x. Epub 2011 Oct 5.

The themes, institutions, and people of medical education research 1988-2010: content analysisof abstracts from six journals.

리뷰어는 언제나 옳다: 의학교육의 피어리뷰 (Med Educ, 2009)

The reviewer is always right: peer review of research in Medical Education

Kevin W Eva

글렌 레헤르가, '평론가는 항상 옳다'고 했을 때, 나의 반응은 이 말을 읽는 대부분의 작가들의 반응과 비슷했을 것이라고 생각한다.

When I first heard Glenn Regehr, say‘The reviewer is always right’, I imagine my reaction must have been similar to those of most authors upon reading the quote

이 사설은 첫째, 피어리뷰의 구조에 어떻게 생산적으로 접근할 수 있는지에 대한 나의 관점에서 작성되며, 둘째, 피어리뷰가 활용되는 방법을 시도하고 강화하기 위해 저널에서 우리가 구현하고 있는 전략의 일부를 강조하기 위해 작성된다.

this editorial is written, firstly from the perspective of an author regarding how one might productively approach the construct of peer review and, secondly, in order to highlight some of the strategies we are implementing in the journal to try andstrengthenthe way in which peer review is utilised.

그렇다면, 검토자가 잘못했던 경우가 그렇게 많음에도 불구하고, 어떻게 리뷰어가 항상 옳을 수 있을까? 대답은, 다소 원형으로, 불쾌한 사례에서조차, 리뷰어가 틀리지 않았다는 것이다.

So, how can it be that the reviewer is always right when it is so easy to recall instances in which the reviewer has been wrong? The answer, somewhat circularly, is that, even in those infuriating instances, the reviewer was not wrong.

처음 한 말에 이어, 레게르는 '만약 검토자가 어떤 것을 오해했다면, 내가 검토자의 주장을 명백히 문자그대로 반박하는 문단을 짚어낼 수 있다 하더라도, 저자로서 나는 그 주장을 clear하게 짚어내는데 실패한 것이다'고 명확히 했다. 리뷰어들이 무엇인가를 놓치거나 오해할 수 있지만, 리뷰어들은 저널의 어떤 일반적인 독자보다 훨씬 더 신중하고 의도적으로 우리의 논문을 읽는 경향이 있다는 것을 기억할 필요가 있다.

beyond his initial statement, Regehr clarified that: ‘If the reviewer has misunderstood something, even if I can point to a paragraph in the text that explicitly and literally counters the reviewer’s claim, then I as the author have failed to make the point clearly.’ Reviewers can miss or misinterpret things, but we as authors need to remember that peer reviewers tend to read our papers much more carefully and deliberately than the general readership of any journal does.

혼란을 최소화하는, 즉 영향을 극대화하는 방법으로 메시지를 전달할 방법을 찾기 위한 저자로서의 책임은 우리에게 있다.

the onus is on us as authors to find a way to pitch the message in a way that minimises confusion and, in turn, maximises impact

결국 평론가들은 우리의 청중이기도 하다. 그들은 우리가 우리의 연구 노력을 읽고 사용하기를 원하는 사람들이다. 그리고 만약 우리가 그들에게 우리의 연구를 명확하고 의미 있는 방식으로 하지 않는다면, 우리는 그것이 출판되더라도 그것의 영향이 optimal하지 않을 것임을 확신할 수 있다.

The reviewers, after all, are also our audience. They are the people we want to read and use our research efforts and if we do not pitch our work to them in a way that makes it clear and meaningful, then we can be sure that its impact will be less than optimal, even if it is published.

본능적인 반응들을 잠깐 접어두고, 어떻게 우리의 원고가 리뷰어의 피드백을 기반으로 개선될 수 있는지 이해하려고 노력하는 것이 절대적으로 중요하다.

it is absolutely vital to set our visceral reactions aside and try to understand how our work could be improved based on the feedback received.

시간이 흐르고 감정이 가라앉으면, 받은 의견을 바탕으로 어떻게 원고를 더 잘 개선할 수 있는지에 대해 열린 마음으로 질문하며 다시 논문으로 돌아가라. 피어리뷰가 갖는 모든 결점에도 불구하고, 나는 그 과정을 거치면서 개선되지 않은 논문을 본 적이 없다.

allow time to pass and emotions to subside, and then return to your paper with a spirit of openly questioning how it can be made better based on the comments received. For all the flaws inherent in peer review, I have never seen a paper, that was not improved as a result of going through the process.

이런 것을 고려하더라도, 우리는 여전히 리뷰어가 항상 옳도록 보장할 의무가 있다고 믿는다, 내용을 통제하는 것이 아니라, 피어리뷰의 과정을 효율적이고 전문적이며 건설적으로 실행하기 위해 우리가 할 수 있는 모든 것을 해야 한다는 의미이다.

Having said all that, we at the journal still believe that we have an obligation to ensure that the reviewers are always right, not at the level of controlling content, but at the level of doing whatever we can to run the process in an efficient, professional and constructive manner.

리뷰어로서, 어떤 경우든지 궁극적인 목표는 '내가 무엇을 배웠는가?'와 '저자들로 하여금 어떻게 내가 더 많이 배우도록 도울 수 있을까?'를 심사위원으로서 스스로에게 물어보는 것이어야 한다. 즉 '저자들이 전달하고자 하는 주장을 내게 납득시킬 수 있으려면 무엇을 해야했을까?' 만약 당신이 검토자로서 그 질문에 대답할 수 없다면, 애초에 해결될 수 없는 문제인지, 연구 방법이 수행가능하지 않은 것인지, 아니면 리뷰어가 불합리한 것인지를 결정할 필요가 있다.

The ultimate goal, in all instances, should be to ask yourself, as the reviewer, ‘Did I learn anything?’ and ‘How could the authors have helped me learn more?’ In other words, ‘What could the authors have done that would convince me of the argument they are trying to convey?’ If you cannot answer that question as a reviewer, it is necessary to determine whether the problem is unsolvable, the research method is untenable, or the reviewer is irascible and unreasonable.

동시에, 당신은 피어리뷰 과정에 적극적으로 참여하는 것이 이타적인 행동이라는 느낌을 가질 필요가 없다. 내가 학업을 시작할 때, 나는 내가 부탁받은 만큼 자주 동료 평가를 제공하는 것에 동의하는 것을 권고받았다. 나의 스승인 리 브룩스가 내게 한 주장은 피어리뷰는 아래를 위한 훌륭한 방법이라는 것이었다. 

• (a) 지역사회의 관심사를 보다 폭넓게 파악하는 수단

• (b) 연구분야에서 추가 연구할 가치가 있는 특정 문제에 대해 연구자 간 생각의 차이를 아는 수단

• (c) 해당 분야의 의견 리더들에게 당신이 시기적절하고 사려 깊은 동료 평가를 쓸 수 있다는 것을 보여줌으로써, 자기자신의 권리에 공동체에 보여주는 수단

At the same time, you don’t need to feel altruistic to want to actively engage in the peer review process. When I was starting my academic career I was advised to agree to provide a peer review as often as I was asked. The argument put to me by my mentor, Lee Brooks, was that reviewing is a great way to 

(a) get a broader view of the issues of interest in the community, 

(b) identify gaps in the way the community is thinking about particular issues worthy of further study, and 

(c) become established in the community in your own right by showing opinion leaders in the field that you are capable of writing timely and thoughtful peer reviews.

2 Roediger HL. Twelve tips for authors. APS Observer 2007;20 (6): http://www.psychologicalscience. org/observer/getArticle. cfm?id=2185. [Accessed 9 December 2008.]

https://www.psychologicalscience.org/observer/twelve-tips-for-authors

6 Roediger HL. Twelve tips for reviewers. APS Observer 2007;20 (4): http://www.psychologicalscience. org/observer/getArticle.cfm?id= 2157. [Accessed 9 December 2008.]

https://www.psychologicalscience.org/observer/twelve-tips-for-reviewers

Med Educ. 2009 Jan;43(1):2-4. doi: 10.1111/j.1365-2923.2008.03243.x.

The reviewer is always right: peer review of research in Medical Education.

저널에서 논문을 리젝하거나 억셉하는 이유: 의학교육리포트의 강점과 약점(Acad Med, 2001)

Reasons Reviewers Reject and Accept Manuscripts: The Strengths and Weaknesses in Medical Education Reports

Georges Bordage, MD, PhD

길버트와 추빈은 학문 간 전문지인 사이언스의 사회학에서 거부된 원고들에 대한 평론자들의 논평 샘플을 위해 이 같은 분석을 실시했다. 그들은 원고를 거절한 것에 대해 가장 빈번한 검토자들이 제시한 이유가 "부실한 주장" 즉, 설득력 있는 주장을 펴지 못했다는 것임을 발견했다. 자주 주어진 다른 이유로는 서투른 글쓰기, 기존 문헌에 대한 무지, 참신함의 결여, 자료나 문헌에 대한 오해나 오용 등이 있었다. 평론가들은 논평을 쓰지만, 평론가의 합의 수준은 여전히 매우 다양하다. 추빈과 해킷은 서로 다른 과학 분야에서의 연구를 평가하면서 리뷰어들 사이의 낮은 합의를 보고했으며, 0.25 범위 내에서의 신뢰도를 나타냈다.1 이 연구는 편집자들이 알고 있는 것을 확인시켜준다: 주어진 원고에 대해서 리뷰어들은 각기 다른 문제에 초점을 맞춘다.

Gilbert and Chubin1, p. 108 conducted such an analysis for a sample of reviewers’ comments on manuscripts that had been rejected from Social Studies of Science, an interdisciplinary specialty journal. They found that the most frequent reason reviewers offered for rejecting a manuscript was ‘‘poor argumentation,’’ that is, failing to make a convincing case. Other reasons frequently given included poor writing, ignorance of the literature, lack of novelty, and misunderstanding or misapplying the data or the literature. While reviewers do write comments, the level of agreement among reviewers remains highly variable. Assessing studies from different areas of science, Chubin and Hackett reported poor agreement among reviewers, with inter-rater reliability in the 0.25 range.1 The research confirms what editors have known: Reviewers for any given manuscript focus on different issues.

방법

METHOD

이 연구에 한 데이터 세트가 사용되었는데, 1997년과 1998년에 미국 의학대학협회(AAMC)가 매년 후원하는 의학 교육 연구(RIME) 컨퍼런스를 위해 제출된 연구 원고 검토가 그것이다.

One data set was used for this study: reviews of research manuscripts submitted in 1997 and 1998 for the Research in Medical Education (RIME) conference sponsored annually by the Association of American Medical Colleges (AAMC).

분석은 전적으로 저자에 의해 수행되었다. 분류편향을 피하기 위해 연도별로 등급과 코멘트를 비틀어 분석했다(즉, 1997년부터 20회, 1998년부터 20회, 기타). 이유는 검토자 한 명당 한 번만 집계되었다. 코멘트(예: "문제성 무작위화")가 둘 이상의 이유 범주(예: 연구 설계 또는 샘플링)에 속할 때마다 코멘트는 코멘트가 나타난 맥락에서 가장 잘 지시되는 범주에 할당되었다.

The analysis was performed solely by the author. To avoid categorization bias, the ratings and comments were analyzed in a staggered fashion according to years (i.e., 20 from 1997 followed by 20 from 1998, etc.). Reasons (comments) were tallied only once per reviewer. Whenever a comment (e.g., ‘‘questionable randomization’’) could belong to more than one category of reason (e.g., research design or sampling), the comment was assigned to the category best dictated by the context in which it appeared.

결과

RESULTS

내용 분석 중에는 주요 리젝의 이유나 '치명적 결함'을 사소한 이유와 구별하는 것이 불가능했다. 일부 부정적인 논평은 분명히 다른 것들보다 덜 중요했으며, 그것의 대부분은 저자들을 돕기 위한 교육적 마인드 차원에서 언급된 것이었다. 다수의 리뷰어가 게재불가를 판단했을 때, 반대 의견의 수는 전체 리뷰어의 절반 이하 또는 한 명의 검토자만 게재불가를 권고했을 때와 비교하여 두 배(약 6개의 부정적 의견에서 12개까지) 증가하였다.

During the content analysis, it was not possible to distinguish major reasons or ‘‘fatal flaws’’ from minor reasons; some of the negative comments were definitely less important than were others and were stated mostly in an educational spirit to help the authors. When a majority of reviewers recommended rejection, the number of negative comments overall doubled (from approximately six negative comments to 12) compared with when fewer than half of the reviewers or a single reviewer recommended rejection.

원고 거부에 대해 심사자가 제시한 사유 수와 비율은 광범위한 범주와 연도별로 표 1에 제시되어 있다. 검토자가 작성한 부정적 의견의 거의 3/4 (70.1%)는 20가지 이유로 분류되었다(표 2 참조). 이유와 부정적인 논평의 전체 목록은 부록 A에 제시되어 있다.

The numbers and percentages of reasons given by the reviewers for rejecting manuscripts are presented in Table 1 according to broad categories and by years. Almost three fourths of the negative comments written by the reviewers (70.1%) were categorizable to 20 reasons (see Table 2). The complete list of reasons and negative comments is presented in Appendix A.

논문을 리젝하는 20개 이유

Top 20 Reasons (Negative Comments) Written by the Reviewers Recommending Rejection of 123 Medical Education Manuscripts*

고찰

DISCUSSION

긍정적인 논평과 부정적인 논평의 전반적인 패턴은 연구된 2년 동안 상당히 유사했다. 그러나 리뷰어의 논평의 다양성은 원고마다 다른 측면에 초점을 맞추었거나, 반대 의견마다 가중치가 달랐음을 시사했다. 따라서 편집자는 콘텐츠 전문성, 방법론 전문성 및 교육적 관련성 사이에서 균형을 이루도록 검토자를 선택해야 한다.

The overall patterns of positive and negative comments were quite similar across the two years studied. However, the diversity of the comments made by the reviewers suggested, once again, that they had focused on different aspects of the manuscripts or weighted their objections differently. Consequently, editors should select reviewers in such a way as to strike a balance between content expertise, methodologic expertise, and educational relevance.

이 연구의 검토자들이 원고를 거절한 이유는 길버트와 추빈의 리스트 1, 페이지 109를 확인시켜 주었지만 훨씬 더 상세하다. 또한 이 연구에서 원고를 reject하는 이유는 단순히 원고를 accept하는 이유에 대한 반대가 아니었다. 연구자와 저자는 [좋은 연구와 좋은 글쓰기의 자질(예: 관련성과 잘 짜여진 원고)]과 [부실 연구와 형편없는 원고(예: 부적절한 통계와 결과의 과잉 해석)의 단점] 모두에 주의를 기울일 필요가 있다. 

The reasons given by the reviewers in this study for rejecting manuscripts confirmed Gilbert and Chubin’s list,1, p. 109 but are even more detailed. Also, the reasons for rejecting manuscripts in this study were not simply mirror images of the reasons given for accepting manuscripts. Researchers and authors need to pay attention both to qualities of good studies and good writing (e.g., relevance and well-crafted manuscripts) and to shortcomings of poor studies and poorly written manuscripts (e.g., inappropriate statistics and overinterpretation of the results). 

리뷰어는 연구자가 본인 연구의 한계를 무시하기보다는 연구의 한계를 인정하는 것(예: 선택 편견, 전력 부족 또는 낮은 신뢰성)의 중요성을 강조했다. 일부 평론가에 의해 지적된 바와 같이, 설계와 결과를 과학적 문장으로 만드는 "정직한" 접근방식은 출판될 확률을 증가시킬 가능성이 있다. 

A number of strengths identified by the reviewers emphasized the importance of researchers’ acknowledging the limitations of their studies (e.g., possible selection biases, lack of power, or low reliability) rather than ignoring these deficiencies. An ‘‘honest’’ approach to design and results in scientific writing, as noted by some reviewers, is likely to increase one’s chances of being published. 

따라서 연구자들은 연구의 설계 단계에서, 그리고 결과 분석 이후 모두에서 가능한 편견과 교란 변수를 식별하기 위해 의식적인 노력을 기울여야 한다. 연구원들은 스스로에게 '경쟁적인 가설로는 무엇이 있으며, 대안적 설명은 무엇이 있는가? 그리고 어느 정도까지 그것들을 통제하거나 설명할 수 있는가?’’

Consequently, researchers need to make a conscious effort to identify possible biases and confounding variables, both during the design phase of the study and once the results are in. Researchers should ask themselves, ‘‘What are the competing hypotheses3 or alternative explanations and to what extent can they be controlled or explained?’’

많은 평론가들은 글쓰기의 퀄리티(좋은 것과 나쁜 것)를 문제삼았으며, 잘 짜여진 원고를 제출하는 것이 필수임을 시사했다. 좋은 글쓰기는 원고를 받아 들이는 데 중요한 자산인 반면, 서투른 글쓰기는 평론가를 짜증나게 하고 저자의 출판 기회를 감소시킬 가능성이 있다.

Many reviewers raised the issue of quality of writing (good and bad), suggesting that submitting well-crafted manuscripts is vital. Good writing is an important asset in getting one’s manuscript accepted, while poor writing is likely to annoy reviewers and decrease the author’s chance of getting recommended for publication.

결론적으로, 300년 전과 마찬가지로, 과학의 상호의존성과 훌륭한 원고를 제작하는 데 있어서의 글쓰기의 기술은 오늘날에도 여전히 유효하다. 보일라우의 두 인용구를 떠오르게 한다: 

• "분명히 이해되는 것은 잘 표현되어 있으며, 쉽게 이해할 수 있다." 

• "20번씩 글쓰기에 투자해서, 끊임없이 연마하고 다시 윤색하라."

In conclusion, the interdependence of science and the art of writing in producing good manuscripts brings to mind two quotes from Boileau7 that are as true today as they were over three centuries ago when they were written about the art of poetry: ‘

• ‘What is clearly understood is well expressed and the words to say it come easily’’; and 

• ‘‘Twenty times on the stocks put your work, polishing it unceasingly and repolishing it.’’ 

과학적인 글쓰기는 [좋은 과학의 수행]과 [좋은 원고 작성], 둘 다를 요구한다.

Acad Med. 2001 Sep;76(9):889-96.

Reasons reviewers reject and accept manuscripts: the strengths and weaknesses in medicaleducation reports.

의학교육 연구에서 성찰에 대한 이론적 지향 다시보기: 비판적 문헌고찰(Med Educ, 2015)

Reclaiming a theoretical orientation to reflection in medical education research: a critical narrative review

Stella L Ng,1,2,3,4,5 Elizabeth A Kinsella,6 Farah Friesen1 & Brian Hodges5,7

도입

INTRODUCTION

성찰과 성찰적 실천은 전문직 교육에서 학술적 대화에서 흔히 다뤄지는 주제가 되었다;1 피어리뷰 저널의 성찰에 대한 초기 논의는 1959년으로 거슬러 올라간다.2

Reflection and reflective practice have become popular topics of scholarly dialogue in professional education;1 early discussions of reflection in peer-reviewed medical journals date back to 1959.2

환원주의적 접근법에 대한 주의사항은 다음과 같다.

notes of caution about reductionist approaches

환원주의적 접근법은 성찰과 그 복잡성을 활동의 개별 구성요소 또는 프로세스의 단계로 세분한다. 일부에서는 공식적인 평가 및 환원적 접근방식을 사용한다면 성찰의 본질과 목적이 손상될 수 있다고 주장해왔다.8–10

Reductionist approaches break down reflection and its complexity into discrete components of activity, or steps of a process. Some have argued that the very essence and purpose of reflection may be compromised when it is subjected to formal evaluation and reductive approaches.8–10

대체로, 현재 전문직에서 채택되고 있는 성찰 및 성찰적 실천의 기원은 Dewey, 11 Freire, 12 Habermas, 13 Kolb14, Sch€on.15–19등이 있다.

Broadly speaking, the origins of reflection and reflective practice as they are now taken up in the professions have been credited to Dewey,11 Freire,12 Habermas,13 Kolb14 and Sch€on.15–19

널리 추천된 성찰 이론의 창시자들은 성찰을 교육하기 위하여 환원주의적 접근법을 취해야 한다고 주장하지 않았고 성찰을 평가하기 위한 도구적 접근을 요구하지 않았음도 물론이다.10,16,19,21–23

Notice that the widely touted originators of theories of reflection did not call for reductionist approaches to teaching it and certainly not for instrumental approaches to assessing it.10,16,19,21–23

왜 의학교육에서 이뤄지는 성찰의 방식에 대해 우려를 제기하는가? Hodges24는 성찰의 의학교육과 평가에서 지배적인 담론이 되었다고 제안했다. 이 담론에서 학생은 self-assessor이며 선생은 confessor이다. 예를 들어, 보건 전문가 전반에 걸쳐, 자기 평가와 학습의 문서화를 중심에 둔 포트폴리오를 사용하여 학생들에게 성찰적 글쓰기를 요구하는 것이 흔해졌다.

Why raise concerns about the way reflection has been taken up in medical education? Previously, Hodges24 suggested that reflection has become a dominant discourse in medical education and assessment. This discourse is said to construct the student as self-assessor and the teacher as confessor. For example, across the health professions there is a preponderance of portfolios requiring written reflections from students, with an overarching theme of self-assessment and documentation of learning.25–36 

그러나, 우리는 의학 교육에 성찰이 이렇게 실용적으로 적용되면서 성찰 이론가들에 의해 발전을 이뤄온 이론적 틀에서 벗어나고 있다고 제안한다. 또한, 우리는 성찰을 이러한 방식으로 적용하면서 적용이 그것의 더 큰 잠재력을 잃게 된 댓가로 교육의 '유행'이 되었다고 생각한다.

Yet, we propose that these practical applications of reflection in medical education are removed from the theoretical framings advanced by theorists of reflection. Further, we argue that these applications are at risk of becoming ‘trendy’ in education at the cost of distracting from the richer potential of reflection.

우리는 역설의 양면을 나란히 표현합니다. 즉, 성찰에 대한 이론은 명백히 환원주의에 맞지 않으며, 불확실성 안에서 예술성을 위한 공간을 장려한다. 그러나 의학 교육에서 성찰은 주로 도구나 기술적인 방법으로 적용됩니다.

we juxtapose two sides of a paradox: theories of reflection explicitly resist reductionism and promote a space for artistry within uncertainty, yet in medical education, reflection is chiefly applied in instrumental or technical ways.

방법

METHODS

의학교육연구에서 성찰에 대한 두가지 이론적 관점

TWO THEORETICAL FRAMINGS OF REFLECTION FOR MEDICAL EDUCATION RESEARCH

two theoretical framings for reflection. 

(i) 실천의 인식론 an epistemology of practice, and 

(ii) 탐구를 위한 비판적 접근 a critical approach to inquiry.

실천의 인식론으로서의 성찰

Reflection as epistemology of practice

Sch€on의 실천에 대한 인식론에서 말하는 성찰이란 성찰적 실천으로 알려져 있습니다. Sch€on의 실천에 대한 인식론에서, 성찰적 실천은 기술-기반 자기-평가 이상의 것을 제공하며, 의료 및 보건 직업 교육에 대한 연구를 위한 유용한 이론적 프레임워크가 됩니다.

Reflection, as taken up in an epistemology of practice by Sch€on, is known as reflective practice.15,19,21,23,51,53 In Sch€on’s epistemology of practice reflective practice offers more than skills-based self-assessment and, becomes a useful theoretical framework for research in medical and health professions education.15,19,21,23,54

의학교육의 실천 및 연구에서 이론은 거시적(범용), 중간 수준(지역적 시스템) 또는 미시적 수준(개별적)으로 나누어 질 수 있으며, 이론이란 조직화되고 체계적이고 일관성있는 설명이다. 우리는 의학교육에 대한 연구를 위한 '실천의 인식론'이 주로 미시적 또는 아마 중간 수준의 이론을 제공한다고 제안한다.

in medical education practice and research.55 Theories can be thought of as macro-level or grand (universal), mid-level (local systems) or micro-level (individual), and are defined as organised, coherent and systematic articulations.56 We suggest that epistemologies of practice,15,19,21–23,54,57 offer micro-level and perhaps mid-level theory for research in medical education.

실천에 대한 인식론은, (실천에 필요한 경험적, 암묵적 지식도 물론 있지만) 실천이란 단순히 이론과 연구 지식을 적용하는 것일 뿐만 아니라 지식을 개발하는 것이라는 것을 강조한다. 이러한 관점에서, 새로운 실무적 지식의 형성은 [불확실성, 불안정성, 독특함을 갖거나 다양한 가치가 상충하는] 실천의 불확정적인 영역에서 촉발된다. Practitioner는 이러한 상황에서 자신의 실천을 탐구하는 사람inquirer으로써, [가정을 질문하고, 상황을 (리)프래이밍하며, 실천을 검토하고, 실천 중에 잠재적인 가능성들을 테스트하며, 다양한 대안을 방법을 고려하는] 자신의 성찰 능력을 발휘하게 된다.

An epistemology of practice, placing an emphasis on practice such that practice is not merely the site for applying theory and research knowledge, but also a site for developing knowledge, albeit experiential and tacit knowledge.22,23,57 From this perspective, the formulation of new, practice-based knowledge is sparked in the indeterminate zones of practice – uncertain, unstable, unique, or value-conflicted practice situations.15,23,57 From here, practitioners, as inquirers of their own practice, engage their reflective capacities to question assumptions, (re)frame situations, examine their practices, test potential moves in the midst of practice, and consider possible ways forward.19,40,57

[암묵적 지식의 존재(및 그 가치)]는 경험의 인식론에서 기본적인 가정 중 하나이며, 불확실성의 상황에서의 실천을 돕는 것으로 간주된다. 암묵적 지식은 우리가 지적행동에 있어서 보여줄 수 있는 지식의 한 종류이지만, '우리는 우리가 말할 수 있는 것보다 더 많이 알고 있'기에 말로 설명하기는 어렵다.

The existence (and value) of tacit knowledge is one of the fundamental assumptions in an epistemology of practice and is thought to support practice in the face of uncertainty. Tacit knowledge, is the type of knowledge we may exhibit in intelligent action, but find difficult to explicate through language because ‘we know more than we can tell’.59–61

이러한 이론적인 개념은 이론의 지속적인 발전을 위해 ripe하고, practitioner들이 실무에 영구히 존재하는 불확실성에 직면하여 어떻게 배우고, 결정하고, 혁신하는지를 명확히 하기 위한 이론적 방향으로서 사용된다.

These theoretical concepts are ripe for continued development as theory, as well as for use as theoretical orientations to elucidate how practitioners learn, make decisions and innovate in the face of ever-prevalent uncertainty within practice.62,63

성찰을 도구나 기술 이상의 것으로 간주하면 어떤 차이가 있을 수 있는가? 실존의 방식way of being으로서 성찰적 실천은 전통적인 평가를 초월하는 것이다. 그것은 실천하고, 끊임없이 자신의 가정에 도전하며, 새로운 지식을 쌓는 것이다. 이러한 경우에, 성찰적 실천은 평가와 연계되기보다는, 인식론적, 이론적 수준에서 성찰에 대한 이해를 확장할 공간을 요구한다.

What difference might it make to consider reflection as more than tool or technique? Reflective practice as a way of being transcends traditional assessment; it is an orientation through which one practises, continually challenges one’s own assumptions, and builds new knowledge. Herein, rather than linking up with assessment, reflective practice demands a space to broaden understandings of reflection at an epistemological and theoretical level.

만약 성찰이 이론적 기본틀과 실천의 인식론으로 간주되고, 이론-구축 연구를 통해 더 깊이 탐구된다면, 의학 교육에서 성찰은 이론적인 기원에 더 부합하게 될 것이며, 궁극적으로 지속적인 연구와 적용으로 더 많은 혜택을 볼 것이다.

If reflection is viewed as a theoretical framework and epistemology of practice, and is explored further through theory-building research, medical education may be more aligned with reflection’s theoretical origins and ultimately see more benefit from its continued study and application.

비판적 사회 탐구로서의 성찰

Reflection as critical social inquiry

우리는 성찰과 성찰적 실천에 대한 이론에 대해 그것들이 윤리적, 문화적, 사회적, 정치적 힘에 대한 명확한 고려를 생략하였다는 것을 쉽게 비판할 수 있다는 것을 인정한다. 실제로, 비판적 성찰에 대한 다른 이론가들은 주로 사회 정치적인 세력으로부터의 해방과 권력의 관계에 초점을 맞추고 있다.

We acknowledge that one could readily critique some theories of reflection and reflective practice (i.e. by Dewey11 and Sch€on15) for omitting explicit consideration of ethical, cultural, social and political forces. Yet other theorists of critical reflection (e.g. Freire12,20 and Habermas13,20) are, in fact, primarily focused on emancipation from socio-political forces and relations of power.

'비판적 성찰'을 성찰과 혼동하면 안 된다. 우리는 문헌에서 비판적 성찰critical reflection과 비판적 반사critical reflexivity가 어느 정도 관련이 있다는 것을 인정하며, 우리는 이 논문에서 이러한 차이를 탐구하지 않을 것이다. critical reflection은 (성찰의 다원적 umbrella에 있는 여러가지 중 하나이지만), transformation과 action을 목적으로 [사회적이고 시스템적 권력], [사고 과정과 권력 관계에 내재된 가정]에 대한 보다 명확한 관심을 요한다.75

‘Critical reflection’ should not be conflated with reflection. We acknowledge that there is some conflation of critical reflection with critical reflexivity in the literature, and we have not explored these differences in this paper (see Kinsella76 for more on reflexivity). In our use, critical reflection falls under the pluralistic umbrella of reflection, but requires more explicit attention to social and systemic forces, and the assumptions embedded in thought processes and power relations, with an aim toward transformation and action.75

브룩필드는 우리에게 (비판적 탐구와 대화를 통해서) 끊임없이 비판적 성찰을 함으로써 사회, 문화, 경제, 정치세력에 대해 잘 인식해야 한다고 요구한다. 브룩필드는 성찰이 본질적으로 비판적이지 않다는 것을 강조한다. 특히 브룩필드는 비판적 성찰을 이데올로기 비평으로 보았으며, [권력관계의 조명과 패권적 가정]을 제공한다고 보았다.

Brookfield52 calls us to constantly engage in critical reflection through critical inquiry and dialogue in order to become more aware of the social, cultural, economic and political forces at work. Brookfield52,77 emphasises that reflection is not inherently critical; rather, it must draw upon critical theory in order to be critical. Specifically, Brookfield52,77 explores critical reflection as ideology critique, providing illumination of power relations and recognition of hegemonic assumptions.

비판적 사회적 탐구의 한 형태로서, 비판적 성찰은 '지식, 기술 및 태도가 [내면화된 가치가 존재하지 않은 역량]을 테스트하는 융통성 없는 범주로 급격히 구체화되는 위험'을 극복할 수 있다. 의학교육에는 이러한 비판적 성찰을 사용한 몇 가지 예가 존재한다. 사실, 의학 교육의 지도자들은 의학 교육에 있어서 사회과학과 인문학의 관점 그리고 그러한 접근에 더 많은 참여를 요구해왔다. 이것은 [바람직한 지식, 기술, 태도을 단순히 표면적으로만 습득하는 한계를 극복하고, 이를 보다 적응적이고, 비판적이고, 역동적이며, 복잡성을 더 잘 감내하고 그러한 상황에서 더 flourish할 수 있는 성찰적 지향]을 갖도록 함으로써, 의학교육의 생의학적 모델을 뛰어넘는 하나의 방법으로서 제안되었다. 

As a form of critical social inquiry within practice, critical reflection can overcome the ‘danger that knowledge, skills, and attitudes may be quickly reified into rather inflexible categories that test competencies empty of internalised values’.78 Note some examples of this use of critical reflection exist in medical education.79–83 In fact, leaders in medical education have called for greater engagement with social sciences and humanities perspectives and approaches in medical education.55,84–87 Moving beyond the biomedical model in medical education has been suggested as a way to overcome the limitations of rote but often surface enactment of desirable knowledge, skills and attitudes toward more adaptive, critical, dynamic, reflective orientations that can better withstand, and flourish, in complexity.78,86,88

우리는 성찰을 비판적 사회 탐구의 한 형태로 바라볼 때, 이것이 의학교육이 '윤리적이며, 사회적 책무를 지고, 환자 중심의 치료를 하도록' 교육하려는 노력에 실제로 도움이 되는 mid- to grand- 수즌의 이론을 제공할 것이라고 생각한다.

We suggest that viewing reflection as a form of critical social inquiry, can offer medical education mid- to grand-level theory that can inform medical education’s efforts to inspire ‘ethical, socially responsible, patient-centred care’93 orientations.

의학교육연구에서 성찰의 세 가지 주요 경향성

THREE DOMINANT TRENDS OF REFLECTION IN THE MEDICAL EDUCATION LITERATURE

성찰의 실용주의적 활용

Utilitarian applications of reflection

도구로서의 성찰

Using reflection as a tool

성찰은 종종 특정 지식, 기술 및 태도의 습득을 지원하는 교육학 도구로 등장한다.

Reflection is often presented as a pedagogical tool to support the acquisition of particular knowledge, skills and attitudes.

'도구'이라는 단어가 명시적으로 언급되지 않더라도, 성찰은 학습자가 특정 학습 결과를 달성하는 데 도움이 되는 수단 또는 메커니즘으로 설명됩니다.

Even when the word ‘tool’ is not explicitly mentioned, reflection is described as a means or mechanism to help learners achieve a particular learning outcome.

의학교육에서 이러한 실용주의자적 경향에 따라, 의대생과 레지던트는 일반적으로 성적화되는 또는 의무적인(통과/실패) 성찰 연습을 통해 성찰에 참여한다.

Following this utilitarian thread of reflection in medical education, medical students and residents commonly engage with reflection through graded or mandatory (pass/fail) reflective writing exercises.

학생 경험을 바라보는 창으로서 성찰

Using reflection as a window into the student experience

마지막으로, 일부 연구들은 한 개인의 의사로서 개인적, 전문적으로 발전하는 과정에서, 학습자들이 자신의 의학교육 경험에서 무엇을 생각하고 경험하는지를 교수자가 더 잘 이해해줄 수 있게 돕는 창으로서 성찰을 사용했다.

Finally, some studies have used reflection as a window through which teachers might better understand what learners are thinking and encountering in their medical education experiences, as they develop personally and professionally as physicians.115,142,143

성찰의 대상으로서 'self'에 초점두기

A focus on the self as the object of reflection

의학 교육 문헌에서 성찰은 흔히 '자기성찰'이라고 불린다.

Reflection is commonly termed ‘self-reflection’ in the medical education literature.110,114,147,149,150

'self-refection'이라는 용어를 구체적으로 사용하지 않더라도, 'self'는 명확히 성찰활동의 주체이자 객체로 여겨진다. 우리는 대부분의 의학 교육에서 성찰을 다룬 연구에서 학습자들이 연습을 통해 독립적으로 성찰에 참여한다는 것을 발견했다. 글쓰기 과제에 이어 토론이나 교수자의 피드백을 활용함으로써 다른 사람과 함께 또는 다른 사람으로부터의 학습을 촉진할 수 있다. 그러나 성찰이 그룹 토론과 피드백을 포함하는 경우에도, 자신의 지식 기반과 해석 능력을 확장하고 특정 이슈에 대한 이해를 넓힘으로써 자기 계발에 초점을 맞춰왔다.

Even when the term‘self-reflection’ is not specifically used, there is an apparent focus on the self as both the subject and object of reflective activity. We found that in most instances of reflection in medical education, learners engage in reflection independently through writing exercises.31,99,102,103,113,114 Written assignments may be followed by discussion or instructor feedback in an effort to facilitate learning with and from others. Yet even when reflective activities encompass group discussions and feedback, the focus is on developing the self by expanding one’s own knowledge base and interpretive capacity, and broadening one’s understandings of certain issues.31,102,114,155

이러한 논문 중 대다수가 성찰을 self나 individual에 초점을 맞추고 있는데, 그 이유는 성찰의 목표가 사회적 또는 시스템적 영향과 이슈를 비판적으로 다루기 보다는, 개인의 지식이나 태도를 향상시키는 것이기 때문이다.

We characterise many of these articles as focusing on the self, or individuals, because the goal is typically to improve individuals’ knowledge or attitudes rather than to critically address social or systemic influences and issues.

성찰과 평가

Reflection and assessment

우리는 처음 두 가지 추세가 세 번째 추세가 될 것을 제안한다. 의료 교육에서 평가의 담론과 관련하여 처음의 두 가지 동향은 보다 폭넓은 성찰의 관점에 포함되며, 의학교육에서 개인의 발달을 위한 도구로서, 그리고 개인을 평가하는 도구로서 성찰이 어떻게 적용되었는지에 대한 많은 예를 발견하였다. 

We suggest that the first two trends lead to the third. The first two trends – utilitarian reflection and self-reflection – are encompassed in a wider view of reflection as it relates to the discourse of assessment in medical education.24 We found many examples of how the ways reflection has been applied in medical education establish a link between using reflection as a tool to develop oneself, and using it to assess individuals.

두 가지 관련 방법으로 특징지어진다. 

characterised in two related ways: 

(i) 성찰을 하나의 역량으로 간주하거나 또 다른 역량을 달성하는 수단으로 여기거나

(i) by conceiving of reflection as a competency or means to achieve competencies, and 

(ii) 학습자의 성찰 능력 및 성찰 학습을 평가하기 위한 방식으로 글쓰기에 기반한 성찰 활동 및 결과물을 이용한다

(ii) by harnessing written reflective activities and products as proxies for assessment of learners’ reflective capacity and learning.

역량으로서의 성찰

Reflection as competency

CBME는 의학을 주도하는 움직임이 되었다. 성찰은 그 자체로 독립적인 역량이라기보다는, 유능한 전문가의 속성으로 논의되어왔다. 임상 기술과 마찬가지로, 학습자가 성찰 활동을 수행하는 능력 역시 하나의 핵심 기술로 간주되어서, 그것을 잘 학습하고 있는지 확인하기 위해 측정 및 평가 될 수 있거나 되어야 한다. '성찰적 역량'은 보통 포트폴리오를 통해 입증된다. 

Competency-based education has become a guiding movement in medicine.156–158 reflection is discussed as an attribute of competent professionals rather than a stand-alone competency. The ability  of learners to engage in reflective activity is viewed as a core skill that, like clinical skills, can or should be measured and assessed to ensure that it is being learned well.31,33,95,112,161,162 ‘Reflective competence’112 is usually demonstrated through portfolios. 

포트폴리오를 통한 성찰과 평가

Reflection and assessment through portfolios

학습자의 성찰능력 개발을 평가하는 일반적인 방법은 포트폴리오를 사용하는 것이다. 이러한 포트폴리오 형태의 성찰을 의무화하는 것은 학습자가 성찰을 실천하고 있는가를 측정하고 추적하는 방법으로 사용된다. 포트폴리오의 일부로, 성찰은 인쇄물이나 전자 저널과 블로그, 그리고 성찰적 에세이나 narrative account을 통해 증명될 수 있다.

A common way to assess the development of reflective capacity in learners is through the use of portfolios. This mandatory demonstration of reflection in the form of portfolios is used as a way to measure and track learners’ engagement with reflective exercises.31,131 As part of a portfolio, reflection may be demonstrated through print or electronic journals and blogs,33,116,142,144,155,164 and reflective essays or narrative accounts.34,95,111,112

포트폴리오는 '학습이 이루어졌다는 증거'를 제공하기 위해 성찰과 학습의 경험을 추적하고 감사하도록 설계되었다.

Portfolios are designed to track and audit the experiences of reflection and learning in order to provide ‘evidence that learning has taken place’36 [our emphasis].

최근 몇 년 동안 성찰 과제와 포트폴리오의 사용이 더욱 보편화되었지만, 일반적인 효과성에 대한 실험적 증거는 제한적이다.

The use of reflective assignments and portfolios has become more widespread in recent years, but the experimental evidence for their generalisable efficacy is limited.94,166,167

고찰

DISCUSSION

이러한 경향성의 문제

Problematising these trends

우리는 성찰이 [환원주의적 사고방식의 영향을 받는 방식으로] 적용되었다고 생각하며, 이는 성찰과 성찰적 실천의 철학적 기초에 부합하지 않는다. Van Manen172는 다음과 같이 언급했다. '...교육 일선에서 주요 관심사는 기술, 통제, 효율성 및 효과의 목적과 수단을 위하여 도구에 집착하게 되었습니다. [...] 이러한 모델의 단점은 학습 성과 측정, 성취의 정량화, 교육 목표의 관리에 대해서 집착하게 된다는 것이다.' 마찬가지로, 학자들은 환원주의적 성찰과 성찰의 실천에 등급을 부여하는 것에 대해 경고한다.

In the case of reflection, we argue that it has been applied, in ways that are influenced by a reductionist mindset and therefore incongruent with the philosophical underpinnings of reflection and reflective practice. Van Manen172 has stated: ‘...the predominant concern of educational practice has become an instrumental preoccupation with techniques, control, and with means-ends criteria of efficiency and effectiveness. [...] The shortcomings of these models lie in their preoccupation with the measurement of learning outcomes, the quantification of achievement, and the management of educational objectives.’ Similarly, scholars caution against reductionist uses of reflection and the grading of reflective exercises.3,4,7,37,173–175

Sumsion과 Fleet은 [만약 우리가 성찰을 평가할 방법을 개발하지 않는다면 우리가 반사가 효과적이라는 것을 증명할 수 없을 것이나], [만약 우리가 성찰에 대한 현재의 이해를 바탕으로 성찰을 평가한다면 우리는 성찰에 폐를 끼치는 것]이라는 이중 문제를 지적한다.

Sumsion and Fleet acknowledge the double bind whereby we are unable to prove reflection is effective if we do not develop ways to assess it, but we do a disservice to reflection if we assess reflection based on current understandings of what it is.8

성찰이 철학적 misaligned된다면 그 결과는 무엇인가?

What are the consequences of philosophically misaligned applications of reflection?

이러한 실용주의적 영향은 분명하다. Chaffey 등94는 일반적으로 교수법으로서 성찰을 둘러싼 연구가 취약하다는 것을 지적하면서, '성공의 효율성에 대한 경험적 증거가 매우 적다'고 했다. 웨어 외.37은 '교육자들은 과도하게 규제된regulated 성찰연습이 [발견과 변화의 기회가 되기보다는], [의도치 않게 감시와 규제의 도구]로서 작용할 수 있음을 고려해야 한다'고 경고한다. 이는 의학교육에서의 성찰에 대한 실용주의적 접근방식의 긴장을 드러내는 것이기도 하다.

This utilitarian influence is clear. Chaffey et al.94 found the research surrounding reflection as a teaching method to be generally weak with ‘very little empirical evidence of the efficacy of facilitation methods’. Wear et al.37 caution that ‘educators must consider how overly regulated exercises in reflection might inadvertently serve as tools for surveillance and regulation rather than as opportunities for revelation and transformation’. Juxtaposed, these thoughts might reveal a tension in the utilitarian approach to reflection in medical education.

성찰의 학습에 대해 실용성을 추구하게 되면, [성찰의 명확한 정의]와 [학습자가 성찰을 했다는 증거]를 추구하게 된다. 그러나, 성찰의 철학적 뿌리를 따져보면, 성찰은 근본적으로 불확정적인 공간에 존재하는 것이며, 정량화할 수 있는 측정의 대상이 되지 않는다고 주장할 수 있다.

A utilitarian pursuit to studying reflection seeks a clear definition of what precisely reflection is and ‘proof’ that reflection is occurring in learners. However, the philosophical roots of reflection allow us to argue that it is fundamentally meant to exist in indeterminate spaces and not to be subject to quantifying measures.

CBME는 행동을 작은 조각으로 나누어 '체크리스트를 사용해서, 관찰하고 평가합니다'. 우리가 제시한 세 번째 추세에 따라, 성찰은 [평가되어야 할 지식과 기술의 일부인 역량]으로 개념화되어 CBME의 평가 담론의 일부가 되었다. 그러나 우리는 성찰이 측정과 평가될 수 있는 학습기술이 아니라, 됨being과 봄seeing의 방법으로도 인식되도록 주의할 것을 제안한다.

competency-based education breaks down behaviours into small fragments to be ‘observed, and assessed ... using a checklist’.158 Evidenced by the third trend we presented, reflection has become part of the discourse of assessment that is inherent in the conceptualisation of competencies as pieces of knowledge and skills to be assessed. We suggest, however, the need to proceed with caution so that reflection is not only conceived of as a learning technique to be measured and evaluated, but also as a way of being and seeing.

흥미롭게도, Whitehead et al.178은 '사람' 역할이 CanMEDS 역량 프레임워크에서 제거되었음을 밝혔다.

Interestingly, Whitehead et al.178 revealed that the ‘person’ role was removed in the Canadian CanMEDS competency framework,

아마도 '사람' 역할은 의학 교육에서의 평가담론에 의해 성찰이 다시 유행하는 것과 같은 이유로 제거되었을 것이다.

Perhaps the ‘person’ role was removed for the same reasons that reflection is refashioned by the discourse of assessment in medical education;

가정, 권력 관계, 사회 및 시스템 구조에 대한 의문을 제기하는 도구로서 비판적 성찰에 관한 이론문헌의 본질을 고려할 때, 의학교육에서 성찰이 주로 '자기평가'를 동반하는 '자기성찰'로서 받아들여져왔다는 것이 오히려 특이하다.

Given the substantial body of theoretical literature on critical reflection as a tool for questioning assumptions, power relations, and social and systemic structures, it is peculiar that reflection has been taken up in medical education, predominantly, as self-reflection and associated with self-assessment.

따라서, 자기성찰로서의 성찰은 성찰에 관한 단지 하나의 해석일 뿐이며, 이러한 해석은 성찰을 자기자신과 자기자신의 행동 및 감정에만 초점을 맞추는 것으로 왜곡skew할 수 있다. 또한 '자기성찰'은 '성찰'을 사회적, 체계적 권력이 주체성, 실천, 결정에 어떻게 영향을 미치는지, 그리고 어떤 변화를 필요로하는지에 대한 비판적 고려로서 여기는 다른 '버전의 성찰을 포함하지 못한다.

Thus, reflection as self-reflection is merely one interpretation, and one that may skew reflective activity to a focus on oneself and what one thinks and feels, in lieu of reflection on one’s practice and what one does. Self-reflection might also fail to encompass others’ versions of reflection as critical consideration of how social and systemic forces influence agency, practices and decisions and their call to enact change.20

학생들이 복잡한 사회 문제에 대해 생각해보도록 권장해본 연구에서도, 여전히 이러한 문제들을 탐구하는 학생들의 개인적 경험과 그들이 개인으로서 배우는 것에 초점을 맞추고 있다.

Papers encouraging students to consider complex social issues still often focus on students’ own experiences of delving into these issues and what they learn as individuals.

비판적 성찰의 정의는 [개인의 신념과 행동에 암시적 또는 명시적으로 영향을 미치는 맥락의 사회적, 체계적 요인에 의해 발생하는 것들에 대해 깊이 생각해보는 것]을 포함한다. 비록 이것이 새롭게 떠오르고 권고되는 방향이지만, 비판적 성찰은 아직 이 분야에서 지배적인 경향은 아니다. 비판적 성찰이 deeply and pervasively 도입될 수 있을지 여부는 긴장을 유발할 수 있는데, 왜냐하면 이러한 접근은 교육에 대한 행동주의 접근보다는 비판적 교육학적 접근을 받아들여야 함을 의미하기 때문이다.

Our definition of critical reflection includes considerations of the creation by social and systemic factors of contexts that implicitly or explicitly influence one’s beliefs and behaviours. Although this is an emerging and encouraging orientation, critical reflection has not yet become a dominant trend in the field. Critical reflection’s ability to be employed deeply and pervasively may be met with tension as it will require openness to critical pedagogical approaches rather than behaviourist approaches to education. 

CONCLUSIONS

철학과 이론적인 탐구에 대한 깊이 고려하지 못한다면, 우리는 왜 혁신이 실패하는지 이해하지 못할 수 있다. 그러나 지속적인 이론의 정교화는 연구와 학문적 실천의 핵심이다. 우리는 이론과 응용이 dichotomous하다고 말하지 않는다. 실제로, 의학 교육에서는 이론의 개발과 적용 모두에 대한 성찰을 계속할 필요가 있다. 각 영역은 서로 불가분의 관계에 있다.

without deep consideration including philosophical and theoretical exploration, we may fail to understand why innovations falter. Continual refinement of theory, however, is at the core of research and academic practice. We do not suggest that theory and application are dichotomous. Indeed, in medical education, there is a need to continue to advance reflection in the realms of both the development and the application of theory; each realm is inextricably linked with the other.

교육 및 철학, 그리고 넓게는 사회과학의 이론적 영역에서 성찰이 확산되면서, 의학교육에서도 성찰의 이론적인 방향을 취급하는 것이 필요로 할지도 모른다는 것을 암시한다. 이는 성찰을 단지 특정한 관습이나 도구나 교수법으로 보는 것이 아니라, 실천의 인식론으로 바라보는 것이며, 비판적 탐구에 초점을 맞추는 것이다. 

The prevalence of reflection in theoretical domains of education and philosophy, and broadly in the social sciences, suggests that it may behove medical education to treat reflection as a theoretical orientation – as an epistemology of practice and approach to and focus for critical inquiry – and not merely as a specific practice, tool or pedagogy.

우리는 의학 교육에 성찰을 '사용'하는 모든 시도에 대해서 신중하고 비판적인 성찰을 제안한다. 성찰에 대한 모든 탐구와 그에 따른 시행에는 의학의 지배적인 경험적 관점이 어떤 방식으로 영향을 미치고 있으며, 다른 인식론적 위치에서는 어떻게 이론을 적용하고 실천하는지에 대한 비판적 인식을 필요로 할 것이다.

we suggest careful, critical reflection within any such attempts at ‘using’ reflection in medical education. Any explorations of reflection and their subsequent implementation will require critical awareness of the way medicine’s dominant epistemological stances are influencing, applications of theories and practices from other epistemological positions.

성찰이 의학 교육에서 오고 간 가장 최근의 유행이 되기 전에, 그 분야는 개념화를 확대하고 성찰이 무엇인지, 그것이 어떤 철학적 배경에서 유래하는지, 그리고 현재의 의학 교육에서 그것의 목적이 무엇인지에 대해 깊게 이해해야 한다.

before reflection becomes the latest trend to have come and gone in medical education, the field must broaden its conceptualisation and deepen its understanding of what reflection is, from which philosophical contexts it derives, and what its purposes in the current socio-political context of medical education can be.

24 Hodges B. Medical education and the maintenance of incompetence. Med Teach 2006;28:690–6.

37 Wear D, Zarconi J, Garden R, Jones T. Reflection in/and writing: pedagogy and practice in medical education. Acad Med 2012;87:603–9.

93 Kumagai AK, Naidu T. Reflection, dialogue, and the possibilities of space. Acad Med 2015;90:283–8.

90 McNaughton N. Discourse(s) of emotion within medical education: the ever-present absence. Med Educ 2013;47:71–9.

156 ten Cate O, Billett S. Competency-based medical education: origins, perspectives and potentialities. Med Educ 2014;48:325–32.

Med Educ. 2015 May;49(5):461-75. doi: 10.1111/medu.12680.

Reclaiming a theoretical orientation to reflection in medical educationresearch: a critical narrative review.

논문이 출판되게 하는 열두가지 팁 (12 tips) (Med Teach, 2016)

Twelve tips for getting your manuscript published

DAVID A. COOK1,2

1Mayo Clinic Online Learning, USA, 2Mayo Clinic College of Medicine, USA

도입

Introduction

The purpose of the present article is to share twelve practical tips (Table 1)

논문 준비하기

Getting the manuscript ready

1. 일찍 계획하고 시작하라

Ti p 1 Plan early to get it out the door

아마 초보자 작가가 직면 한 가장 큰 도전은 필기 관성을 극복하는 것이 필수적입니다.

Perhaps the greatest challenge facing novice writers is the imperative to overcome writing inertia.

연구에 따르면 단기간 (예 : 하루 15 분)으로 매일 작성하는 사람들은 시간이 많이 걸릴 때까지 실질적으로보다 생산적인 연기를하는 사람들보다 낫다고합니다 (Boice 1989). 세션을 작성하는 사이에 시간을 허락하는 또 다른 단점은 연속성과 효율성의 손실입니다. 중단 한 부분과 해결해야 할 문제를 기억하는 데 시간이 걸립니다.

Research suggests that those who write daily, even for short periods (e.g., 15 minutes per day) are than those who substantially more productive postpone writing until they have a large chunk of time (Boice 1989). Another drawback to allowing time to lapse between writing sessions is the loss in continuity and efficiency – it takes time to remember where you left off and what issues needed to be addressed.

자신과 당신의 동료들에 대한 야심적이고 현실적인 마감 시간을 정하는 데 도움이됩니다. 마감 시한을 통해 열심히 일해야합니다. 보수적 인 또는 편안한 기한은 이 목적을 달성하지 못합니다.

It helps to set ambitious yet realistic deadlines for yourself and your coauthors. Deadlines should push you to work hard and quickly; conservative or comfortable deadlines will not accomplish this purpose.

Strunk와 White가 지적했듯이, ''수정은 글쓰기의 일부입니다. 한 번에 바로 완벽한 것을 생산할 수있을 정도로 전문적인 사람은 거의 없다 "(Strunk & White 2000, p.72). 아웃라인과 점진적으로 정제 된 여러 개의 초안을 사용하면 조직을 최적화하고 낭비되는 노력 (예 : 이후 수정되거나 삭제 된 텍스트 연마)을 최소화 할 수 있습니다. 전체 문장과 단락보다 짧은 글 머리 기호를 사용하여 논리 흐름을 시각화하고 조작하는 것이 훨씬 쉽습니다. 따라서 McGaghie (2009)는 윤곽선의 자유로운 사용을 옹호하는데 동의합니다. 특히 융통성있는 조직 (예 : 연구 원고의 소개 및 토론 또는 비 연구 학술지)을 허용하는 텍스트 초안 작성시 동의합니다. 아웃라인이 완성되면 bullet-point들을 문장과 단락으로 변환하는 것은 간단합니다.

As Strunk and White noted, ‘‘Revising is part of writing. Few writers are so expert that they can produce what they are after on the first try.’’ (Strunk & White 2000, p. 72). Using outlines and multiple progressively refined drafts will optimize organization and minimize the amount of wasted effort (e.g., polishing text that is subsequently revised or deleted). It is far easier to visualize and manipulate the flow of logic using short bullet-points than full sentences and paragraphs. Thus, I agree with McGaghie (2009) in advocating the liberal use of outlines – especially when drafting text that allows flexible organization (e.g., a research manuscript’s Introduction and Discussion, or a non-research scholarly article). Once the outline is complete, converting bullet-points into sentences and paragraphs is straightforward.

원고의 각기 다른 부분이 다른 속도로 진행될 수 있습니다 (예 : 다른 섹션이 거의 완료 될 때까지는 일반적으로 토론을 작성하지 않음). 각 단계 (외곽선, 개략적 인 아이디어 초안, 첫 번째 최종 초안 및 각 미세 조정 초안)에서 나는 동료의 도움을 그 단계에 대한 명시적인 지침과 목표로 참여시킵니다 (예 : ''오늘날 광범위한 아이디어에 집중해주세요, 미세 조정에 대해 걱정하지 말고, 고찰은 우선 무시하십시오. ').

Different parts of the manuscript may progress at different rates (e.g., I usually do not write the Discussion until the other sections are nearly complete). At each stage (outline, rough idea draft, first final draft, and each fine-tuning draft) I enlist the aid of my coauthors with explicit instructions and objectives for that stage (e.g., ‘‘Focus on broad-stroke ideas today; do not worry about fine-tuning, and ignore the Discussion’’).

개요(아웃라인)를 사용하면 원고를 줄이거 나 검토 자의 의견에 따라 크게 수정하는 등 나중에 나중 단계에서 도움이 될 수 있습니다. 완전 작성된 소개 및 토론을 개요 형식으로 다시 변환하면 중복성을 찾아 제거하고, 단락을 재정렬하고 병합하고, 중앙 메시지에 집중할 수 있습니다.

Using outlines can help in later stages as well, such as when shortening the manuscript or making major revisions in response to reviewer comments. Converting a fully-written Introduction and Discussion back into outline form allows one to easily find and eliminate redundancy, rearrange and merge paragraphs, and focus on the central message.

2. Authorship과 논문작성그룹을 미리 결정하라

Ti p 2 Address authorship and writing group expectations up front

현재 지침은 저자가 개념, 디자인 또는 데이터 분석 및 해석에 상당한 기여를해야하며 중요한 지적 내용에 대한 원고를 비판적으로 개정해야한다고 지적합니다 (International Journal of Medical Journal 편집자위원회 2013). 보다 적은 공헌, 행정, 정치, 자금 및 기금 지원 및 간단한 데이터 분석을 포함한 지원은 acknowledgement로 들어가야됩니다.

current guidelines indicate that authors must make substantial contributions to the conception, design, or data analysis and interpretation, and critically revise the manuscript for important intellectual content (International Committee of Medical Journal Editors 2013). Lesser contributions, support including administrative, political, should and funding and simple data analysis, be recognized with an acknowledgement. 

3. 논문 작성의 통제권을 가져라

Ti p 3 Maintain control of the writing

한 사람 (대개 첫 번째 저자)은 최종 원고와 편집 중에 발생한 모든 변경 사항에 궁극적 인 책임이 있습니다. 따라서 필자가 주 저자 인 경우 마스터 문서의 사본 하나를 유지하고이 문서를 편집하여 공동 저자의 제안을 통합합니다.

One person – usually the first author – must be ultimately responsible for the final manuscript and all changes made during editing. Thus, when I am the lead author, I maintain a single copy of a master document and edit this document to incorporate suggestions from coauthors.

Track changes를 사용하면 이를 피할 수 있지만 단순히 공동 저자가 제안한 변경 사항을 수락하는 것은 바람직하지 않습니다. 

• 첫째, 공동 저자가 제안한 편집에는 자주 맞춤법, 구두점 또는 문법에 작은 오류가 포함됩니다 (흔히 추적 된 형식으로 변경하는 것이 좋습니다). 

• 둘째, 제안은 제한된 공간의 사용 우선 순위 결정, 갈등 해소, 중복 방지, 단어 다듬기, 다른 아이디어와의 통합, 부정확성을 피하기위한 판단과 편집을 필요로합니다.

Using tracked changes avoids this, but simply accepting changes suggested by coauthors is not advisable. First, coauthor-suggested edits frequently contain small errors in spelling, punctuation, or grammar (often encouraged and obscured changes most by the tracked format). Second, suggestions require judgment and editing to prioritize the use of limited space, reconcile conflicts, avoid redundancy, trim words, integrate with other ideas, and avoid inaccuracies.

4. 필요한 것이 모두 보고되게끔 하라

Ti p 4 Ensure complete reporting

이러한 이유 때문에 무작위 임상 시험 (Schulz 등, 2010) (비 약리학 연구를위한 확장, Boutron 등, 2008), 무작위 시험 (von Elm et al 2007 년), 평가 연구 (Bossuyt 외 2003), 질적 연구 (O'Brien 외 2014), 체계적인 검토 (Moher 등, 2009)등에 대한 보고 가이드라인이 있다.

For this reason, reporting guidelines have been developed for most common study designs including randomized trials (Schulz et al. 2010) (including an extension for non-pharmacologic studies, Boutron et al. 2008), non-randomized trials (von Elm et al. 2007), assessment studies (Bossuyt et al. 2003), qualitative research (O’Brien et al. 2014), and systematic reviews (Moher et al. 2009).

기존 지침은 요약, 방법 및 결과에 대한 자세한 제안을하지만 제목, 소개 및 토론에 대한 지침은 적습니다. 그러므로 나는 후자에 대한 간단한 제안을 할 것이다. 

Existing guidelines provide detailed suggestions for the Abstract, Methods, and Results, but less direction for the Title, Introduction, and Discussion. I will, therefore, offer brief suggestions for the latter three. 

첫째, 제목은 가능한 가장 짧은 초록이다 (Cook et al., 2007; Bordage et al. 2015). 그것은 거의 항상 잠재적 인 독자가 읽는 첫번째 것이고, 그것이 그의 혹은 그녀의 주의를 끌지 않으면 마지막일지도 모른다. 마지막 순간의 사후 검토로 작성되는 것이 아니라 제목이 모든 저자의 사려 깊은 노력의 산물이어야합니다. 필자는 전형적으로 원고의 중심 메시지를 반영하는 핵심어 목록을 작성하고, 십여 개가 넘는 임시 제목을 생성하기 위해 순서를 바꿔보고, 가장 좋은 제목을 선택하기 전에 공동 저자 및 다른 동료로부터 의견을 요청합니다.

First, the title is the shortest possible abstract (Cook et al. 2007; Bordage et al. 2015). It is almost always the first thing a potential reader reads, and it may be the last if it does not catch his or her attention. Rather than being written as a last-minute afterthought, the title should be the product of thoughtful effort by all authors. I typically create a list of key words reflecting the manuscript’s central message, use permutations of these to generate over a dozen tentative titles, and then solicit impressions from coauthors and other colleagues before selecting the best title.

도입은 뒤 따르는 모든 것에 대한 무대를 설정합니다 (Beckman & Cook 2007). 

• 그것은 매우 광범위한 문제로 시작하여 개념적 틀이나 이론의 렌즈 (Bordage 2009)와 사전 작업 (문헌 검토)의 요약을 초점을 맞춘 문제 진술에 초점을 맞춘다. 

• 문제 진술은 불완전하게 이해되는 광범위한 문제 중 하나의 중요한 측면을 분명히 밝히고 이 이슈에 대한 더 나은 이해가 어떻게 전체 분야를 발전시킬 것인지를 강조합니다. 

• 문제 진술 바로 뒤에 연구 목적, 즉 연구 질문, 가설, 목적 또는 목적이 기술되어 그 후에 기술 된 연구가 그 지식 격차를 메워 그로 인해 필요한 발전을 이루는 방법을 설명합니다.

The Introduction sets the stage for all that follows (Beckman & Cook 2007). 

• It starts with a very broad problem and then focuses this problem through the lens of a conceptual framework or theory (Bordage 2009) and a summary of prior work (literature review) into a focused problem statement. 

• The problem statement clearly identifies one important aspect of the broad problem that remains incompletely understood, and highlights how a better understanding of this issue would advance the field as a whole. 

• The problem statement is immediately followed by a statement of study intent – a research question, hypothesis, goal, or purpose – that explains how the subsequently described study will fill that knowledge gap and thereby accomplish the needed advance.

예를 들어, '이 연구는 더 많은 질문을 추가하는 것이 반드시 학습을 향상시키는 것은 아니라는 것을 암시하지만, 질문 유형의 동시 변화에 의해 해석이 뒤죽박죽이되며, 이는 앞으로 더 많은 연구 [문제 성명서]의 필요성을 시사합니다. ... 그러므로 우리는 질문에 대답하려고 노력했다 : 자기 평가의 수를 변화시키는 것이 의학적 거주자를위한 [웹 기반 학습]의 지식 결과에 영향을 줍니까? [연구 질문]. "(Cook 외 2014) 

• 개념적 틀, 

• 문헌 검토, 

• 문제 제시(문제 진술), 

• 연구목표 진술

...의 네 가지 요소가 조합되어 질문을 명확하게 표현할뿐만 아니라 독자가 대답을하도록 설득한다. (McGaghie et al., 2001).

For example, ‘‘Although these studies suggest that adding more questions does not necessarily enhance learning, the interpretations are confounded by the simultaneous variation in the types of questions, which in turn suggests the need for further research [problem statement]. ...We therefore sought to answer the question: Does varying the number of self assessment questions affect knowledge outcomes in [Webbased learning] for medical residents? [research question].’’ (Cook et al. 2014) These four elements – conceptual framework, literature review, problem statement, and statement of study intent – combine to not only articulate a question, but also to convince the reader that the answer remains unknown and that finding the answer is important (McGaghie et al. 2001).

대부분의 연구에서 고찰 섹션은 필요 이상으로 길기 때문에 다른 섹션에서 사용할 수있는 소중한 공간을 소모합니다. '간결성은 위트의 영혼이다.' "그리고 집중적이고 그러나 유익한 고찰을 작성하고 기록하는 것은 필사본 준비의 일부분이다 (Docherty & Smith 1999, Clarke et al. 2002). 나는 집중하고 간결하게 머무르는 데 도움이되는 세 가지 습관을 발견했다. 

• 첫째, 편집자와 비평가를 제외한 누구도 전체 토론을 읽지 못할 것이라고 생각합니다. 대부분의 독자는 첫 단락을 읽고 많은 사람들이 마지막을 읽었지 만 중간에있는 모든 것이 제한된 청중을 가지고 있다고 생각합니다. 따라서 나는 

• 연구 결과에 대한 간결한 요약 (첫 번째 단락), 

• 근거-기반의 함의(마지막 단락) 

• 편집자 및 리뷰어가 관심있어 할 문제 해결에 중점을 둡니다. 

• 둘째, 고찰 섹션은 연구의 객관적인 발견과 즉각적이고 정당화 된 함의에 초점을 맞추어야합니다. 연구 결과의 해석과 적용에 대한 제한된 추측은 적절하지만, 연구 주제와 밀접한 관계가 있더라도 연구와 미약하게 관련된 문제까지 다루는 곳은 아닙니다. 

• 셋째, 첫 번째 두 가지 제안을 조작하기 위해 고찰을 네 개의 섹션으로 구성하고 2~4번째 세션에 대한 부제목은 다음과 같습니다.

The Discussion section of most research reports is far longer than needed, and thereby consumes valuable space that could be used inother sections. ‘‘Brevity is the soul of wit,’’ andwriting a focused yet informative Discussion is an oft-neglected part of manuscript preparation (Docherty & Smith 1999; Clarke et al. 2002). I have found three practices that help me stay focused and succinct. 

• First, I imagine that no one except the editors and reviewers will read the entire Discussion. Most readers read the first paragraph and many read the last, but I suspect that everything in between has a limited audience. As such, I focus my efforts on crafting a concise summary of the study findings (first paragraph), highlighting well-supported implications (last paragraphs), and addressing issues that would concern editors and reviewers. 

• Second, the Discussion section should focus on the study’s objective findings and immediate, justified implications. Limited speculation on the interpretation and application of findings is appropriate, but this is not the place to editorialize on issues only tangentially related to the study, even if germane to the study topic. 

• Third, to operationalize the first two suggestions I organize the Discussion into four sections, with subheadings for the latter three:

• (1) 요약 (제목 없음) : 더 자세히 고안하지 않고 (즉, 다른 출처에 대한 인용이없고 해석이 없음) 주요 결론을 간결하고 객관적으로 요약 한 단락 두 개.

• (2) 제한 사항 : 제한 목록 이상. 연구 범위와 디자인이 결과의 해석과 적용에 어떻게 영향을 미치는지에 대한 조사.

• (3) 이전 연구와의 통합 : 나의 연구 결과를 이론 및 경험 연구 모두와 연결시키는 1 ~ 3 단락.

• (4) 실습 및 연구에 대한 시사점 : 3 ~ 5 단락은 독자가 이러한 결과를 알았으므로 다르게 할 수있는 것을 강조합니다. 이러한 함의는 제한과 통합에 비추어 해석되는 본 연구의 발견으로부터 직접적으로 도출되어야하고 이론, 실습 또는 미래 연구에 대한 효과를 예상 할 수 있어야한다. 이 파트가 있다면 별도로 Conclusion section 섹션을 둘 필요성이 없어진다. Impliation이 conclusion이며 이 연구가 자신의 업무에 어떻게 영향을 미치는지 명확히 이해해야한다.

(1) Summary (no heading): One or two paragraphs that succinctly and objectively summarize the key findings without further elaboration (i.e., no citations to other sources, no interpretation).

(2) Limitations: More than just a list of limitations; an examination of how the study scope and design might influence the interpretation and application of findings.

(3) Integration with prior work: One to three paragraphs linking my findings with both theory and empiric research.

(4) Implications for practice and research: Three to five paragraphs highlighting what readers can do differently now that they know these results. These implications should derive directly from the findings of the present study as interpreted in light of the limitations and integration, and could anticipate effects on theory, practice, or future research. The ‘‘Implications’’ replace the need for a separate Conclusion section; the implications are the conclusion and should leave readers with a clear sense of how this study will influence their practice.

5. 서지관리 소프트웨어를 사용하라

Ti p 5 Use electronic reference management software

전자 참조 관리 소프트웨어의 지원없이 원고를 작성하는 것은 파워 드릴 대신 핸드 드릴을 사용하여 책장을 만드는 것과 같습니다. 확실히 할 수는 있지만, 전동 공구로는 훨씬 쉽습니다!

Writing a manuscript without the support of electronic reference management software is like building a bookcase using a hand drill instead of a power drill – sure, you can do it, but it is a lot easier with a power tool!

너에게 "그냥해라."라고 촉구하는 것 외에 다음과 같은 파워 유저 팁을 제안합니다.

Beyond urging you to ‘‘just do it’’ I suggest the following power-user tips:

•   초보적인 인서트 및 포맷 기능 외에도 몇 가지 기술을 배웁니다. 유용한 작업에는 서식 스타일을 조정하는 것 (내 경험으로는 저널 전용 템플릿이 실제 저널 요구 사항과 완벽하게 일치하지 않음), 텍스트 인용에 페이지 번호 같은 텍스트 추가, 중복 항목 찾기 및 제거, 라이브러리 내보내기 등이 있습니다. 동료와 공유하거나 Excel과 같은 다른 프로그램으로 가져올 수 있습니다.

•   PubMed 및 저널 웹 사이트를 사용하여 기사를 직접 입력하는 대신 라이브러리에 추가하십시오.

•   자신이 입력 한 '메모'를 사용하여 라이브러리 내의 참조를 구성, 정렬 및 검색하십시오.

•   참조 또는 전체 라이브러리를 다른 사람과 복사 및 공유하십시오. CiteULike는 이러한 공유를 촉진하기 위해 전념 한 무료 인터넷 서비스입니다.

•   여러 프로그램에서 제공하는 즉석 서식 지정 기능을 사용 중지하는 것이 좋습니다 (예 : EndNote의 '작성 중 인용'). 독창적 인 작성자 인 경우 유용하지만 공동 작업자가 텍스트를 삭제하거나 이동하거나 변경 사항을 추적하는 경우 지저분 해집니다.

•   원고의 참조 목록에 직접 수정하지 말고 원본 (일반적으로 라이브러리 항목 또는 저널 특정 템플리트)에서 참조 목록의 오류를 수정하십시오. 동일한 참조가 참조 목록에 두 번 나타나면 해당 참조에 대해 두 개의 라이브러리 항목이있을 것입니다. 누락 된 정보 또는 참조 목록 형식의 다른 문제점은 해당 참조의 라이브러리 항목이나 저널 특정 서식 지정 템플리트에 오류가 있음을 나타낼 수 있습니다.

• 포멧 기능 익히기  Learn some skills beyond the rudimentary insert and format functions. Useful tasks include 

• 포멧 변경 tweaking the formatting styles (in my experience, journal-specific templates don’t match perfectly with actual journal requirements), 

• 페이지 수 추가 adding text such as page numbers to the in-text citation, 

• 중복 제거 finding and eliminating duplicate entries, and 

• 라이브러리 추출 exporting libraries to share with a colleague or import into another program such as Excel.

• 펍메드 사이트 등 사용  Use PubMed and journal websites to add articles to your library rather than entering these by hand.

• 자기-기입 노트 사용  Use self-entered ‘‘Notes’’ to organize, sort, and search for references within your library.

• 공유  Copy and share references or entire libraries with others. CiteULike is a free Internet service dedicated to promoting such sharing.

• 동시 포멧팅 끄기  Consider turning off the instant formatting feature offered by several programs (e.g., EndNote’s ‘‘Cite While You Write’’). While useful if you are the sole author, it gets messy if collaborators delete or move text or if you track changes.

• 소스 자체에서 레퍼런스 수정  Correct any errors in the reference list at their source (usually the library entry or journal-specific template) rather than making edits directly to the reference list in your manuscript. If the same reference appears twice in the reference list there are probably two library entries for that reference. Missing information or other problems with the reference list format could indicate an error in that reference’s library entry or in the journal-specific formatting template.

7. 저널을 잘 선택하라

Ti p 7 Select the right journal

당신은 자연스럽게 당신의 연구가 최선의 저널에 게재되기를 원할 것입니다,하지만 가장 좋은 저널은 가장 영향력 지수가 높거나 위신이 가장 높은 저널 일 필요는 없습니다 (Azer et al. 2014). 저널을 선택할 때 먼저 저널의 독자층을 검토합니다.이 저널 뒤에 내 작업을 읽고 이해하고 적용하고 인용 할 사람이 있습니까? 그렇지 않다면 저널의 명성에 관계없이 내 작업은 가치있는 가시성을 얻지 못할 수 있습니다.

You will naturally want your work published in the best possible journal, but the best journal is not necessarily the one with the highest impact factor or the greatest prestige (Azer et al. 2014). In selecting a journal, I first consider the journal’s readership: Is this journal followed by the people who will read, understand, apply, and cite my work? If not, then regardless of the journal’s prestige my work may not get the visibility it deserves.

둘째, 나는 내 작업의 품질과 잠재적 영향을 고려한다.

Second, I consider the quality and potential impact of my own work.

각 제출-거부 사이클은 출판을 지연시키고 파트 (및 저널)에 낭비되는 노력을 반영하며 이사 한 프로젝트의 세부 사항에 자신을 다시 몰입시켜야하며 저자들의 불만과 좌절감을 증가시킵니다. 공동 작업자가 아닌 동료의 의견을 필요로하는 작업 장점에 대한 정직한 평가는 시간과 좌절을 줄여줍니다. 첫 번째 제출때에는 현실적인 추정보다 한 단계 더 높은 목표를 세울 것이다. 운이 좋은 휴식을 취하기를 바란다. 그러나 그것이 실패하면, 나는 합리적인 일치라고 믿는 저널로 즉시 이동합니다.

Each submission–rejection cycle delays your paper’s appearance in print, reflects wasted effort on your part (and the journal’s), requires you to re-immerse yourself in the detailsof a project from which you have moved on, and generatesincreasing frustration and discouragement for you and yourcoauthors. An honest appraisal of your work’s merit, whichmay require input from a non-coauthor colleague, will reduce both time and frustration. I will occasionally aim one step higher than my realistic estimation for my first submission – hoping to catch a lucky break. But if that fails, I immediately shift to a journal that I believe will be a reasonable match.

셋째, 잠재적 인 저널의 영향과 명성을 고려합니다. 이것은 정의하기가 악명 높다. 저널 영향 요소, 즉각적 지표, 고유 자 및 영향력 점수와 같은 양적 측정법 (Rizkallah & Sin 2010; Carpenter et al. 2014)은 모두 충격을 예측하려고 시도하지만 주목할만한 결함과 규범은 현장 특유의 것 한 분야에서는 낮은 것으로 간주되고 다른 분야에서는 높은 것으로 간주 될 수 있음).

Third, I consider the impact and prestige of the potential journals. This is notoriously difficult to define. Quantitative metrics (Rizkallah & Sin 2010; Carpenter et al. 2014) such asthe journal impact factor, immediacy index, eigenfactor, andarticle influence score all attempt to estimate impact, but allhave notable deficiencies and norms are field-specific (i.e., thesame impact factor value might be considered low in one fieldand high in another).

다른 고려 사항은 제출에서 수락까지 그리고 수락에서 출판까지의 시간, 출판 비용, 지역 동료들에 의한 저널의 인정, 단어 나 숫자에 대한 제한을 포함합니다.

8. 저널의 지침을 따르라

Ti p 8 Follow journal instructions precisely

지침을 따르지 않으면 편집 팀에 불리한 첫 인상을 남기며, 경우에 따라 자동 reject을 유발할 수 있습니다. 따라서 제출하기 전에 마지막으로 작성자의 지침을 다시 읽고 완전히 준수했는지 확인하십시오. 일반적으로 편집 담당자의 명시적인 허가없이 명시된 한도를 초과하지 마십시오 (그리고 표지 말에 문서화하십시오).

Failing to follow instructions creates an unfavorable first impression with the editorial team, and in some cases may trigger automatic rejection. Thus, the last thing I do before submitting is re-read the author instructions and verify that I have fully complied. In general, do not exceed stated limits without express permission from the editorial staff (and document this in your cover letter).

대부분의 저널에는 여전히 커버 레터가 필요합니다. 그러나 이것은 매우 간단하고 집중 될 수 있습니다. 간결하지만 완전한 표지 말은 3 개의 짧은 단락으로 구성 될 수 있습니다. 단락은 저자, 기사 요약 및 잠재적 검토자를위한 것입니다. 대부분의 서신에서 유일한 필수 요소는 저자, 이해 상충 및 이전 발행에 대한 간략한 설명입니다. 2 ~ 4 문장 요약 문단은 초록 (편집자가 곧 읽을 예정)을 반복해서는 안되며, 이 주제의 중요성,이 발견이 현장에서 예상되는 영향 및 왜이 원고가 선정 된 저널과 잘 어울린다.

Most journals still require a cover letter. However, this can be very brief and focused. A concise but complete cover letter might consist of three short paragraphs – one each for authorship, article summary, and potential reviewers. The only required element in most letters is a brief statement about authorship, conflicts of interest, and prior publication. The two to four sentence summary paragraph should not recapitulate the abstract (which the Editor is going to read soon enough), but rather should focus on the importance of this topic, the anticipated impact of these findings on the field, and why this manuscript is a good match for the chosen journal.

리젝당했을 경우...

When you are rejected (because you will be)

출판 게임의 한 부분이다

rejection is simply part of the publishing game.

절대 포기하지 말아라

You should never give up after the first rejection! You have already invested substantial effort in getting the manuscript to this stage; that effort is wasted if you stop now.

9. 빨리 다시 착수하라

Ti p 9 Get it back out the door quickly!

할 수 있는 것을 빨리 수정하고(팁 10 참조), 다음 저널을 확인하고 제출하십시오.

Make whatever changes you are going to make (see Tip #10), identify the next journal, and submit.

편집자와 논쟁하는 것은 거의 도움이되지 않습니다. 특히 편집자가 주제가 자신의 저널에 적합하지 않다고 생각하면 도움이되지 않습니다. 에디터의 명시적인 허가없이 같은 저널에 원고를 다시 제출하지 마십시오.

As a corollary: It is rarely helpful to argue with editors, especially if they feel the topic is not a good fit for their journal. Never resubmit a manuscript to the same journal without getting express permission from the editor.

•   Respond to every comment individually (except purely complimentary comments).

•   Use white space (indented text), tables, and italics or bold font to distinguish reviewer comments from your response.

•   Quote modified passages in full, and/or refer to the page number in the final manuscript where the text can be found.

12. 다른 사람의 도움을 받으세요

Ti p 12 Get input from others as you revise

혼자 다 고치려고 하지 마십시오. 검토 자의 의견을 동료와 공유하고 문제 해결에 도움을 요청하십시오.

Do not try to complete the revision on your own. Share reviewer comments with your coauthors and ask for their help in addressing concerns – especially the comments you find particularly challenging.

동료 또는 다른 동료와의 토론을 통해 해결할 수없는 우려 사항이있는 경우 편집자에게 연락하여 진행 방법에 대한 안내를 받으십시오. 편집자는 귀하의 친구임을 기억하십시오. 그 사람이 귀하의 작업을 수정하고 다시 제출하도록 권유했으며 귀하의 응답이 성공적으로 이루어지기를 바랍니다.

If you have concerns that cannot be resolved though discussion with your coauthors or other colleagues, you may wish to contact an editor for guidance on how to proceed. Remember that the editor is your friend – he or she invited you to revise and resubmit your work, and wants your response to be successful. 

하지만 적절한 채널을 통해 접촉하고 (예 : 편집인에게 직접 문의하는 대신 저널의 편집 데스크를 통해 작업) 그들의 시간을 존중해야합니다.

However, be sure to follow proper channels (e.g., working through the journal’s editorial desk rather than contacting the editor directly) and be respectful of his or her time.

Tip 9 (revisited). Get it back out the door quickly

Bordage G, McGaghie WC, Cook DA. 2015. Title, authors, and abstract. In: Durning SJ, Carline JD, editors. Review criteria for research manuscripts. Washington, DC: Association of American Medical Colleges. pp 148–156.

Azer SA, Dupras DM, Azer S. 2014. Writing for publication in medical education in high impact journals. Eur Rev Med Pharmacol Sci 18: 2966–2981. XXX

Eva KW. 2009. The reviewer is always right: Peer review of research in medical education. Med Educ 43:2–4.

Glassick CE. 2000. Boyer’s expanded definitions of scholarship, the standards for assessing scholarship, and the elusiveness of the standards for assessing scholarship, and thescholarship of teaching. Acad Med 75:877–880. 

Med Teach. 2016;38(1):41-50. doi: 10.3109/0142159X.2015.1074989. Epub 2015 Sep 15.

Twelve tips for getting your manuscript published.

포커스 그룹 이해하기 (Med Educ, 2005)

Making sense of focus groups

Rosaline S Barbour

도입

INTRODUCTION

그러나 포커스 그룹 토론은 본질적으로 융통성있는 방법이며, 그 범위가 상당히 넓다. 혼란이 있는 이유는 일부 포커스 그룹을 정의하는 방법과 관련이 있습니다. 너무 엄격한 기준을 적용하지 않는 것이 좋습니다. 모든 그룹 토론은 [연구자가 그룹 상호 작용을 적극적으로 권장하고 attentive하다면] 포커스 그룹이라고 할 수 있습니다. 1

Focus group discussion, however, is an inherently flexible method and there is considerable scope to draw on all these traditions. Part of the confusion has related to how focus groups should be defined. it is advisable not to enforce too strict a set of criteria:  Any group discussion may be called a focus group as long as the researcher is actively encouraging of, and attentive to, the group interaction. 1

보건 연구자들의 초점 집단 적용의 역사는 정 성적 방법의 점진적인 수용과 거의 유사하다. 비교적 최근까지 보건 연구에서 초점 집단의 권고 된 사용은

• 가설 생성

• 프로젝트의 예비 단계에서 테스트 및 구현

• 설문지 작성

• 정량적 연구 해석

• 개입 프로그램 설계.

The history of focus group applications by health researchers has closely paralleled the gradual acceptance of qualitative methods per se.2,3 Until relatively recently the recommended use of focus groups in health research tended to be confined to 

• hypothesis generation; 

• testing and implementation in the preliminary stages of a project;4,5 to 

• developing questionnaires; 

• interpreting quantitative studies;6 or 

• designing intervention programmes.

의학교육연구에서 포커스그룹의 활용

THE USE OF FOCUS GROUPS IN MEDICAL EDUCATION RESEARCH

탐색적 방법으로 사용

Use as exploratory method

많은 보건 서비스 연구와 마찬가지로 의료 교육 연구는 전통적으로 설문 조사에 크게 의존해 왔습니다. 포커스 그룹은 의학 학부의 설문 조사에 포함시킬 항목을 개발하기 위해 초기 연구 단계에서 여러 연구자가 사용했습니다. 이러한 접근 방식에서 포커스 그룹의 역할은 응답자가 질문하는 질문이 적절하고 이해하기 쉬운지, 맥락적으로 관련이 있는지 확인하는 것입니다 .10 포커스 그룹은 문화적으로 민감한 조사 방법을 설계하는 데 유용합니다 .11,12

In common with much health services research, medical education research has traditionally relied heavily on questionnaires. Focus groups have been used by several researchers during the initial phase of studies to develop items for inclusion in surveys of medical undergraduates. The role of focus groups in such an approach is to ensure that the questions being asked are appropriate and easily understood by respondents7–9 and that these are contextually relevant.10 Focus groups are also useful in designing culturally sensitive survey methodology.11,12

Nicolson과 Andersen은 포커스그룹을 [자료를 타당하고, 신뢰할 수 있고, 측정가능한 요인이나 차원으로 줄여나가는방식(실증주의적, 환원주의적 모델)]으로 사용하는 것에 비판적입니다. 더욱이, 두 가지 접근법은 상호 배타적 일 필요는 없습니다. 설문지의 개발에 inform하겠다는 궁극적인 목표가 굳이 질적 구성 요소의 깊이 또는 이론적 정교함을 손상시킬 필요가 없습니다.

학생의 관점을 드러내는 방법으로서의 유용성

Usefulness for eliciting the student perspective

포커스그룹은 또한 커뮤니티 개발 전통에 기반을 둔 접근법에 쉽게 적용할 수 있으며, 이를 통하여 의학교육 연구자가 [어떻게 현재 의료행위 또는 의료전문직이 인식되는가]와 관련된 태도 및 정책 변화 중 일부를 이해하게끔 해줍니다. 

• 환자의 목소리를 incorporate할 필요성에 대한 인식은 포커스 그룹에 크게 의존하고 있는 연구를 촉진하였으며, 이 문제를 해결하기 위한 장벽을 확인하고 함께 노력하기 시작했습니다.17 

• 의학 교육 연구에서, 이것은 [커리큘럼을 설계, 전달 및 평가하는 책임자들의 우려와 평가 기준]을 반영하기보다는 학생 목소리를 이끌어 낼 필요성을 강조한다 .13,18

Focus groups also lend themselves readily to an approach which builds on the community development tradition and which has allowed researchers in medical education to take cognisance of some of the attitudinal and policy shifts in relation to how medical practice and the medical profession is currently perceived. 

• The recognition of the need to incorporate the patient’s voice has given rise to a body of work which relies heavily on the use of focus groups, in identifying barriers and seeking to work together to address these.17 

• Within medical education research this has led to a growing emphasis on the need to elicit the student voice, rather than merely reflecting the concerns and assessment criteria of those responsible for designing, delivering and evaluating the curriculum.13,18 

학생 목소리에 대한 관심이 증가하면서 의학 교육 연구자들은 설문 조사의 대다수를 연구 도구로 선택하게되었습니다. Dolan 등은 헬스케어의 우선 순위 설정에 대한 대중의 견해에 대한 연구에서, 설문 응답자가 자신의 대답에 대해서 성찰해 볼 시간이나 기회를 허용하지 않는 설문의 가치에 의문을 제기한다(919 쪽). 마찬가지로 일부 의학교육 연구자들은 설문 조사를 포커스 그룹과 결합시키고자 노력했지만 20,21 어떤 그룹은 포커스 그룹을 독점적으로 의존하여 학생의 의견을 이끌어 냈다.

The growing focus on the student voice has also led medical education researchers to question the ascendancy of the questionnaire as the research tool of choice. In a study of public views on priority setting in health care, Dolan et al.19 cast doubt on  the value of surveys that do not allow respondents the time or opportunity to reflect on their responses  (p. 919). Similarly, some medical education researchers have sought to combine questionnaires with focus groups,20,21 while others have relied exclusively on focus groups to elicit student views.22 

포커스 그룹은 서비스 사용, 건강 신념, 선호도 및 경험을 알아 내기 위해, 소수자 집단과 같은 접근하기 어려운 그룹에 액세스하는 데 유용하다는 사실이 입증되었습니다. 동종 그룹은 

• 참가자들에게 그들의 경험을 공유 할 수있는 상대적으로 안전한 환경을 제공하고, 

• 자연적으로 발생하는 동료 그룹을 활용하여 연구자와 연구대상자 간의 힘 불균형을 희석시킨다. 

이것은 상대적으로 억압받지 않는 토론을 장려하는데 장점이 있습니다.

Focus groups have proved useful in accessing hard-to-reach groups such as members of ethnic minority groups1 in order to find out about their service use, health beliefs, preferences and experiences. Homogeneous groups offer participants a relatively safe environment in which to share their experiences and, with regard to medical education research, dilute the power imbalance between researcher and researched by taking advantage of the naturally occurring peer group. This can pay dividends in encouraging relatively uninhibited discussion.

변화 연구에 대한 유용성

Usefulness for studying change

과정 종료시의 성과에 기초한 조사 연구는 first cohort가 새로운 교과 과정을 성공적으로 마칠 때 까지 결과를 알려줄 수 없지만, 포커스그룹 연구는 그 중간에 progress, 그리고 무엇보다 process에 대한 가치있는 통찰력을 제공 할 수 있다. 새로운 커리큘럼의 중간 단계와 같은 심층적 인 연구를 수행하는 이점은 훨씬 짧은 시간 단위로 코스 계획에 피드백을 제공 할 수 있다는 것입니다.

Whereas survey research based on end-of-course outcomes would not be able to deliver results until some time after the first cohort of students had successfully completed the new curriculum, focus group research can provide valuable insights into interim progress and, most importantly, process. The advantage of carrying out in-depth research such as this mid-way through the new curriculum is that it can feed back into and shape course planning within a much shorter timescale.

학부 교과 과정의 이러한 변화와 더불어, CME는 CPD로 초점이 바뀌었으며, 이는 의료 종사자가 자신의 목표를 수립하고 광범위한 전문직 활동에 대해 인식할 것을 요구한다. Saidi와 Weindling은 영국 남반부의 paediatricians에 대한 새로운 지속적인 전문 개발 (CPD) 계획 평가에 포커스 그룹을 사용했습니다.

Alongside these changes in the undergraduate curriculum, there has also been a shift in focus from  continuing medical education  to  continuing professional development , which involves medical practitioners in setting their own goals and which gives recognition to a wider range of professional activities. Saidi and Weindling23 used focus groups in their evaluation of a new continuing professional development (CPD) scheme for paediatricians in the South of England.

전통적인 방식으로는 CPD가 의료행위에 미치는 영향을 직접 측정하는 것이 불가능할 수도 있지만, 이러한 포커스그룹 토론은 소아과 의사가 CPD 활동의 결과로 의료행위가 어떻게 변화했는지에 대해 more subtle하지만 equally important한 방식으로 관심을 갖게 했다.

While it would probably be impossible to measure directly the impact of CPD on clinical practice using conventional methods, these focus group discussions drew attention to more subtle, but equally important, ways in which paediatricians considered that their clinical practice had changed, as a result of their CPD activities.

CPD에 대한 통찰력 제공

Providing insights into CPD

시뮬레이션 된 환자 및보고 세션과 관련된 혁신적인 접근 방식을 사용하여 Elwyn 등 25)은 매우 긍정적 인 것에서 부정적인 것에 이르기까지 환자의 바람직 함과 실행 가능성에 대한 다양한 견해가 있음을 강조했다.

Using an innovative approach which involved simulated patients and debriefing sessions, Elwyn et al.25 highlighted the existence of a spectrum of views on the desirability and practicability of involving patients, ranging from the very positive to the negative.

흥미롭게도, 이 연구는 practice consultation 후 포커스그룹 토의에서 시뮬레이션 환자를 포함시켰다. 이것은 연구자가 다른 방법으로는 도달 할 수없는 부분에 도달 할 수있게하는 포커스 그룹의 대표적인 예입니다.

Interestingly, this study also included the simulated patients in the focus group discussions following the  practice consultations . This is a prime example of focus groups enabling researchers to  reach the parts that other methods cannot reach .26

잠재 교육과정에 접근하기

Accessing the hidden curriculum

브리튼 (Britten) 등은 지적한 바와 같이, 질적 방법은 이전에 탐험되지 않은 주제를 연구 할 때, 또는 잘 이해되지 않거나 잘못 정의 된 주제를 연구 할 때 특히 적절하다. 포커스 그룹은 전통적인 정량 방법으로는 연구할 수 없는 의학 커리큘럼의 측면에 대한 통찰력을 제공하는 데 가치가 있음을 입증했습니다. 학생이 몇 학년인가에 따라서 다른 학생에 의한 misconduct를 보고할 readiness에 차이가 있음을 확인하고는, 학생들의 이유를 파악하기 위해 포커스 그룹을 사용했습니다. '내부고발'을 하지않은 것은 동료애, 보복, 자기 보존, 동료의 위법 행위를보고하는 것이 학생의 책임이 아니라고 믿는 것 등이 이유였다.

As Britten et al.27 have pointed out,  Qualitative methods are particularly appropriate when researching a previously unexplored topic, or one that is poorly understood or ill-defined.  Focus groups have proved their worth in providing insights into those aspects of the medical curriculum that are not amenable to study using more conventional quantitative methods. Having found differences in the readiness of students in different years of the medical curriculum to report misconduct by other students, focus groups were employed to explore students’ reasons. Among the reasons given for not whistle-blowing included camaraderie, retaliation by peers, self-preservation and a belief that it is not a student’s responsibility to report the misconduct of his or her peers.

의료행위의 문제영역 이해하기

Understanding problematic areas of medical practice

포커스 그룹을 사용하는 다른 연구는 의학 커리큘럼에 정보를 제공하는 데 중요한 기여를했습니다

• 천식 관리와 관련하여 일차 진료 의사의 교육 요구를 결정하기 위해 고안된 연구처럼 명시적으로,

• 전문직 활동의 문제 영역에 대한 향상된 이해를 제공함으로써 암묵적으로. 

이러한 문제에는 유전 문제 또는 질병 확인을 받은 환자가 간호사, 의사, 유전 상담가에게 제기 한 윤리적 및 전문적 문제가 포함됩니다.

Other research using focus groups has made an important contribution in terms of informing the medical curriculum either explicitly, as with a study28 designed to determine the educational needs of primary care physicians with regard to the management of asthma, or implicitly through providing an enhanced understanding of problematic areas of professional practice. Such issues include the ethical and professional challenges raised for nurses, doctors and genetic counsellors by patients with genetic concerns,29 or sickness certification.31

요약

Summary

위의 검토는 의학 교육 연구자들이 포커스그룹 방법을 열심히 받아 들였고, 의학 교육에서는 이 방법을 사용한 광범위한 연구의 결과를 고려함으로써 유익을 얻을 수 있음을 보여줍니다.

• 의료 커리큘럼이나 새로운 교육 접근법을 평가

• 다른 방식으로는 접근 할 수없는 의학 교육의 측면을 탐구

• 의료 정책 및 의료 훈련이 새로운 정책 이니셔티브에 어떻게 대응하고 있는지 확인.

• 문제가 되고 있는 의학 분야를 강조하고, 의학 커리큘럼이나 CPD 프로그램을 통해 이러한 문제를 해결할 방법을 제안

• 연구에 관한 가르침에 대한 접근법 제공

The above review certainly shows that medical education researchers have eagerly embraced the focus group method and that the practice of medical education can benefit by taking account of the findings of a wide range of studies which have employed this method: either to evaluate the medical curriculum or new educational approaches; to explore aspects of medical education which would, otherwise, prove inaccessible; to look at how medical practice and medical training are responding to new policy initiatives; to highlight areas of medical practice which are problematic and to suggest ways of tackling these via medical curricula or CPD programmes; and to inform approaches to teaching about research.

그러나, 포커스그룹이 최대한으로 활용되어온 것은 아니다. 주로 초점 그룹이 질적 연구 방법으로서 appreciation하는 것에 대한 인식이 부족하기 때문입니다. 이것은 때로는 '맥락'의 보편적 중요성을 무시한 문화의 충돌을 수반합니다. Borkan34가 지적한 바에 따르면, 질적 연구는 "계획에서 결과의 전파"에 이르기까지 맥락에 중점을 두는 것이 특징입니다. (70 쪽). 이것은 연구 디자인과 포커스 그룹 연구가 실행되는 방식에 영향을 미칩니다.

However, they have not always used focus groups to full advantage - due mainly to a lack of appreciation of the implications of focus groups as a qualitative research method. This has sometimes involved a clash of cultures which has resulted in the neglect of the pervasive importance of 'context'. As Borkan34 points out: qualitative research is characterised by a focus on context
from conception to dissemination of results (p. 70). This has implications for research design and the ways in which focus group research has been put into practice.

연구 설계와 실천

RESEARCH DESIGN AND PRACTICALITIES

포커스 그룹의 적절성 확인

Appropriateness of focus groups

포커스 그룹의 사용을 둘러싼 가장 일반적인 신화 중 하나는 연구를 다른 방법보다 빠르고 저렴하게 수행 할 수 있다는 것입니다.

One of the most common myths surrounding the use of focus groups is that they allow for research to be carried out more quickly and more cheaply than other methods.

의학 교육 연구의 맥락에서, Lam 등 18)은 포커스 그룹이 일반적으로 사용되는 설문 접근법보다 노동 집약적이며 비용이 많이 드는 것으로 나타났다.

In the context of medical education research, Lam et al.18 reflect that focus groups were more labour-intensive and expensive than the more commonly used questionnaire approach.

포커스 그룹을 설문 조사 또는 일대일 인터뷰의 대체물로 사용해서는 안됩니다 .37 그들은 주관적인 경험에 대한 창문을 제공하는 것 이상을 달성 할 수 있습니다. 포커스 그룹은 참가자가 '무슨 생각'을 하는지 알아보는데 유용하지만, 참가자가 '왜 그렇게' 생각하는지 밝히는 데에는 탁월합니다.

Focus groups should not be used as a substitute for a survey or one-to-one interviews.37 They can achieve much more than simply provide a window onto subjective experience. As David Morgan38 is frequently quoted as having pointed out:  Focus groups are useful when it comes to investigating what participants think, but they excel at uncovering why participants think as they do. 

Twohig과 Putnam39가 지적했듯이 많은 포커스 그룹 가이드와 교과서는 유용하지만 성찰적 실천을 대신할 수는 없다. 많은 다른 연구 방법과 마찬가지로, 조언은 많지만 그 모든 조언이 지금 수행중인 과제와 밀접한 관계가 있지는 않다. 비교적 최근까지 그룹 구성 및 포커스 그룹에 관한 여러 지혜는 마케팅 연구에서 얻은 것이다. 이것들은 토론을 자극하는 기술에 관해서는 매우 유용하지만, 다른 세부 사항에 관해서는 항상 그렇게 관련이있는 것은 아닙니다.

As Twohig and Putnam39 point out, although the many focus group guides and textbooks40,41 are useful they  are not a substitute for reflexive practice  (p. 298). As with other research methods, where advice abounds not all of it is germane to the task in hand. Until relatively recently much of the received wisdom concerning group composition and conduct of focus group discussions was provided by marketing research texts. While these are extremely useful with regard to techniques for stimulating discussion they are not always so relevant when it comes to other specifics.

비교

Comparison

동질성과 이질성 중 어떤 것을 토대로 연구참여자를 선택할지 여부에 대한 논쟁과 관련하여, 포커스 그룹의 주된 목적, 즉 토론을 자극하고 그룹 간 비교를하는 것을 염두에 두는 것이 중요합니다. 이상적으로, 포커스 그룹 연구원은 

• 토론을 자극하기 위해 그룹 내에서 충분한 다양성을 목표로해야하며 

• 그룹 간의 비교를 용이하게하기에 충분한 균질성을 가져야합니다 .1

With regard to the debate as to whether to recruit on the basis of homogeneity or heterogeneity it is important to bear in mind the primary purpose of focus groups, i.e. stimulating discussion and affording comparison between groups. Ideally, the focus group researcher should aim for enough diversity within groups to stimulate discussion25 and sufficient homogeneity to facilitate comparison between groups.1

비교에 대한 potential에 초첨을 둬야 한다 - 즉 양보다는 질이다.

the focus is on the potential for comparison ) quality rather than quantity.

예를 들어 혼합 전문직 또는 단일 전문직 집단을 소집할지 여부를 결정할 때 다른 고려 사항들이 작용합니다. 결정은 연구의 초점과 동료 집단의 관점을 이끌어내는 것에 달려 있습니다.

Other considerations come into play in deciding, for example, whether to convene mixed professional or single professional groups. The decision depends on the focus of the research and the importance of eliciting peer group perspectives.

참가자 모집과 세팅

Recruitment and settings

포커스 그룹 연구원은 참여를 극대화하기 위해 포커스 그룹을 어디에 두어야하는지에 대해 유연해야합니다. 중립적이거나 이상적인 장소와 같은 것은 존재하지 않습니다 .1 물론, 장소는 토론에 영향을 미칩니다. 그러나 숙련 된 연구자는 이것을 하나의 resource로서 분석에서 건설적으로 사용할 수 있어야합니다. 의학 커리큘럼의 학생 경험을 연구한다면, 교실이 당연한 선택으로 보일지 모르지만, 일부 주제의 경우 여가 시간에 학생들이 자주 다니는 공간에서 하는 것을 고려 할 수 있습니다. 그렇게 한다면, 일상적으로 관계를 맺는 동료들과 토론하여 더 illuminating할 수 있을 것이다.

Focus group researchers also need to be flexible with regard to where they hold focus groups in order to maximise participation. There is no such a thing as a neutral or ideal location.1 Of course, the location has an influence on the discussion, but experienced researchers should be able to use this constructively as a resource in analysis. Within the context of researching student experiences of the medical curriculum the classroom may seem the obvious choice but, for some topics, it might be worth considering running groups in spaces frequented by students in their leisure time, which may facilitate the sort of informal ) and, hence, perhaps even more illuminating ) discussions routinely engaged in with members of their peer group.

Running groups

다른 분석과 마찬가지로 분석을 체계적이며 철저하게 하는 것이 어려우며, 자료의 패턴에 대해서 설명하고자 할 때 '설명적'에서 '분석적'으로 이동하는 것이 어렵다. 포커스그룹 데이터 분석의 핵심은

• 비교할 기회의 활용, 

• 분석 유도 과정에서 예외에 기울이는 것, 즉 disconfirming하는 사례의 관점에서 설명을 수정하는 것.

As with other analyses the main challenge lies in being systematic and thorough45 and moving from the descriptive to the analytical as the researcher attempts to provide an explanation for the patterns identified in the data. The key to using focus group data analytically is 

• the utilisation of opportunities for comparison,46 and 

• paying attention to exceptions in the process of analytic induction ,47 which involves revision of emergent explanations in the light of disconfirming cases or comments.

ANALYSIS

포커스 그룹의 다른 모든 측면과 마찬가지로, 토론을 유도할 수 있는 힘을 높이려면, 주제 가이드를 개발하고 pilot하는 데 소요되는 시간을 충분히 확보해야 한다. Stimulus 자료는 가치가있을 수 있지만 조심해서 사용해야하며, 가능하다면 pilot시험을 해봐야합니다. 광고, 신문 스크랩, TV 물품, 건강 증진 전단지, 만화와 같은 자료는 모두 토론을 자극 할 수 있으며 분석 단계에서 그룹 간 비교를 용이하게합니다 .1

As with all aspects of focus group study design, time spent developing and piloting a topic guide should pay dividends in terms of its capacity to encourage discussion. Stimulus material can be valuable, but should be used with caution and, if possible, piloted. Materials such as advertisements, newspaper clippings, items fromTV soaps, health promotion leaflets and cartoons can all stimulate discussion and also, at the analysis stage, facilitate comparison between groups.1

그러나 포커스 그룹 데이터 분석과 관련된 몇 가지 추가 과제가 있습니다. 포커스 그룹은 합의를 지나치게 강조 할 수 있습니다. Sim48은 다음과 같이 경고합니다 : 겉으로 일치 된 듯 보이는 견해는 개별 참가자 의견을 반영하는 것이 아니라 그룹 상호 작용의 새로운 속성입니다 (345 페이지). 그러나 이것은 그룹 기반 비교를 막는 것은 아니다. 오히려 그러한 [세션에서 도달 한 결과 또는 합의의 요약]보다 [토론의 내용과 프로세스]에 초점을 둔 비교가 중요하다.

There are, however, some additional challenges associated with analysis of focus group data. Focus groups can overemphasise consensus. Sim48 warns:  An apparent conformity of view is an emergent property of the group interaction, not a reflection of individual participants  opinions’ (p. 345). However, this does not preclude group-based comparisons: rather, it is important that such comparisons focus on the content and process of discussions instead of relying on a summary of the outcome or agreement reached at the end of the session.

연구 결과 보고

Reporting focus group research

비교를 무시할 가능성과 관련하여, 일부 분석에서는 그룹 내 상호 작용을 간과하는 경향이 있으며, 여러 개인의 quote를 따오는 형태로 자료를 보여주라는 appeal에 굴복하기도 한다. 이것은 포커스 그룹을 proxy interview로 사용되고 있음을 보여주는 것이며, 포커스 그룹을 proxy survey로 사용하는 것과 관련된 몇 가지 문제점을 공유합니다. 즉, 이러한 방식은 포커스 그룹이 [의사 결정에 도달하고, 정보를 가늠weigh up하고, 해결책을 만들어가는 과정을 보여줄 수 있는 잠재력]을 잃게 한다. 포커스 그룹이 프록시 설문 조사로 사용되는 경우 결과의 부적절한 정량화 문제가 있습니다. 표본이 대표성이 없으므로, 통계적 유의성을 붙일 수 없다. 그러나 많은 포커스 그룹이 수행됩니다. 원하는 대답이 숫자라면, 포커스 그룹을 선택하는 것은 적절치 않다.

Related to the potential to neglect comparisons is the tendency in some analyses to overlook the interaction within the group and to succumb to the appeal of presenting data in the form of quotes from individuals.49,50 This suggests that focus groups are being used as  proxy interviews  and shares some of the problems associated with the practice of using focus groups as proxy surveys, i.e. it misses the full potential of focus groups to illuminate the processes involved in coming to decisions, weighing up information or formulating solutions. Where focus groups are used as proxy surveys there is also the problem of inappropriate quantification of findings. Because the sample is not representative no statistical significance can be attached to numbers ) however, many focus groups are carried out. If the desired answer is a number then the question does not indicate the use of focus groups as the method of choice.

질적 연구의 목표는 통계적 일반화보다는 전이가능성이다. 그러나 질적연구에서도 이론적 일반화가능성은 실현가능하다. Sim48은 이론적 인 일반화 가능성에 대한 유용한 정의를 제공합니다.

The goal of qualitative research is  transferability  rather than statistical generalisability.51 However,  theoretical generalisability  is a feasible goal. Sim48 provides a useful definition of  theoretical generalisability :

특정 연구에서 얻은 데이터는 [(원래의 연구와 비슷한) 다른 맥락이나 상황에 투영 할 수 있을 만큼 충분한 정도의 일반성 또는 보편성을 가지고 있는] 이론적 통찰력을 제공한다. 연구자는, 개념적 또는 이론적 수준에서, 자기가 연구한 사례나 상황과 다른 사례 또는 상황 사이의 유사점을 인식해야 하며, 이는 그것이 보여주는 속성이나 변수의 관점에서 상당히 다를 수있다 '(350 쪽).

Here, the data gained from a particular study provide theoretical insights which possess a sufficient degree of generality or universality to allow their projection to other contexts or situations which are comparable to that of the original study. The researcher recognises parallels, at a conceptual or theoretical level, between the case or situation studied and another case or situation, which may differ considerably in terms of the attributes or variables that it exhibits’ (p. 350).

자신의 연구 결과를 바탕으로 광범위하게 외삽법을 적용하는 것과 이에 대한 적절한 제한을 두는 것 사이의 균형을 유지하는 것이 중요합니다. 따라서 GP 등록 기관의 관점에 대한 연구 결과를보고 한 Elwyn 등은 "이러한 실무자가 "병원을 기반으로 한"임상 환경과 일반 진료 문화 사이의 전환 과정에 있었으며, 숙련 된 의사는 다르게 반응 할 수 있습니다 (736 쪽)."라고 코멘트했다.

It is important to strike a balance between extrapolating widely on the basis of one’s findings and placing appropriate limitations on these. Thus, reporting on their findings from a study of GP registrars’ perspectives , Elwyn et al.25 comment:  These practi-tioners were in transition between the ‘‘hospital based’’ clinical environment and the culture of general practice; experienced doctors might react differently  (p. 736). 

응답자의 검증respondent validation은 질적 연구에 대한보고를 할 때 필수적인 것으로 간주되기도한다 .45 그러나 이는 간단하지 않으며, 그 가치는 연구에 달려있다 .52 윤리적뿐만 아니라 실질적인 문제가있을 수 있으며, 그룹 토론의 녹취록을 제공하기 전에 주의 깊게 고려해야 한다. 어떤 경우에서든 그룹을 재소집reconvene 하는 것은 비실용적 인 경우가 종종 있으며, 가능하다하더라도 그룹의 역동성은 동일하지 않을 것이다 .53 대부분의 경우 dissemination세션의 형태로 예비 결과를 피드백하는 것이 아마도 가장 유용한 방법 일 것이다 .

Respondent validation is often seen as a prerequisite when reporting on qualitative research.45 However, this is far from straightforward and its value will depend on the research.52 There can be ethical as well as practical problems and careful consideration should be given before providing written transcripts of group discussions.1 Reconvening groups, in any case, is often impractical and, even if this were possible, the group dynamics would not be the same.53 In most cases feeding back preliminary findings in the formof a dissemination session is probably the most useful approach.

THE FUTURE

출판되는 포커스 그룹을 사용하는 많은 수의 논문이 있음을 감안할 때,이를 비판적으로 평가하는 방법에 대한 우려가 있음을 이해할 수 있습니다. 일부 연구자들은 포커스그룹을 사용한 가장 효과적인 연구 설계에 대한 근거 자료를 결정하려면, 광범위한 범위의 연구를 수행해야 한다고 주장한다. 그러나 이 접근법은 핵심을 놓치고 있다. 즉, 합목적성은, 연구가 수행되는 정확한 맥락을 신중하게 고려한 후에만 ​​추론deduce할 수 있습니다. 

Given the large number of papers using focus groups which have been submitted to journals there has, understandably, been some concern as to how to appraise these critically. For some (e.g. Heary and Hennessy54) the answer is seen to lie in conducting an extensive scoping exercise in order to determine the evidence base for the most effective study design using focus groups, i.e. by deciding once and for all whether large or small groups, stranger groups or peer groups are best. This approach, however, misses the point, which is ultimately  fitness for purpose , which can be deduced only after giving careful consideration to the precise context in which a piece of research is to be carried out. 

포커스 그룹은 본질적으로 유연한 방법 이며, 사용을 위해 watertight한 템플릿을 제작하려는 시도는 연구의 창의력과 혁신을 감소시키기만 할 뿐이다.45 포커스 그룹은 현 시점에서 중요한 역할을 할 수 있습니다. 그러나 질적 연구와 마찬가지로 일반적으로 지식 집단에 중요한 공헌을하기 위해서는 어떻게 포커스 그룹연구 결과를 종합하는 것이 가장 좋은지 생각해보아야 할 때가왔다.

Focus groups are an inherently flexible method1 and any attempt to produce a watertight template for their use can only serve to diminish research creativity and innovation.45 Focus groups can play an important part in this future, but only if used judiciously. However, as with qualitative research more generally, the time has come to consider how best to synthesise the findings from focus group studies, if these are to make a significant contribution to the knowledge base.55

Making sense of focus groups.

의학교육 연구에 델파이나 NGT와 같은 합의 그룹 방법 사용하기(AMEE Guide, 2017)

Using consensus group methods such as Delphi and Nominal Group in medical education research

Susan Humphrey-Murtoa, Lara Varpiob, Carol Gonsalvesa and Timothy J. Wooda

aDivision of Rheumatology, University of Ottawa, Ottawa, Canada; bSchool of Medicine, Uniformed Services University of the Health Sciences, Bethesda, MD, USA

도입

Introduction 

의학 교육자는 보건 전문가의 교육 및 평가에 관한 결정을 내릴 때 과학적 근거가있는 최신 연구 결과를 사용하기 위해 노력합니다. 그러나 교육 연구의 경험적 증거는 종종 제한적이거나 모순적이다 (van der Vleuten 2014). 불확실성이나 불완전한 증거가있는 상황에서 Delphi, 명목 집단 기술 (NGT), RAND corporation / University of California Los Angeles 적합성 평가 방법 (RAND / UCLA)과 같은 합의 집단 방법이 전문가 의견을 종합하고 의사 결정을 향상시키는 데 널리 사용됩니다.

Medical educators strive to use the latest findings from scientifically grounded research when making decisions regarding education and assessment in the health professions. Empirical evidence from educational research, however, is often limited or contradictory (van der Vleuten 2014). When faced with conditions of uncertainty or incomplete evidence, consensus group methods such as Delphi, nominal group technique (NGT), and the RAND corporation/ University of California Los Angeles appropriateness method (RAND/UCLA) are widely used to synthesize expert opinions and enhance decision making (Jones & Hunter 1995; Murphy et al. 1998, p. 4; Campbell et al. 2001; Fitch et al. 2001). 

표준 교과서는 연구자가 이러한 방법을 이용할 수 있도록 명확한 가이드 라인을 제공하는 경우는 드물지만, 방법 론적 엄격함이 부족한 경우가 많습니다 (Boulkedid 외 2011, Sinha 외 2011, Diamond 외 2014, Wagoner 외 2016). AMEE 지침서는 "방법"접근법을 제공하고, 방법론 및 보고의 공통된 약점을 강조하고, 미래의 합의를 기반으로 한 연구보고에 대한 개요를 설명하기 위해 이러한 방법을 설명합니다.

Standard textbooks rarely provide clear guidelines to help researchers utilize these methods, and studies using them often lack methodological rigor (Boulkedid et al. 2011; Sinha et al. 2011; Diamond et al. 2014; Waggoner et al. 2016). The AMEE Guide describes these methods to provide a “how to” approach, highlight common weaknesses in methodology and reporting, and outline recommendations for reporting future consensus based studies. 

교육에서 합의 방법을 사용하는 이유는 무엇입니까?

Why use consensus methods in education? 

임상의가 정기적으로 치료 옵션에 대해 어려운 선택을하는 것과 마찬가지로 보건 전문 교육자는 불확실성에도 불구하고 의사 결정을 내려야합니다. 의학 교육에서는 합의 된 그룹 방법을 사용하여 

• 새로운 또는 개정 된 커리큘럼의 구성 요소를 결정하고,

• 평가 도구를위한 항목 개발,

• 역량을 정의하고,

• 교육 자원을 개발(Humphrey-Murto 외 2014).

Just as clinicians regularly make difficult choices about treatment options, health professional educators must make decisions in the face of uncertainty. In medical education, consensus group methods are used to 

determine components of a new or revised curriculum, 

develop items for assessment tools,

define competencies, and 

develop educational resources (Humphrey-Murto et al. 2014). 

컨센서스 그룹 방법론 - 정의와 이론적 근거

Consensus group methods – definition and rationale 

합의 방법은 합의를 측정하고 발전시키기위한 체계적인 수단으로 정의된다. 이 방법의 목표는 전문가가 특정 쟁점에 얼마나 잘 동의 하는지를 확인하는 것이며, 전문가 패널과상의하고 그룹 합의를 수락함으로써 정확하고 신뢰할 수있는 평가가 가장 잘 이루어질 수 있다는 생각에 기반한다 (Campbell et al. Tammela 2013). 공식적인 합의 그룹 방법을 사용하는 경우는 그룹의 의사 결정에 대한 가정에 기초한다. 잠재적 우위는 

• 이용 가능한 광범위한 지식과 경험,

• 논쟁은 아이디어에 도전하고 새로운 아이디어를 자극 할 수 있습니다.

• 그룹 공감대가 더 믿을만한 것으로 여겨 질 수있다.(Murphy et al. 1998, p.1).

Consensus methods are defined as a systematic means for measuring and developing consensus. The goal of these methods is to establish how well experts agree on a particular issue, and is based on the idea that accurate and reliable assessment can be best achieved by consulting a panel of experts and accepting the group consensus (Campbell et al. 2001; Tammela 2013). The case for using formal consensus group methods is based on assumptions about decision-making in groups; potential advantages include 

• a wider range of knowledge and experience available, 

• debate may challenge ideas and stimulate new ones, and 

• group consensus may be seen as more credible (Murphy et al. 1998, p. 1). 

합의 그룹 방법은 익명 성, 반복, 통제 된 피드백, 통계적 그룹 응답, 구조화 된 상호 작용 (Jones & Hunter 1995; Murphy et al. 1998; Vernon 2009)과 같은 공통된 특징을 가져야한다. 이것은 비공식 집단 회의를 공식적인 합의 방법과 구별한다.

The consensus group methods should have the following common features: anonymity, iteration, controlled feedback, statistical group response and structured interaction (Jones & Hunter 1995; Murphy et al. 1998; Vernon 2009). This differentiates informal group meetings from formal consensus methods. 

합의 그룹 기법

Consensus group methods 

Several consensus methods have been described. Two consensus methods that predominate are the Delphi and NGT. The RAND/UCLA is a hybrid of these two methods. 

델파이

Delphi 

델파이 기술은 1950 년대 미국의 RAND 공군 공사 (Murphy 등 1998)에 의해 처음 기술되었다. Delphi는 과학 기술, 보건, 비즈니스, 의사 소통, 교육, 정책 분석 등 다양한 분야에서 사용되고 있습니다 (de Loe 외 2016; Vazquez-Ramos 외 2007). 의학 교육에서 합의 그룹 방법을 사용한 논문 중 75%에서 델파이와 수정 된 델파이를 사용하였다(Humphrey-Murto 외 2014).

The Delphi technique was initially described by the RAND Air Force Corporation in America in the 1950s (Murphy et al. 1998). The Delphi has been used in many fields including science and technology, health, business, communication, education, policy analysis (de Loe et al. 2016; Vazquez-Ramos et al. 2007). In medical education, the Delphi and modified Delphi account for 75% of papers using consensus group methods (Humphrey-Murto et al. 2014). 

델파이 방법과 절차

The Delphi method and process 

델파이 방법은 

1. 연구 문제 식별, 

2. 참여자 선택, 

3. 성명서 설문지 개발, 

4. 익명의 반복적 인 우편 또는 전자 우편 설문지 작성, 

5. 라운드 간의 개인 및 그룹 피드백 수집 

6. 결과 요약 (Jones & Hunter 1995; Murphy et. al., 1998; Campbell et al., 2001). 

The Delphi method includes the following stages: 

1. identifying a research problem, 

2. selecting participants, 

3. developing a questionnaire of statements, 

4. conducting anonymous iterative postal or email questionnaire rounds, 

5. collecting individual and group feedback between rounds and 

6. summarizing the findings (Jones & Hunter 1995; Murphy et al. 1998; Campbell et al. 2001). 

이 과정은 최선의 합의 수준에 도달 할 때까지 또는 사전 결정된 횟수의 라운드가 완료 될 때까지 반복됩니다. 고전적 델파이 방법에서 참가자들은 결코 서로 만나지 않는다. (Murphy et al. 1998)

This process is repeated until the best possible level of consensus is reached, or until a predetermined number of rounds have been completed. Participants never meet or interact directly in the classically described Delphi method (Murphy et al. 1998) (see Table 1 available online as Supplemental Material). 

연구 문제의 초기 식별에는 일반적으로 특정 문제에 대한 솔루션이나 권장 사항을 찾는 데 관심이있는 전문가 그룹이 포함됩니다. 예를 들어, 한 그룹의 연구자는 캐나다 내과의 주민들을위한 전국적인 신경과 교과 과정을 개발하기를 원했다 (Lazarou et al., 2011). 연구 팀은 신경 교과서를 검토하고 연구팀이 생성 한 추가 주제를 추가하여 설문지를 작성했습니다. 초기 설문 조사는 신경학의 모든 주제에 대한 포괄적 인 목록으로 구성되었습니다.

The initial identification of the research problem usually involves a group of experts who share an interest in seeking solutions or recommendations to a particular problem. For example, a group of researchers wanted to develop a national neurology curriculum for internal medicine residents in Canada (Lazarou et al. 2011). The research team developed the questionnaire based on reviewing neurology textbooks and adding additional topics generated by the research team. The initial survey was composed of a comprehensive list of all topics in neurology. 

델파이 1라운드에는 각 진술에 동의 한 전문가 참가자에게 설문지를 우편으로 발송하고 목록에 새 항목을 추가 할 수 있습니다. Delphi 참가자 수는 4 명에서 3000 명까지 다양합니다 (Campbell 외 2001). 국가 신경학의 예에서 참가자들은 각 항목을 5 점 척도로 평가하도록 요청 받았다 (분명히 포함 할 수도 있고, 중립적 인 가능성 배제, 확실히 제외 할 수도 있음). 이 연구의 참여자는 캐나다 전역의 모든 대학교의 내과 프로그램 및 신경 프로그램 디렉터와 해당 기관의 내과 의사 거주자로 구성되었습니다. 일부 델파이 연구에는 초기 설문지 개발이 없습니다. 대신, 초기 라운드는 참가자들의 아이디어 생성을위한 것입니다. 이는 특정 주제에 대해 거의 알려지지 않은 경우 매우 관련이 있습니다.

Round 1 of a Delphi involves mailing out the survey to expert participants who rank their agreement with each statement, and may be allowed to add new items to the list. The number of participants in the Delphi has ranged from 4 to 3000 (Campbell et al. 2001). In the national neurology example, the participants were asked to rate each item on a 5-point scale (definitely include, possibly include, neutral, possible exclude, and definitely exclude). The participants in this study consisted of directors of internal medicine programs and neurology programs for all Universities across Canada as well as internal medicine residents from those institutions. In some Delphi studies, there is no initial questionnaire development; instead, the initial round is for idea generation from the participants. This is very relevant when little is known about a particular topic. 

라운드간에 연구 팀은 순위를 대조하고 익명화한 결과를 검토를 위해 참가자에게 돌려 보냅니다. 양적 데이터에는 각 항목의 평균, 중간 및 / 또는 빈도 분포가 포함될 수 있습니다. 참가자는 대개 다른 참가자와의 상대적인 순위를 볼 수 있으며 항목의 순위를 다시 매길 수 있습니다. 일부 연구에서는 참여자가 자신의 견해가 다른 연구와 크게 다를 때 서면 피드백을 제공하도록 요청 받게됩니다.

Between rounds, the research team collates the rankings and the anonymous collated results are sent back to participants for review. The quantitative data might include the mean, median and/or frequency distribution for each item. Participants would usually be able to see their ranking relative to other participants, and have an opportunity to re-rank the items. In some studies participants would also be asked to provide written feedback when their views differed substantially from the others. 

항목 및 참가자 목록은 각 라운드마다 다를 수 있습니다. 

• 일부 연구에서는 항목의 전체 목록이 각 라운드에 보내지는 반면, 어떤 연구에서는 합의가 부족한 항목 만 재전송됩니다. 

• 참가자 그룹은 각 라운드마다 같을 수도 있고,이 예와 같이 프로그램 디렉터만 2 라운드에 포함될 수도 있습니다. 

• 라운드 수는 2에서 10을 초과 할 수 있습니다. 

• 최종 순위 또는 항목 목록은 최종 확인을 위해 참가자에게 전송 될 수 있습니다.

The list of items and participants may vary for each round. In some studies the entire list of items would be sent for each round, while in others only those items in which there was a lack of agreement would be re-sent. The participant group may be the same for each round, or, as in this example, only the program directors are included in the second round. The number of rounds may vary from 2 to over 10. The final ranking or list of items may be sent to the participants for final verification. 

델파이 방법의 장점은 지리적으로 분산되어있는 다수의 참여자가 잠재적으로 포함될 수 있다는 점을 포함하며 국제 연구에 선호되고 있습니다. 그것은 상대적으로 저렴하고 익명 성을 최대로 보장함으로써 특정 개인에 의한 과도한 지배력을 피하지만 토론과 토론을 제한 할 수 있습니다.

The benefits of the Delphi method include the potential inclusion of a large number of participants who are geographically dispersed, and clearly are favored for international research. It is relatively inexpensive and avoids undue dominance by specific individuals by providing the greatest degree of anonymity but may limit discussion and debate. 

명목그룹기법

Nominal group technique (NGT) 

NGT는 1960 년대 Delbecq와 Van de Ven에 의해 개발되었다 (Murphy et al., 1998, p.3). NGT는 Delphi의 여러 기능을 공유하지만 대조적으로 5-12 명이 참여하는 구조화 된 대면 상호 작용이 있습니다. 이것은 종종 항목 생성에 사용되며 토론 기회를 제공합니다 (Jones & Hunter 1995). 이 단계는 표 1에 요약되어 있습니다. 

The NGT was developed by Delbecq and Van de Ven in the 1960s (Murphy et al. 1998, p. 3). The NGT shares several features of the Delphi, but in contrast is a structured face-to-face interaction usually involving 5–12 participants. It is often used for item generation and provides an opportunity for discussion (Jones & Hunter 1995). The steps are outlined in Table 1 (available online as Supplemental Material). 

연구 팀은 명목상의 질문을 작성하고 전문가 참가자 패널을 모집합니다. 델파이와 달리 문헌 검토는 현재 완수되지는 않았지만 참가자들에게 배경 정보가 제공됩니다. 참가자들은 얼굴을 마주 보며 만남을 갖고 독립적으로 아이디어를 녹음함으로써 명목상의 질문에 답합니다. 

• 이러한 아이디어는 라운드 로빈 형식으로 그룹과 공유되며 각 참가자는 목록에서 하나의 항목을 공유합니다. 

• 이러한 아이디어는 모든 참가자가 더 이상 독창적 인 생각을 갖지 못할 때까지 응답을 문서화 한 촉진자가 기록합니다. 

• 플립 차트 또는 응답 목록이 모든 사람에게 표시되도록 게시됩니다. 

• 진행자는 그룹 토론을 진행하여 각 아이디어가 차례로 논의되고 유사한 아이디어가 그룹화되며 설명이 제공됩니다. 

The research team formulates a nominal question and gathers a panel of expert participants. Unlike the Delphi, a literature review is not always completed at this time, but background information is provided to the participants. The participants meet face to face and respond to the nominal question by recording his/her ideas independently and privately. 

• These ideas are then shared with the group in a round-robin format, with each participant sharing one item from their list. 

• These ideas are recorded by a facilitator who documents the responses until all participants have no more original ideas. 

• Often, a flip chart or list of the responses is posted for all to see. 

• The facilitator then leads a group discussion where each idea is discussed in turn, with similar ideas grouped together, and clarification provided. 

일부 설정에서는 프로세스가 여기서 끝날 수 있습니다. 그러나 일반적으로 개인은 항목에 대해 비공개 투표를하고 결과는 집단으로 (익명으로) 그룹에 피드백됩니다. 더 많은 토론과 투표가있을 수있다 (Murphy et al., 1998). 전체 과정은 1.5 시간에서 최대 6 시간까지 지속될 수있다 (Campbell et al., 2001). 진행자는 효과적으로 세션을 실행해야합니다.

In some settings, the process may end here. Usually, however, individuals then vote privately on the items and results are then fed back to the group in aggregate (anonymously). Further discussion and voting may take place (Murphy et al. 1998). The entire process may last from 1.5 to up to 6 hours (Campbell et al. 2001). A facilitator is required to effectively run the session. 

NGT의 장점에는 더 많은 아이디어가 생성되고 토론 및 토론의 잠재 성이 포함됩니다. 제한 사항에는 델파이보다 참가자 수가 적으며 지배적 인 참가자가 그룹에 과도하게 영향을 줄 가능성이 있습니다.

Advantages of the NGT include the generation of a larger number of ideas and the potential for discussion and debate. Limitations include a smaller number of participants than the Delphi, and the potential for dominant participants to unduly influence the group. 

RAND기법

RAND/UCLA appropriateness method (RAND/UCLA) 

RAND / UCLA 방법은 의료 및 수술 절차의 남용 및 과용을 측정 할 수 있도록 개발되었습니다 (Fitch et al., 2001). concept of appropriateness란 예상되는 건강상의 이익이 예상되는 부정적인 결과를 초과해야한다는 사실을 의미합니다. RAND / UCLA는 델파이와 NGT의 하이브리드라고도합니다. 델파이와 마찬가지로, 연구 문제의 확인, 문학 검색의 완성, 성명서의 설문지 작성으로 시작되어 참가자들에게 전달됩니다. 설문지에는 특정 치료를 받을 수 있는  a list of specific clinical scenarios or indications of patients가 포함될 수 있습니다. 참가자는 배경 정보 (문헌 검토, 정의)도받습니다. 

The RAND/UCLA method was developed to enable the measurement of the overuse and underuse of medical and surgical procedures (Fitch et al. 2001). The concept of appropriateness refers to the fact that the expected health benefits should exceed the expected negative consequences. RAND/UCLA has also been referred to as a hybrid of the Delphi and NGT. Like Delphi, it begins with identification of a research problem, completion of a literature search, and development of a questionnaire of statements, which is sent out to participants. The questionnaire might involve a list of specific clinical scenarios or indications of patients who may present for a certain treatment. Participants also receive background information (literature review, definitions). 

첫 번째 라운드에서 참가자들은 대면하지 않습니다. 대신 전자 메일 또는 우편 설문 조사를 통해 개별적으로 각 항목의 순위를 매 깁니다. 원래의 설명에서, 각 적응증에 대해 참가자들은 1-9의 척도로 절차의 편익 대비 비율을 평가합니다. 여기서 1은 예상되는 피해가 예상되는 편익보다 훨씬 크다는 것을 의미하고, 9는 예상되는 편익이 예상되는 피해보다 훨씬 큽니다. 중간 등급은 해악과 이득이 설명 된 환자와 거의 동일 함을 의미한다 (Fitch et al., 2001).

In the first round, participants do not meet face-to-face; instead, they rank each item individually via email or mailed survey. In the original description, for each indication, the participants rate the benefit-to-harm ratio of the procedure on a scale of 1–9, where 1 means that the expected harms greatly outweigh the expected benefits, and 9 means that the expected benefits greatly outweigh the expected harms. A middle rating means that the harms and benefits are about equal for the patient described (Fitch et al. 2001). 

NGT와 마찬가지로 다음 단계는 대면 결과를 그룹의 각 구성원에게 피드백하는 대면 회의를 포함합니다. 참석자들은 다른 참가자들이 어떻게 투표했는지에 비추어 자신의 평점에 대해 토론 할 기회를 가지며, 그 후에 사적인 투표가 다시 발생합니다. 합의가 강제되어서는 안되며 결과가 "적절", "불확실"또는 "부적절한"으로 분류 될 수 있습니다. 사용 된 일반적인 척도는 중앙값이 1-3 범위면 부적절한 것으로 분류되고, 4-6 범위는 불확실하고, 7-9 범위는 적절한 것으로 분류된다. 의견 불일치가있을 경우 uncertain도 할당됩니다. 다시 말하면, 모든 참여자 등급은 3 점 범위에 속하지 않았다 (Fitch et al., 2001). 참여자의 수는 전통적으로 9명이었는데, 표현의 다양성을 위해서는 충분히 크지 만 토론을 허용 할만큼 충분히 작았습니다.

Like the NGT, the next step involves a face-to-face meeting where collated results are fed back to each individual member of the group. The participants have an opportunity to discuss their ratings, in light of how other participants have voted after which private voting occurs again. Consensus should not be forced and the outcome may lead to a classification of “appropriate”, “uncertain”, or “inappropriate”. A common scale used is median scores in the 1–3 range are classified as inappropriate, 4–6 range as uncertain and 7–9 range as appropriate. A rating of uncertain would also be allocated if there was disagreement; in other words, all participant ratings did not fall within any 3-point range (Fitch et al. 2001). The number of participants has traditionally been 9, large enough for diversity of representation yet small enough to allow discussion. 

RAND / UCLA 방법은 아이디어 생성을 목적으로하지 않으며 고도로 구조화 된 목록의 초기 설문지를 작성하는 데 사용할 수있는 지원 데이터가 있다고 가정합니다 (Fitch et al., 2001). NGT와 마찬가지로 효과적인 촉진자가 필요합니다. 표 2는 메소드 간의 주요 차이점 중 일부를 보여줍니다.

The RAND/UCLA method is not intended for idea generation and assumes there is supporting data available to create the initial questionnaire of a highly structured list (Fitch et al. 2001). As with the NGT an effective facilitator is required. Table 2 (available online as Supplemental Material) highlights some of the key differences between the methods. 

컨센서스 그룹 방식의 문제점

The problem with consensus group methods 

이러한 단순한 연구 방법의 광범위한 사용에도 불구하고, 합의 집단 방법에 관한 관심은 오래되었다 (Sackman, 1975; Goodman 1987; Hasson et al., 2000). 고전적인 델파이에 대한 많은 수정은 상당한 혼란을 가져왔다 (Crisp et al. 1997; Keeney 2001)

Despite the extensive use of these seemingly simple research methods, concerns regarding consensus group methods are longstanding (Sackman 1975; Goodman 1987; Hasson et al. 2000). The large number of modifications to the classical Delphi has led to considerable confusion (Crisp et al. 1997; Keeney 2001) 

건강 관리와 정책 관련 연구에서 Delphi를 사용한 최근의 4 가지 리뷰는 합의 그룹 방법의 사용과보고의 결함을 체계적으로 탐구했다. 총체적으로이 연구들은 Delphi 시작시 참가자들에게 제공되는 정보, 응답 률, 참가자들에게 피드백, 익명 성 수준, 각 라운드 이후의 결과 및 합의의 정의에 대한 결함을 지적했습니다 (Boulkedid 외, 2011; Sinha et et al., Diamond et al., 2014, de Loe et al., 2016). 의학 교육 분야에서 최근 합의 된 방법의 범위를 정한 검토에서 비슷한 결과를 보여 주었다 (HumphreyMurto 외 2014). 이 연구는 라벨 사용을 멀리하고 특정 연구에서 취한 단계에 대한 포괄적 인 설명으로 이동하는 것이 중요하다는 것을 분명히 암시합니다.

Four recent reviews using the Delphi in health care and policy-related research have systematically explored deficiencies in the use and reporting of consensus group methods. Collectively, these studies have noted deficiencies regarding: information provided to the participants at the start of Delphi, reporting response rates, feedback to participants, level of anonymity, outcomes after each round and the definition of consensus (Boulkedid et al. 2011; Sinha et al. 2011; Diamond et al. 2014; de Loe et al. 2016). In the field of medical education, a recent scoping review of consensus methods demonstrated similar findings (HumphreyMurto et al. 2014). This research clearly suggests that it is important to move away from the use of labels and move toward a comprehensive description of the steps taken in a specific study. 

정 성적 또는 정량적 : 합의 그룹 방법의 기초 방법론

Qualitative or quantitative: underpinning methodology of consensus group methods 

일부 저자는 이 방법이 질적 방법론과 정량 방법론에 걸쳐 있다고 생각한다 (Stewart 2001; De Villiers 2005, 642 쪽). 델파이 방법이 구성주의적 탐구를 지원한다고 믿는다면, 엄격성은 객관성, 즉 타당성 및 신뢰성의 실증 주의적 기준이 아니라 질적 연구 (확인 가능성, 신뢰도, 이전 가능성 및 의존성)에서 사용되는 신뢰도 기준으로 정의되어야한다 (Campbell et al., 2001). 적절한 철학적 토대가 없으면 방법의 일관성없는 개념화가 발생하고 방법론의 불일치에 기여할 수 있습니다 (Guzys 2015).

Some authors consider these methods to be straddling both qualitative and quantitative methodologies (Stewart 2001; De Villiers 2005, p. 642). If one believes that the Delphi method supports a constructivist enquiry, then rigor should be defined in terms of trustworthiness criteria used in qualitative research (confirmability, credibility, transferability, and dependability) and not by positivist criteria of objectivity, namely validity and reliability (Campbell et al. 2001). The absence of an appropriate philosophical foundation results in inconsistent conceptualizations of the methods and may contribute to the inconsistency in methodology (Guzys 2015). 

방법론적 Rigor를 위한 권고

Recommendations for demonstrating methodological rigor for consensus group methods 

합의 방법을 사용하여 연구를 수행 할 때 연구 프로세스 및 결과에 신뢰성을 추가하기 위해 다음 권장 사항을 고려해야합니다.

When undertaking research using consensus methods, the following recommendations should be considered in order to add credibility to the research process and ensuing results (Table 3 available online as Supplemental Material). 

연구의 목적과 목표를 정의하십시오.

Define the purpose or objective of the study 

모든 연구와 마찬가지로 저자는 연구 또는 조사 라인에 명확한 목적을 제공해야합니다. 이것은 미래의 의사 결정을 안내 할 것입니다. 예를 들어 적절한 합의 그룹 방법의 선택과 전문가 참여자의 정의와 같은 것들이다. 그 목적이 명확하게 밝혀지면 다른 합의 방법을 선택하는 것이 분명해야한다. 예를 들어, Rheumatologists (Pineda 외. 2010)에 대한 초음파 교육에 관한 국제 지침을 개발하는 것이이 연구의 목적이라면 델파이 방법을 필요로하는 지리적으로 멀리 떨어져있는 많은 지역에서 정보를 얻는 것이 좋습니다.

As with all research, the authors must provide a clear purpose for their study or line of inquiry. This will guide future decision-making regarding, for example, selection of the appropriate consensus group method and the definition of expert participants. Selection of one consensus method over another should be evident if the purpose is clearly stated. For example, if the purpose of the study is to develop international guidelines regarding ultrasound training for Rheumatologists (Pineda et al. 2010), it would be highly favorable to have input from a large number of geographically remote regions which would require a Delphi method. 

프로세스의 각 단계 개요 : 수정이 이루어진 경우 선택에 대한 이론적 근거를 제공하십시오.

Outline each step of the process: if modifications were made, provide a rationale for the choices made 

앞서 언급했듯이, 합의 집단 방법에 대한 수정 및 표준화 부족은 연구자가 연구의 각 단계에서 사용 된 단계와 과정을 충분히 상세히 기술하는 것을 필수적으로 만든다. 간단히 말해서 "수정 된 델피"라는 말은 실제 프로세스에 대한 설명이 충분하지 않아 독자가 연구의 질을 판단하는 것이 어렵 기 때문에 빈약 한 연구보고라고 볼 수 있습니다. 선택에 대한 정당성을 제공하면 신뢰성이 추가됩니다. 과정과 선택을 명확히 설명하는 대표적인 예로는 일본에서 필요한 최소한의 간호 윤리 교육 내용과 숙달 수준을 명확히하기위한 연구가있다 (Ito et al. 2011).

As previously stated, the number of modifications and lack of standardization to the consensus group methods makes it essential that researchers clearly describe in sufficient detail the steps and processes used for each stage of the study. Simply stating a “modified Delphi” was performed with insufficient explanation of the actual process is, in our opinion, poor research reporting as it makes it difficult for a reader to judge the quality of the research. Providing justification for the choices made will also add credibility. One exemplary instance of clearly outlining the process and choices is a study that sought to clarify the minimum necessary nursing ethics educational content and mastery level in Japan (Ito et al. 2011). 

또한 컨센서스 그룹 방법은 다중 방법 연구 프로젝트에서 사용되는 하나의 연구 방법으로 점차 고려되고 있음에 주목해야한다. 결과적으로 각 단계에서 단계와 참가자를 요약하는 흐름도 또는 표를 넣으면 더욱 명확해질 것이다. 예를 들어, 연구원은 종종 국제 NGO에서 시작하여 나중에 국제 델파이 (CoBaTrICE Collaboration 2011)에서 사용되는 항목을 생성합니다.

It should also be noted that consensus group methods are increasingly being considered one research method to be used within multi-method research projects (Harvey & Holmes 2012; Fletcher & Marchildon 2014; Bloor et al. 2015; Brady 2015; de Loe et al. 2016). As a result, a flow diagram or table to summarize the steps and participants at each stage adds clarity. For example researchers often begin with a local NGT to generate items that are later used in an international Delphi (CoBaTrICE Collaboration 2011). 

참가자들에 대한 과학적 증거의 선택과 준비를 기술하십시오.

Describe the selection and preparation of the scientific evidence for the participants 

연구 정보는 과정 초기에 모든 참가자에게 제공되어야한다 (Murphy et al., 1998). 이 정보는 검토가 용이하도록 요약 된 형태로 제공하는 것이 가장 좋습니다. 제공된 연구문헌 및 정보의 등급을 매기면 편향을 줄일 수 있습니다. NGT가 기존 문헌을 검색 할 필요가 없다는 몇몇 저자의 원래의 설명에도 불구하고 (Campbell et al., 2001),이 단계는 엄격한 연구를 위해 필수적이다. 기존 문헌이 없다면 저자는 명시적으로 검색 범위를 명시해야합니다. 서로 다른 참가자 그룹이 사용되는 경우 저자는 각 그룹에 제공되는 정보를 분명하게 기술해야합니다.

Research-based information should be provided to all participants early on in the process (Murphy et al. 1998). This information is best provided in a summarized form to facilitate review. Grading the quality of studies and information provided may reduce bias. Despite the original description by some authors that NGT does not require a search of the existing literature (Campbell et al. 2001), it is our opinion that this step is essential for a rigorous study. If there is no existing literature, then the authors must explicitly state the extent of the search. If different participants groups are used, the authors should clearly state what information was provided to each group. 

초기 설문지에 항목이 포함되도록 선택한 방법을 설명하십시오 : 프로세스를 상세히 기술하십시오

Describe how items were selected for inclusion in the initial questionnaire: describe the process in sufficient detail 

원래 델파이와 NGT는 참가자들을 편향시키는 것을 피하기 위해 개방형 질문으로 시작하는 것으로 묘사되었고, 여전히 몇몇 저자들은 그렇게 제안한다 (Murphy et al., 1998; Sinha et al., 2011). 설문 조사의 항목은 문헌 검토 및 현장 전문가와의 토론을 기반으로 생성되는 경우가 많습니다. 연구원은 연구에 어떤 프로토콜이 사용되었는지 분명히해야합니다 (아이디어 생성, 기존 목록, 생성+기존 목록). 저자는 이러한 품목을 개발하는 데 사용 된 방법과 품목 선택에 사용 된 절차를 충분히 자세히 기술해야한다. 유용한 예제는 이토 (Ito)의 연구로 저자는 델파이 (Ito 외. 2011)에서 초기 항목이 어떻게 결정되었는지 설명합니다.

The original Delphi and NGT were described as beginning with an open-ended question to avoid biasing the participants, and is still suggested by some authors (Murphy et al. 1998; Sinha et al. 2011). Often, the items in the survey are generated based on a literature review and discussion with experts in the field. Researchers should make it clear which protocol – idea generation, providing a pre-determined list or a combination of both – was used in their study. The authors should describe, in sufficient detail, the methods used to develop these items and the process used for item selection. A useful example is the study by Ito where the authors clearly describe how the initial items were determined for their Delphi (Ito et al. 2011). 

명확성을 보장하기 위해 초기 질문과 항목을 주의 깊게 작성word 해야합니다. 작은 개인 그룹과의 파일럿 테스트는 구현 전에 제안됩니다. 고려해야 할 또 다른 중요한 측면은 응답 속도에 영향을 줄 수 있으므로 설문지의 길이와 복잡성입니다 (De Villiers 2005, p. 641)

The initial question and items must be carefully worded to ensure clarity. Pilot testing with a small group of individuals is suggested before implementation. Another important aspect to consider is the length and complexity of the questionnaire because this may affect response rates (De Villiers 2005, p. 641)

실질적으로 말하자면, 참가자는 "분명히 포함해야하며 반드시 포함 시키거나 결정해서는 안됨"을 선택하여 진술에 응답하도록 요청하거나 Likert 척도를 사용하여 각 진술과의 수준을 평가해야 할 수도 있습니다.

Practically speaking, participants may be asked to respond to a statement by selecting “should definitely include, should definitely not include or undecided” or they may be required to rate their level of agreement with each statement using a Likert scale. 

참가자가 선정 된 방법과 자격 : NGT,  RAND / UCLA가 사용되는 경우 facilitator의 자격 증명을 설명하십시오

Describe how the participants were selected and their qualifications: if the NGT or RAND/UCLA is used, describe facilitator’s credentials 

컨센서스 집단 방법을위한 참가자 선정은 신중히 고려해야합니다. 대부분 "전문가"를 사용하지만 전문가의 정의는 연구의 목적에 따라 다를 수 있습니다. 참가자는 일반적으로 지식이 풍부하고 탐구 영역을 대표하며 실무 경험이있는 개인입니다. 연구 결과는 패널의 구성이 결과에 영향을 미치고 방법 론적 관심을 불러 일으킬 수 있음을 입증했다 (Black et al., 1999; Campbell et al., 1999; Fitch et al., 2001; Kutchey 2001; Hutchings & Raine 2006; Hutchings et al.) 어떤 연구자는 패널의 다양성이 더 나은 성과를 이끌어낸다고 주장한 반면, 어떤 경우에는 참가자간에 양립 불가능한 갈등이 있다면 이질성이 악영향을 미칠 수 있다고 제안했다 (Murphy et al., 1998).

Selecting participants for consensus group methods requires careful consideration. Most use “experts”, but the definition of an expert can vary depending on the purpose of the study. Participants are usually individuals who are knowledgeable, representative of the area of inquiry and have practical experience. Studies have demonstrated that the composition of the panel can impact results and raises methodological concerns (Black et al., 1999; Campbell et al. 1999; Fitch et al. 2001; Keeney 2001; Hutchings & Raine 2006; Hutchings et al. 2006). Other studies have looked at diversity within a panel and suggest that diversity in the panel leads to better performance while in some instances heterogeneity may have an adverse effect if there is irreconcilable conflict between participants (Murphy et al. 1998). 

그룹 크기는 조사의 목적과 사용 된 합의 그룹 기술의 유형에 따라 크게 다를 수 있습니다. NGT는 일반적으로 5-12 명의 회원을 사용하는 반면 델파이는 6-1,000을 사용할 수 있습니다. Delphi에서 6 명 미만의 참가자는 너무 적지만, 12 명 이상은 합리적입니다 (Murphy 외. 1998). 블룸 (Blor) 등 2015)은 균형 잡히거나 여러 관점과 전문 지식의 표현을 중요하게 생각한다.

Group size can vary tremendously depending on the purpose of the inquiry and the type of consensus group technique used. NGT typically uses 5–12 members, whereas Delphi can use 6 to thousands. Fewer than six participants in a Delphi is likely too few, whereas 12 or more is reasonable (Murphy et al. 1998). Arguably balance, or representation of multiple viewpoints and expertise, is more important than size (Bloor et al. 2015). 

Delphi는 매번 약간의 수정 된 설문지를 사용하여 동일한 주제에 대해 라운드 후 질문을받는 참가자들로부터 지속적인 헌신을 요구한다는 점을 인식하는 것이 중요합니다. 참가자 선발시 작업에 전념 할 참가자를 선택하는 것을 고려해야합니다. 한 가지 비판은 과정에 참여하고 계속하기를 원하는 참가자일수록 결과에 직접적으로 영향을받을 가능성이 높아, 결과적으로 편향되어 있다는 점이다 (Keeney, 2001).

It is important to be aware that the Delphi requires a sustained commitment from participants who are questioned round after round on the same topic with a slightly modified questionnaire each time. Selection should consider choosing participants who will be committed to the task. One criticism is that participants willing to engage and continue in the process are more likely to be affected directly by the outcome and therefore are biased (Keeney 2001). 

전문가 패널의 구성이 어떻든 저자는 이론적 근거를 제공하고 선택을 정당화해야합니다. 한 그룹의 저자는 의료 연구의 잠재적 참여자를 제공자, 교수, 환자, 지불 자, 정책 결정자, 민간 부문, 공공, 구매자 및 언론 (Boers 등 2015)과 같이 9 "p"로 식별했습니다. 이것은 쉽게 교육으로 옮길 수 있습니다.

Whatever the makeup of the expert panel, the authors must provide a rationale and justify their choices. One group of authors has identified potential participants in health care research as the 9 “p”s: providers, professors, patients, payers, policy makers, private sector, public, purchasers and press (Boers et al. 2015). This can be easily transferred to education. 

NGT 또는 RAND / UCLA를 사용하는 경우, 진행자는 현장에서 인정받은 전문가이거나 믿을만한 사람이 아니어야합니다 (Campbell 외 2001). 촉진자는 모든 견해가 동등하게 논의되도록해야합니다.

If using NGT or RAND/UCLA, the facilitator should be either a recognized expert in the field or a credible nonexpert (Campbell et al. 2001). The facilitator should ensure that all viewpoints are equally discussed. 

계획된 라운드 수 및 / 또는 프로세스 종료 기준 설명

Describe the number of rounds planned and/or criteria for terminating the process 

현재 권장되는 라운드 수는 2 ~ 3 개입니다. 그러나 이것은 아주 적은 과학적 증거에 기초하고있다 (Boulkedid et al. 2011). Attrition은 특별한 관심사이며 연속적인 라운드에서 응답률이 현저하게 감소하는 것으로 나타났습니다 (Tammela 2013). 일부 저자들은 참가자들이 피곤해지는 바람에 과정을 끝내기로 동의하는 "잘못된 합의"를 피하기 위해 선결 횟수를 미리 결정해야한다고 강하게 느낀다.

The currently recommended number of rounds is two to three; however, this is based on very little scientific evidence (Boulkedid et al. 2011). Attrition is a particular concern, with studies demonstrating significant decreasing response rates in successive rounds (Tammela 2013). Some authors feel strongly that the number of rounds should be determined a priori to avoid “false consensus”, where participants become fatigued and agree just to end the process. 

작성자는 미리 합의 된 기준에 도달하거나, 최대 라운드 수가 완료되었거나, 응답의 안정성이있는 경우와 같이 (Diamond et al. 2014) 델파이 프로세스 종료의 대체 중지 기준을 지정해야한다고 제안되었습니다. 안정성은 라운드를 통해 각 질문에 대한 참가자의 반응이 변하지 않고 특정 임계 값 이하의 평균 변화와 같은 사전 정의 된 정의가 필요함을 시사합니다 (Vazquez-Ramos 외 2007).

It has been suggested that authors should specify alternate stopping criteria such as terminating the Delphi process when a predetermined definition of agreement is reached, a maximum number of rounds had been completed or there is stability of responses (Diamond et al. 2014). Stability suggests that participant responses to each question across rounds is not changing and requires a pre-determined definition such as a change in mean that is below a certain threshold (Vazquez-Ramos et al. 2007). 

합의의 정의가 무엇인지 명확히 기술한다.

Clearly describe how consensus was defined 

일부 저자는 '합의'가 가장 민감한 방법론적 쟁점이며, 그 정의는 프로세스가 시작되기 전에 결정되어야 한다고 생각한다 (Boulkedid et al., 2011; Diamond et al. 2014). 합의의 일반적인 정의는 응답자의 70 %가 항목을 포함해야한다고 동의하거나 강력하게 동의한다는 것입니다. 70 %가 동의하지 않거나 강력하게 동의하지 않는 항목은 폐기해야하며,이 기준을 충족시키지 못하는 항목은 다음 순위로 재 순위 지정을 위해 보내집니다. 다른 사람들은 정의된 기준을 초과하는 median 점수가 적절하다고 결정할 수 있습니다 (Tammela 2013). 합의에 대한 정의는 연구자마다 다양하여 , 51-80%에 이른다(Hasson et al. 2000).

Some authors consider how consensus was defined as one of the most sensitive methodological issues and should occur before the process begins (Boulkedid et al. 2011; Diamond et al. 2014). A typical definition of agreement would be that 70% of respondents agreed or strongly agreed that an item should be included. Items where 70% disagreed or strongly disagreed should be discarded, and items not meeting these criteria would be sent to the next round for re-ranking. Others may decide a median score above a defined threshold is adequate (Tammela 2013). There is great variability in the definition, with a range of 51–80% (Hasson et al. 2000). 

각 라운드 종료 후 응답률 및 결과보고

Report response rates and results after each round 

응답 및 결과보고와 관련하여 고려해야 할 중요한 두 가지 측면이 있습니다. 첫 번째는 참가자의 응답률입니다. 익명을 유지하면서 각 라운드 이후의 응답률을보고해야합니다. 응답자의 유형도 중요한 의미를 가질 수 있으므로 포함시켜야합니다. 예를 들어, 국제 델파이에서는 각 국가의 응답자 비율이보고와 관련이 있습니다. 한 가지 우려는 소수 의견을 가진 참가자가 갈수록 더 빠질 가능성이 있으며, 이것은 최종 라운드에서의 합의 정도가 과대 평가되었음을 의미할 수 있습니다 (Sinha 외. 2011).

There are two important aspects to consider with respect to the reporting of responses and results. The first is participant response rates. Response rates after each round should be reported while maintaining anonymity. The type of respondents should also be included, as it may have significant implications. For example, in an international Delphi, the percentage of respondents from each country would be relevant to report. The concern is that participants with minority opinions may be more likely to drop out, which may mean the degree of consensus reached in the final round is an overestimation (Sinha et al. 2011). 

두 번째는 각 라운드 후에 실제 결과입니다. 어떤 사람들은 각 라운드를 별도로보고하면 생성 된 주제와 각 라운드에 대한지지의 힘을 명확하게 볼 수 있다고 제안했습니다. 예를 들어, 쇄골하도부 중심 정맥 도관 삽입에 대한 레지던트를 평가하는 도구를 개발 한 연구에서는 Delphi 라운드 1과 2의 결과를 요약하여 설명합니다 (Huang 외 2009)

The second is the actual results after each round. Some have suggested that reporting each round separately gives a clear view of the themes generated and the strength of support for each round. For example, a study developing an instrument to assess a resident in subclavian central venous catheter insertion outlines the results for Delphi rounds 1 and 2 including which items were dropped or modified at each round (Huang et al. 2009) 

각 라운드 후에 제공되는 피드백 유형 설명

Describe the type of feedback provided after each round 

피드백은 Delphi의 필수 구성 요소로 간주됩니다. 참가자들에게 피드백은 정량적 및 / 또는 정 성적 데이터를 포함 할 수 있습니다. 또한 개별 참여자가 쟁점에 동의하는 정도와 참여자가 서로 동의하는 정도의 두 가지 유형의 합의가 포함됩니다. 정량적 피드백에는 참가자의 점수, 참가자의 중앙값, 점수의 범위 및 각 점수를 선택하는 참여자의 비율과 같은 요약 통계가 포함될 수 있습니다. 참가자는 순위를 변경할 수있는 기회가 주어 지지만, 그들이 꼭 대세에 따를 필요가 없다는 것을 분명히해야합니다. 연구원은 특이한 응답을 보이는 참가자에게 선택에 대한 서면 진술 (질적 데이터)을 제공 할 것을 요청할 수 있습니다.

Feedback is considered an essential component of Delphi. Feedback to participants can include quantitative and/or qualitative data. It also involves two types of agreement: the extent to which individual participants agree with an issue, and the extent to which participants agree with one another. Quantitative feedback may include summary statistics such as the participants’ score, participants’ medians, range of scores and the proportion of participants selecting each point on a scale. Participants are provided an opportunity to change their ranking, but it should be made clear that they do not need to conform. Researchers may ask the participants who are outliers to provide written justification for their choices (qualitative data). 

일부 연구는 모든 참여자 또는 단일 집단으로부터의 공동 의견 등 프로세스의 결과에 상당한 영향을 미칠 수있는 피드백 유형이 있음을 보여 주었다 (Campbell et al., 2001).

Some studies have demonstrated that the type of feedback provided, for example collective feedback from all participants or from a single group, may have a substantial influence on the outcome of the process (Campbell et al. 2001). 

익명성 유지 방법 설명

Describe how anonymity was maintained 

합의 그룹 방법의 가장 중요한 측면 중 하나는 익명성 유지입니다. 예를 들어 권력이 있는 회원들이 dominant하지 않게 유지하는 것이 필수적입니다. 저자는 이것이 어떻게 성취되었는지 명확하게 기술해야합니다. 델파이와 RAND / UCLA의 우편물 사용 및 NGT의 개인 순위를 통해 달성됩니다.

One of the most important aspects of consensus group methods is the maintenance of anonymity. It is essential to avoid dominance by members who, for example, may be in a position of authority. Authors must clearly state how this was accomplished. It is achieved through the use of mail outs in Delphi and RAND/UCLA and private ranking in NGT. 

고찰 부분에서 잠재적인 방법 론적 문제를 다룬다.

Address potential methodological issues in the discussion 

앞서 언급했듯이, 합의 집단 방법이 "양적 또는 질적"인지 여부에 대한 합의가 없기 때문에 이러한 방법의 타당성이나 신뢰성을 평가하는 방법에 관한 혼란이 발생했다. 아마도 첫 번째 단계는이 가이드에서 다루는 방법 론적 문제에주의를 기울이는 것입니다. 토론에서 저자는 라운드 간의 빈약 한 응답률, 선별 된 그룹 또는 지리적 영역의 참여 부족, 합의 부족과 같이 결과에 영향을 미칠 수있는 문제를 다루어야합니다. 합의가 이루어지지 않을 때, 이것은 종종 미래 연구 주제에 대해 특정 주제에 대한 정보를 제공합니다.

As previously noted, the lack of consensus of whether consensus group methods are “quantitative or qualitative” has led to confusion regarding how to assess validity, or credibility of these methods. Arguably, the first step is attention to the methodological issues such as those covered in this Guide. In the discussion the authors should address issues that may have impacted the results such as 

• poor response rates between rounds, 

• lack of participation from a select group or geographic region, or 

• lack of consensus. 

When there is a lack of consensus, this often informs the future research agenda for a particular topic. 

결론

Conclusions 

합의 방법 그룹 방법이 일반적으로 사용되지만, 이러한 방법의 정의, 사용 및보고에있어서 표준화의 상당한 부족은 그 효율성을 저해 할 수있다. 위에서 논의 된 문제에 대한 적절한 주의는 연구자가 그 이름만 사용하는 것에서 벗어나 연구에서 취한 조치에 대한 포괄적 인 설명과 정당화를 위해 도움이 될 것이며 연구 결과가 신뢰할 수 있고 유용하다는 것을 확신시켜 줄 것입니다.

Consensus group methods are commonly used, but the considerable lack of standardization in definitions, use and reporting of these methods may hamper their effectiveness. Adequate attention to the issues discussed above will help researchers move away from the use of labels and toward a comprehensive description and justification of the steps taken in their study, ensuring that the results of the research are as credible and as useful as possible.

Med Teach. 2017 Jan;39(1):14-19. doi: 10.1080/0142159X.2017.1245856. Epub 2016 Nov 12.

Using consensus group methods such as Delphi and Nominal Group in medical educationresearch.

명확한 정의와 의도하지 않은 결과(Med Educ, 2017)

What’s in a name? Definitional clarity and its unintended consequences

Kevin W Eva

문제 기반 학습, 2 타당성, 3 피드백, 4 전문성, 5 통합, 6 객관적 구조 임상 시험, 7 자기 평가 및 종단 통합 사무직 9 이들의 공통점은 무엇입니까?

topics explored in our field: problem-based learning,2 validity,3 feedback,4 professionalism,5 integration,6 objective structured clinical examinations,7 self-assessment8 and longitudinal integrated clerkships.9 What do these things have in common?

필자가 생각해 왔던 한 가지 특징은 개념이나 혁신이 충분히 대중화 될 때, 누군가는 그 개념이 불충분하게 정의되거나 다양한 방식으로 사용된다고 주장하기 시작할 것입니다 .2-9 명확한 정의가 중요하다는 것은 의심의 여지가 없습니다. 그것이 없으면 상당한 오해의 위험이 있습니다. 명확한 정의가 없으면, 어떤 혁신의 영향력도 suboptimal할 것이고, 새롭게 사람들이 효과적으로 현장에 참여하는 것을 불가능하게 만듭니다. 이러한 모든 문제는 효과적인 의사 소통을 저해하기 때문에 교육 과정의 품질 향상을 어렵게 만듭니다.

최악의 시나리오는 '나는 그것에 대해 배우기 위해 충분한 시간을 쓰지 않았다.'라고 말하는 대신 '명확한 정의가 없다'라는 핑계를 대는 것이다. 모든 사람이 HPE 공동체가 사용하는 모든 개념에 진실로 정통 할 수 없기 때문에 naivety에 대해 불만하는 것은 아닙니다. 그러나 자신의 무지가 자신의 전문 지식의 영역을 넘어서서 모든 것을 undermine하게 만드느니, "나는 sensibly하게 말하기에 충분히 알지 못한다"고 말하는 것도 괜찮음을 상기시키려는 것이다.

더 중요한 것은 '사람들이 각기 다른 방식으로 용어를 사용한다. 그래서 용어 자체는 별로 의미있지 않다'라는 것을 핑계로 중요한 토론을 고의적으로 회피하는 것이다.

More concerning to me though are observations of cases in which important discussions have deliberately been brushed aside with the claim ‘different people use the term in different ways’ and the implication that, therefore, the term is not meaningful and should be banned from our lexicon altogether.

또한 다른 사람이 아이디어나 데이터를 비평가와 동일한 방식으로 사용하지 않는다는 이유로, 단순히 그 사람의 아이디어나 데이터를 무시하는 코멘트도 문제이다.

Equally troubling are comments that simply dismiss the ideas or data of others on the basis that those others appear not to use the terms in a way that aligns with the critic’s understanding of them.

세계의 모든 언어는 시간이 지남에 따라 의미가 변화하고 예측할 수없는 방식으로 진화됩니다 .10 그렇다면 왜 학계에서 사용하는 언어에 대해서만 일관성과 보편성을 기대해야합니까? 왜 우리는 용어가 현재 사용되는 방식이 '그 용어가 유래한 방식'과 다르다는 이유만으로 현재의 사용되는 방식을 무시해도 된다는 주장을 인정하는가? 용어가 변화하는 것은 그 용어를 사용한 사람이 의도적으로 추구하지 않았더라도, 어떤 목적을 수행하는 경우가 많습니다 .11

Every language in the world evolves with meaning changing over time and place in unpredictable ways.10 Why then should we expect constancy and universality in the language we use in academia? Why should we accept the argument ‘that’s not how the term originated’ as sufficient to rule out of consideration how the term is currently being used? Such changes often serve some purpose even if it is not a purpose that was deliberately pursued by the user.11

학자들은 명확함과 이해를 갈망하며, 특히 모든 것에 대해 정확하길exacting하는 바라는 성향이 있습니다.

Scholars tend to be a particularly exacting lot, desiring clarity and understanding.

그러나 우리가 사용하는 모든 용어에 대해 직접적인 합의를 이룰 수 있다는 믿음이 아니라, 단어의 특정 의미, 혁신의 구체적인 특징을 모니터링하고 명확히 함으로써 인식의 차이를 밝히는 행위가 우리를 더욱 발전시킨다.12 또한 우리는 용어에 대한 합의가 변하지 않고 항구적일 거라고 기대할 수 없으며, 그러한 정의가 존재한다면 아마도 사전에 제시된 '문자적인' 정의에 그칠 뿐이며, 그 이상은 보여주지 못한다.

It is, however, the act of uncovering differences in perception through monitoring and clarifying the specific meaning of words or the specific features of innovations that moves us forward, not the belief that we could achieve straightforward consensus on every term we use.12 Even if we could, we cannot expect such consensus to remain stable any more than the ‘literal’ definitions of words offered in a dictionary reflect anything more than current norms.10

이 노력에서 우리는 명확한 정의를 만들이 위해 계속 노력해야 한다. 그러나 동시에, 개념을 간단하게, 보편적으로, 안정적으로 정의하는 것은 복잡한 일이기 때문에, 이것에 마비되어 앞으로 나아가지 못해서도 안 된다. 셰익스피어의 견해에서, '우리가 장미를 다른 이름으로 부르더라도, 여전히 장미의 감미로운 냄새를 맡을 것입니다.' '장미'라는 이름이 수천 개의 다른 식물을 묘사하고 있기 때문에 우리의 장미를 비료에 묻지 말고, 달콤한 장미 냄새가 계속 나도록하십시오. 그 중 일부는 꽤 가시가 있습니다.

In this effort we want to continue to strive for definitional clarity. At the same time, we cannot stall in our efforts to move forward by becoming paralysed by the complexities that make the more interesting concepts difficult to simply, universally or stably define. In Shakespeare’s view, ‘that which we call a rose by any other name would smell as sweet’. Let’s make sure our roses continue to smell sweet by not burying them in manure just because the name ‘rose’ describes thousands of different plants, some of which can be quite prickly.

15 Chiavroli N. Knowing how we know: an epistemological rationale for the medical humanities. Med Educ 2017;51 (1):13–21.

16 Paradis E, Sutkin G. Beyond a good story: from Hawthorne effect to reactivity in health professions education research. Med Educ 2017;51 (1):31–9.

17 Gegenfurtner A, Kok E, van Geel K, de Bruin A, Jarodzka H, Szulewski A, van Merrie¨nboer JJG. The challenges of studying visual expertise in medical image diagnosis. Med Educ 2017;51 (1):97–104.

Med Educ. 2017 Jan;51(1):1-2. doi: 10.1111/medu.13233.

What's in a name? Definitional clarity and its unintended consequences.

질적인 질적 대화(Med Educ, 2017)

The qualitative quality conversation

Renate Kahlke

질적 연구에서 '품질'을 측정하는 방법에 대한 토론은 다음과 같은 질문을 던져왔다.

• 질적 연구에서 어떤 종류의 진실성 주장을 할 수 있는가?

• 질적 기준이 여러 질적 방법론 사이에 동일해야 하는가 아니면 각 방법론에 특화되어야 하는가?

Debates about how to measure ‘quality’ in qualitative research have been questions such as: What kind of truth claims can be made in qualitative research? Should quality criteria cross qualitative methodologies or be specific to each methodology?

이 질문들 중 어느 것도 깔끔하게 해결할 수 없습니다. 이러한 논쟁이 지속되었다는 사실은 쉬운 해결책이 불가능할 수도 있음을 암시합니다. 어쩌면 논쟁 자체가 모든 것을 포괄하는 해결책을 만드는 것보다 더 중요 할 수 있습니다. 방법론적 문헌의 품질에 대한 사려 깊은 대화는 연구자에게 자원을 제공합니다.

None of these questions can be neatly resolved; The fact that these debates have persisted suggests that an easy resolution might not be possible (or even desirable). It is likely that the debates themselves are more important than the generation of an all-encompassing solution; thoughtful conversations about quality in the methodological literature provide a resource for researchers,

Varpio 등은 질적 및 구성주의적 접근법이 현재 널리 받아 들여지고 있으며, 어떤 용어들은 전략적으로 채택되었지만 무비판적으로 사용되고 있어 다시 생각해 볼 필요가 있음을 지적한다. 충분한 양의 데이터 수집 및 분석이 일어 났을 때를 기술하는 방식으로서의 포화, 데이터 소스를 서로 비교함으로써 결과의 유효성을 검증하는 방법으로서의 삼각 측량, 그리고 참여자 검증을 통한 결과의 유효성을 검증하는 방법으로서 멤버 체킹 등이 있다.

Varpio et al.2 note that qualitative and constructivist approaches are now widely accepted, and that there is a need to rethink some of the terms that were strategically adopted but are now often uncritically applied, including: emergence as a way of describing the construction of themes, saturation as a way of describing when ‘enough’ data gathering and analysis have occurred, triangulation as a method of validating findings by comparing sources of data against each other, and member checking as a method of validating findings through participant verification.

저자가 주장 하듯이, 이러한 용어는 여전히 후기실증주의 가정에 의해 뒷받침된다. 즉, 이 용어를 사용할 때 연구자들은 종종 발굴 될 진리가 있음을 시사하며, 그 진리는 confirm 또는 disconfirm 될 수 있음을 나타낸다.

As the authors2 argue, these terms are still underpinned by post-positivist assumptions; that is, the use of these terms often suggests that there is a truth to be unearthed and that this truth can be either confirmed or disconfirmed.

복잡한 문제에 대한 신속한 해결책을 찾으려고 하는 근본적인 압력이 있고, 그 결과 이러한 용어를 쉽게 사용하고 있다는 사실을 인식하는 것이 가치가있다.

it is worth recognising that the underlying pressures that invite researchers to look for quick solutions to complex problems remain and are likely to lead to facile use of the terms discussed by Varpio et al.2

'포화'라는 용어의 사용 여부보다 샘플링, 데이터 분석 및 보고의 투명성이 더 중요합니다.

whether or not the term ‘saturation’ is used might matter less than the implications the term holds for sampling, data analysis, and transparency of reporting.

포화 상태를 달성한다는 것은 주어진 개념의 모든 가능한면을 찾는 것을 의미한다면, '포화'를 주장하는 것은 무모 한 것이다. 그렇다면, 포화가 여전히 정성적인 방법을 통해 종종 사용되고 있으며, 항상 사려 깊게 사용되는 것은 아닙니다. Morse3는 최근 이 용어의 계속 사용을 주장했습니다. 그녀는 이 용어(포화)를 사용할지 말지를 결정하는 것보다, 연구자들이 포화가 달성되었다는 것을 단순히 주장하지 말고, 적극적으로 입증해야함을 요구하는 것이 더 중요하다고 주장한다. Morse는 또한 포화가 강력한 이론 및 데이터 표현을 통해 증명 될 수 있음을 제안합니다 .3 근거이론 연구에서...

If achieving saturation means finding every possible facet of a given concept, it would be foolhardy to claimit. Then again, saturation is still often used across qualitative methods, and not always thoughtlessly. Morse3 has recently advocated the continued use of this term; her argument suggests that the use or replacement of this term is less important than the imperative that researchers actively demonstrate to what extent and how saturation was achieved, rather than simply claiming that it was. Morse further suggests that saturation can be demonstrated through a robust theorisation and presentation of data.3 In grounded theory studies: 

포화 상태의 연구는 자신감과 능력으로 일관되게 작성됩니다. 결과 이론은 각 개념과 관련 예제에 대한 포괄적 인 설명으로 완성됩니다. 이 이론은 추상적이며 문학과 관련되어있다. 결과는 새로운 사건에 일반화 될 수 있으며, 결과는 독자를 놀라게하고 기쁘게합니다 .3

‘Saturated research is written cohesively with confidence and competence. The resulting theory is complete with comprehensive descriptions for each concept and with pertinent examples. The theory is abstract and linked to the literature; the findings are generalisable to new incidents, and the findings surprise and delight the reader.’3

Malterud 등의 '정보 힘', Tracy의 '엄격한 엄격함', '해석 적 또는 이론적 충분 성'에 대한 다양한 접근법 (예 : 6-8)을 포함하여 채도에 대한 많은 대안이 제시되었습니다. 이들의 차이점에도 불구하고, 이 모든 접근법들이 공통적으로 가지고있는 것은 샘플과 분석이 어떻게 주장을 보증하기에 충분한지 주의 깊게 설명해야 한다는 것이다. 포화라는 용어를 버리든 연구자가 취해진 방법 론적 태도에 더 적절하다고 생각되는 다른 용어로 대체하든, 이러한 프레임워크는 '충분한' 데이터 수집 또는 분석이 발생했다는 결정에 대해서 생각해보고 토론하는 틀을 제공합니다 .

Many alternatives to saturation have been offered, including Malterud et al.’s ‘information power’,4 Tracy’s ‘rich rigor’,5 and various approaches to ‘interpretive or theoretical sufficiency’ (e.g.6–8). Despite their differences, what all of these approaches have in common is a concern for careful articulation of how samples and analyses are sufficient to warrant the claims made. Whether or not saturation is dispensed with and replaced with some other termthat the researcher deems more appropriate to the methodological stance taken, frameworks such as these offer a structure through which to think through and discuss the decision that ‘enough’ data collection or analysis has occurred.

공통된 용어와 인식론적 입장 사이의 모순은 더 큰 갈등의 표식이다. 이론적으로 연구자들이 가지고있는 신념과 그들이 (종종 무비판적으로) 채택하는 연구 관행 사이에 간극이 발생하는 경우가 종종있다. 우리는 또한 가장 중요하고 반성적인 연구자조차도 그들이 자신의 연구의 rigor에 대해서 어떻게 '말해야 하는가'에 대한 disciplinary norm에 종속되는 경우가 많으며, 이것은 그들이 어떻게 '생각하는지'와는 다를 수 있다.

Contradictions between common terms and epistemological stances serve as markers of a larger conflict: there is often a disjuncture between the beliefs researchers hold in theory and the research practices they adopt (often uncritically). That said, we must also recognise that even the most critical and reflective researchers are subject to disciplinary norms that constrain how they talk about the rigor of their work, if not how they think about it.

편집자와 검토자의 의미와 무관하게, 단어 수와 방법 섹션의 구조와 길이에 관한 학술지의 규칙은 용어가 의미하는 바가 무엇인지, 어떻게 달성되는지에 대해서는 거의 설명하지 않은 채로 포화 또는 삼각측량을 주장하는 현재의 관행에 크게 영향을 미친다. 연구원은 종종 단어를 shave off하기위해 간략화된 설명을 강요 당한다. 특히 조사 결과를 발표하는 것이 일반적으로 단어 수에 더 큰 영향을주는 질적 연구에서 그러하다.

Whether or not editors and reviewers enforce them, conventions around word count and the structure and length of methods sections are likely to contribute significantly to the current practice of claiming saturation or triangulation while offering little explanation of what these terms mean or how they are achieved. Researchers often feel compelled toward shorthand descriptions in order to ‘shave off’ words, particularly in qualitative work in which the presentation of findings generally takes a more significant toll on word count.

4 Malterud K, Siersma VD, Guassora AD. Sample size in qualitative interview studies: guided by information power. Qual Health Res 2015;26 (13):1753–1760.

Med Educ. 2017 Jan;51(1):5-7. doi: 10.1111/medu.13224.

The qualitative quality conversation.

질적 연구의 용도는 무어인가? (Med Educ, 2017)

What use is qualitative research?

Tim Dornan1 & Martina Kelly2

"우리의 목표는 국제 audience과 관련이 있으며 clinical practice를 변경하고 의사가 더 나은 결정을 내리는 데 도움이 될 수 있는 definitive (not exploratory)한 연구 질문에 대한 연구 결과를 발표하는 것입니다. 질적 연구는 대개 본질적으로 탐구 적이기 때문에 일반화가능한 답을 주지 않아 우선적으로 포함시킬 수 없다.1 '

‘Our aim is to publish studies with more definitive—not exploratory—research questions that are relevant to an international audience and that are most likely to change clinical practice and help doctors make better decisions. We do not prioritise qualitative research because qualitative studies are usually exploratory by their very nature and do not provide generalisable answers.1’

시니어 학자 76 명은 최근 BMJ에 질적 연구에 대해 더 호의적이기를 바라는 편지를 보냈다 .2 편집자들은 거부했다 .1 다른 주요 임상 저널도 질적 연구를 똑같이 unfavourably하게 여긴다 .2 그러나 현재의 'State of the Science' 이슈는, 의학교육이 확고하게 헌신하고 있음을 보여준다.

Seventy-six senior academics recently signed a letter asking the BMJ to look more favourably on qualitative research.2 The editors declined.1 Other major clinical journals view qualitative research equally unfavourably.2 This ‘State of the Science’ issue on methodology, however, shows that Medical Education is unwaveringly committed to it.3–6

BMJ이 입장을 밝힌 표현은 유익합니다. 학술지 편집자는 '연구가 ... 일반 임상 독자들에게 얼마나 흥미롭고, 얼마나 많이 추가되고, 얼마나 실용적인 가치가 있을지에 대해' 단호한 결정을 내려야합니다 .2 연구가 얼마나 '흥미로운지'를 특징짓는 것은 그 연구가 '결정적인', '일반화가능한', 'practice를 변화시키는', '더 나은 의사 결정을 돕는' 가에 달려있다. '효과적인' 의사는 명확하게 정의 된 대안 중에서 선택해야 하기에, 명확하고 수치적인 결과가 필요합니다. 그들이 필요한건 words가 아닙니다. 정치. 그러나 HL Mencken은 '모든 인간 문제에 대해서는 늘 잘 알려진 해결책이 있다. 그것은 바로 깔끔하고, 그럴듯하고, 그리고 잘못된 해결책이다.'고 말했다.

The wording of the BMJ’s stance is informative. Its editors have to ‘make hard decisions on just how interesting an article will be to ... general clinical readers, how much it adds, and how much practical value it will be’.2 Characterising ‘interesting articles’ as ‘definitive’, ‘generalisable’, able to ‘change practice’ and helping clinicians ‘make better decisions’ describes effectiveness research. ‘Effective’ practitioners choose between clearly defined alternatives. They need clear, numerical outcomes; not words. Appealing. But HL Mencken said ‘there is always a well-known solution to every human problem — neat, plausible, and wrong’.7

이번 호에 실린 다섯 개의 기사는 knowing and searching의 swampy ways를 설명합니다. 두 개의 논문에서는 브루너 (Brunner)가 제안한 패러다임적(paradigmatic) 일반적 (general) 서사적 (narrative), 특이적(particular) 지식의 구분을 활용했다. 

• 복제 가능한 단계와 일반화가능한 발견을 다루는 과학은 패러다임적 지식을 만들어냅니다.

• 하나의 상황이나 경험이 다른 것과 다른 것을 만드는 특수성 (개인적 및 상황 적 요소)에 관심을 갖게 되면 서사적 지식을 생성하게 된다.

• 과학보다는 인문학이 특이적 지식을 제공합니다 .9

• 서사적 지식은 패러다임적 지식이 가질 수 없는 불확실성과 모호함을 의사가 처리 할 수 있도록 도와줍니다.

Five3–6,9 articles in this issue describe swampy ways of knowing and researching. Two4,9 cite Brunner’s distinction between paradigmatic, or general, and narrative, or particular, knowledge. 

• A science of replicable steps and generalisable findings generates paradigmatic knowledge. 

• Paying attention to particularities (individual and contextual factors) that make one situation or experience different from another generates narrative knowledge. 

• Humanities rather than science cater for particularities.9 

• Narrative knowledge helps clinicians handle uncertainties and ambiguities that paradigmatic knowledge cannot.

이 연구들이 묵시적으로 말하는 것은, 깔끔한 기술적 해결책이 아니라 whole mess of humanity가 교육연구를 수행하는 합법적인 주제라는 것입니다. Mencken의 경구가 임상 연구뿐만 아니라 교육 연구에도 적용될 수 있음을 암시한다.

What these articles3–6,9 state implicitly is that the whole mess of humanity, and not just neat technical solutions, is a legitimate topic of education inquiry. Two5,9 even hint that Mencken’s aphorism is applicable to clinical as well as education research.

한 논문은 effectiveness에서 impact로 토론의 범위를 확대합니다. effectiveness 연구가 공평한 자원을 공정하게 사용하는 데 도움이 된다는 점을 인정하면서, 질적 연구의 impact는 원인과 결과 사이의 관계를 명확히함으로써 나온 것이라고 주장했다 .5 질적 연구는 '현장에서의 영향을 보여주는 미묘한 접근을 지지한다.'5 Regehr의 말에서 11 이것은 연구를 imperative of proof에서 imperative of understanding으로 향하게한다. 복잡성을 잘 나타낸다면 (예를 들어, 수술과에서 어떻게 여성보다 남성에게 힘을 실어주는지를 보여주는 것은) effectiveness를 증명하지는 못할지 몰라도, 그것은 광범위한 사회적 영향을 미칠 수 있습니다.

One article5 broadens the discussion from effectiveness to impact. Having acknowledged that effectiveness research helps use scant resources fairly, it argues that the impact of qualitative research comes from clarifying10 relationships between cause and effect.5 It ‘advocates for a nuanced approach to demonstrating impact in the field’.5 In Regehr’s words,11 this re-orientates research from an imperative of proof towards an imperative of understanding. Representing complexity well by, for example, showing how the discipline of surgery empowers men over women12 may not prove effectiveness. But it could have far-reaching social impact.

방법론적으로 다음의 것들에 대해서 절충적인 입장을 취한다면 우리는 교육에 영향을 미칠 것입니다. 

• 문제 파악 및 골조;

• 솔루션 탐색; 과

• 사회적 방어 가능 가치와 효과성을 이유로 선택을 정당화

2017 State of the Science 문제의 정 성적 방법론은 조사 연구가 효과 연구가 장님 인 방법에 어떤 영향을 미칠 수 있는지 보여줍니다.

We will have an impact on education if we are methodologically eclectic:

• identifying and framing problems; 

• exploring solutions; and 

• justifying choices on grounds of socially defensible values as well as effectiveness. 

The qualitative methodologies in Medical Education’s 2017 State of the Science issue show how exploratory research can have an impact to which effectiveness research is blind.

우리는 두 가지 일시적인 경향을 대조했다 : 의학교육의 진보적인 경향(절충적인 입장). 그리고 보수적인 입장(패러다임적 지식을 서사적 지식보다 우선하는 입장). 유토피아 사람들은 진보적인 경향을 따라 가면서 복잡성을 잘 표현할 것이다. 

• 그들은 이 문제에 설명 된 친숙하지 않은 인식론에 호의적으로 반응하거나 심지어 받아 들일 것입니다.

• 그들은 창 발적 주제를 넘어서 질적 연구의 움직임을 축하 할 것입니다.

• 그들은 rigour의 arbiter로서 삼각 측량, 회원 확인 및 포화를 포기할 것입니다 .3

• 그들은 연구자들이 환자와의 조우를 공저하고, 이야기로 생각하고, 4 생각하고, 교육 문제에서 출발 할 때 '전문 용어'를 피할 것입니다 .5

• 그들은 담론 분석의 혼란스러운 세부사항bewildering niceties에 직면 할지라도 권력, 특권 및 기회에 관한 불편한 결론을 심각하게 취할 것입니다.

We have contrasted two temporal trends: Medical Education’s liberal one, which is eclectic; and a conservative one, which increasingly privileges paradigmatic over narrative knowledge. Utopians will ‘represent complexity well’11 by following the liberal trend. 

• They will respond sympathetically to, even embrace, unfamiliar epistemologies described in this issue. 

• They will celebrate the move of qualitative research beyond emergent themes. 

• They will abandon triangulation, member checking and saturation as arbiters of rigour.3 

• They will avoid the word ‘jargon’ when researchers coauthor biographical encounters with patients,4 think with stories,4 and depart from educational problematics.5 

• They will take uncomfortable conclusions about power, privilege and opportunity seriously, even when confronted with bewildering niceties of discourse analysis.6

9 Chiavaroli N. Knowing how we know: an epistemological rationale for the medical humanities. Med Educ 2017;51 (1):13–21.

What use is qualitative research?

현상학적 연구에서 연구자의 위치성에 대한 협상 프레임워크(Med Teach, 2017)

A framework for negotiating positionality in phenomenological research

Robin M. Hopkinsa, Glenn Regehrb,c and Daniel D. Prattb,d

aDepartment of Human Physiology, University of Oregon, Eugene, OR, USA; bCentre for Health Education Scholarship, University of British Columbia, Vancouver, Canada; cDepartment of Surgery, University of British Columbia, Vancouver, Canada; dDepartment of Educational Studies, University of British Columbia, Vancouver, Canada

도입

Introduction

교육 공동체의 모든 구성원은 독특한 시각을 가지고 있습니다. 중요하게도 우리는 이러한 관점 중 하나가 교육 문제를 이해하고 해결하기위한 노력에서 우선한다는 전제로 시작할 수 없습니다. 각 관점은 모두 옳다. 각 관점은 교육을 보고 경험함에 있어 서로 다른 유리한 지점을 나타내기 때문이다. 객관적인 "진리"가 존재하지 않는다면, 교육 문제에보다 적절하게 대처하는 방법은 "올바른"방법을 찾는 것이 아니라 교육 과정에 종사하는 개인의 관점을 이해하는 것이다. 이처럼 개인의 독특한 시각을 이해할 수있게하는 연구 방법은이 현상학입니다.

every member of an educational community has a unique perspective Importantly, we cannot start with the premise that one of these perspectives deserves precedence in our efforts to understand and address issues in education. Each perspective is “correct”, representing a different vantage point for seeing and experiencing educational practices.When there is no objective “truth” to be found, dealing with educational issues more appropriately involves under-standing the perspectives of individuals engaged in the education process rather than searching for the “right” way to do it. An approach to research that allows us to understand the unique perspectives of individuals is phenomenology. is

현상학이란?

What is phenomenology?

종종 우리가 무언가에 대해 배우고 자 할 때, 우리는 그 일들을 이미 경험 한 다른 사람들과 이야기하고 배우려고 합니다. 따라서 특정 사물이나 장소에 대해 더 많이 배우고 싶을 때 종종 다른 사람들의 경험을 봅니다. 마찬가지로, 현상학은 더 나은 것을 이해하기 위해 사람들의 경험에 접근하는 연구 접근 방법입니다.

Often when we want to learn about something, we take the initiative to talk to and learn from others who have already experienced those things. Thus, when we want to learn more about a certain thing or place, we often look to the experience of others. Similarly, phenomenology is an approach to research that turns to people’s experiences in order to better understand something.

현상학은 기본적으로 진화하는 철학적 입장 혹은 접근법이다 (Ray 1994; McConnellHenry et al., van Manen & Adams 2010). 중요한 것은, 이것이 하나의 접근 방식이 아니라 여러가지라는 점이다. Smith et al. (2009), "현상학은 많은 관련이 있지만 뚜렷한 철학자들의 공동 생산물로 볼 수있다"(34 쪽). 여러 철학자들의 연구에서와 마찬가지로, 첫 번째 단계는 선택한 현상학적 접근법을 이해하는 것입니다. 그러나 이 philosophical plurality 속에는 모든 현상 학자들이 서있는 공통의 근거가있다 : 경험에 대한 연구와 현상학적 태도.

Phenomenology is first and foremost, an evolving philosophical stance or approach (Ray 1994; McConnellHenry et al. 2009; van Manen & Adams 2010). Importantly, it is not one approach but many. As described by Smith et al. (2009), “phenomenology can be seen as the joint product of a number of related but distinct philosophers” (p. 34). Grounded as it is in the work of several different philosophers, the first step is to understand the Yet particular phenomenological approach one chooses. amidst this philosophical plurality there is common ground on which all phenomenologists stand: the study of experience and a “phenomenological” attitude.

현상학의 공통 기반

Phenomenology’s common ground

현상학자들마다 각자의 철학적 입장이 다르지만, 경험의 탐구라는 공통된 목표를 가지고 있습니다. 보다 구체적으로, 그들은 사람들의 경험을 조사함으로써 개념이나 현상이 어떤 의미인지를 이해하려고 노력합니다. "의미"에 대한 탐구는 elusive and lofty한 목표처럼 들리는 경향이 있지만, 사실 우리 모두는 우리 주변에서 일어나고 있는 일에 대한 의미를 찾으려는 욕망을 타고났다. 현상학의 맥락에서 의미란 어떤 것이 지니고 있는 significance이다. 우리가 문화화와 경험의 결과로 무언가를 어떻게 이해하게 되었는지라고 할 수도 있다. 현상학 (Phenomenology)은 "문제를 해결해주지" 않지만 주어진 경험을 통해 살아온 사람들에게 질문을함으로써 더 나은 이해를 할 수 있습니다. 의미를 일깨우는 데 있어서의 경험에 대한 이러한 헌신은 모든 현상학적인 연구 공통되는 것이다.

Although phenomenologists have different philosophical stances, they all hold at the center of their work, the aim of exploring experience. More specifically, they try to understand what concepts or phenomena mean by investigating people’s experiences of them. A quest for “meaning” tends to sound like an elusive and lofty goal, but in fact we all search for meaning in that we all have an innate desire to make sense of what is going on around us. Meaning, in the context of phenomenology, can be described as the significance something holds for us: how we have come to understand something as a result of our enculturation and experiences. Phenomenology does not “solve a problem”, but we can come to a better understanding of a given issue by asking those who have lived through it what their experience was like. This commitment to experience in the service of evoking meaning is a common thread that weaves throughout all phenomenological work.

현상학의 분야에서 또 다른 공통점은 특정한 태도, 즉 "현상학적" 태도를 채택 할 필요가 있다는 것입니다. 이 아이디어를 상세히 설명하기 위해 시간 개념을 사용할 수 있습니다. 우리가 하루를 살면서 우리는 끊임없이 시간을 인식하고 있지만, 잠시 멈추어 시간의 개념에 대해서 성찰해보는 경우는 거의 없다. 현상학자들은 이러한 마음의 상태를 자연스러운 태도natural attitude라고 부르며, 일상적인 활동을 당연하게 여기게 만드는 습관화된 사고habituated mindset이다. 다른 말로하면, 우리의 일상적 경험은 너무 평범하기 때문에 보통 우리는 그것을 눈치 채지 못합니다 (ZichiCohen & Omer 1994).

Another commonality amidst the field of phenomenology is the need to adopt a certain attitude – a “phenomenological” attitude. To elaborate this idea, we might use the concept of time. Although we are constantly aware of time as we move throughout our day, we rarely stop to reflect on our concept of time. Phenomenologists call this state of mind the natural attitude, that is, the habituated mindset that causes us to take for granted our everyday activities. In other words, our everyday experience is so commonplace that we usually do not notice it (ZichiCohen & Omer 1994).

대부분의 경우, natural attitude 는 문제가되지 않습니다. 시간의 개념을 당연하게 여기는 것은 우리의 맥락에서 대다수의 사람들이 시간의 의미에 대한 동일한 이해를 갖기 때문에, 이것 때문에 공동체 내에서 곤경에 빠지는 일은 거의 없다.

For the most part, our natural attitude is not a problem. Taking our concept of time for granted does not generally get us into trouble within our own community because the majority of people in our context have the same understanding of what time means:

그러나 이 shared understanding 속에 갈등이나 긴장을 초래할 수 있는 차이가 들어있을 수 있습니다. 따라서 현상학은 이처럼 당연하게 여겼던 것들에 대해서 성찰하는 과정을 동반하며, Rehorick and Bentz (2008)은 이것을 "우리가 무시해야 한다고 배워온 것에 대해 인식하는 것"(6 쪽)이라고 언급했다. 우리의 일상적인 부주의usual inattentiveness, 즉 natural attitude를 드러내고, 일반적으로 당연한 것으로 여겨왔던 것을 의식적으로 성찰하려고 하는 것이 바로 현상학적 태도이다.

And yet, this shared understanding might contain in it differences in our ways of knowing that lead to conflict or tension. Phenomenology, therefore involves turning to and reflecting on these taken-for-granted understandings, or as stated by Rehorick and Bentz (2008)to“become aware of what we have learned to ignore” (p. 6). When we shed our usual inattentiveness, our natural attitude, and stop to consciously reflect on what we normally take for granted we are taking on a phenomenological attitude.

왜 현상학인가?

Why phenomenology?

요약하면, 현상학은 우리가 일상적으로 당연하게 여기는 것들을 이해하는 데 도움이되며, 이러한 이해를 통해 특정 상황에서보다 재치있게tactfully 사고하고 행동 할 수 있습니다 (van Manen 1990). 현상학적 지식의 적용에 관해서 van Manen (1990)은 "가장 중요한 질문은 "우리는 현상학을 사용하여 무엇인가를 할 수 있습니까?"가 아니라, "만약 우리가 현상학에 깊은 관심을 둔다면, 현상학이 우리와 함께 무엇인가를 할 수 있습니까?"가 되어야 한다"라고 말했다. 다른 말로하면, 우리는 대리 경험이 풍부해질 수 있기 때문에 사람들의 경험을 묻습니다 (van Manen 1990).

To summarize, phenomenology helps us understand what we normally take for granted, and through this understanding we are able to think and act more tactfully in certain situations (van Manen 1990). In considering the application of phenomenological knowledge van Manen (1990) states that “the more important question is not: Can we do something with phenomenology? Rather we should wonder: Can phenomenology, if we concern ourselves deeply with it, do something with us?” (p. 45). In other words, we inquire into people’s experiences because they allow us to vicariously become more experienced (van Manen 1990).

3+1 프레임워크

The 3+1 phenomenology framework

현상학에서 연구자은 데이터를 수집하고 데이터를 해석하는 주요 수단입니다. 따라서 연구자는 연구에 대한 자신의 가정과 신념에 대해 성찰하고, 그것을 가능한 한 명확하게 진술해야합니다. 이러한 신념과 가정은 연구자 자신의 것이다 (그들의 위치성은 현상학을 뒷받침하는 다양한 관점에서의 철학적 입장이다). 현상학은 다양한 철학적 접근의 공동 생성물이기 때문에, 현상학자마다 그들의 위치성을 어떻게 설명하는지에 관해서 차이가있다.

In phenomenology, the researcher is the primary instrument for gathering data and interpreting data. As such, it is necessary for researchers to reflect upon, and state as clearly as possible, the assumptions and beliefs they bring to the research. These beliefs and assumptions are the researcher’s (their positionality particular philosophical stance amidst the various perspectives underpinning phenomenology). Because phenomenology is the joint product of different philosophical approaches, there are differences with regard to how phenomenologists describe their positionality.

우리는 "3 + 1"프레임 워크라고 부르는 프레임 워크를 제공합니다.

we offer a framework that we call the “3+1” framework.

그러나 현상학적 연구자가 각 연속체를 따라 고정 된 지점에 위치해야한다고 제안하는 것이 우리의 의도는 아닙니다. 오히려 이 프레임 워크는 도구로 사용할 수 있다.

• 현장에서의 다양한 시각을 묘사하는 데 도움을줍니다.

• 연구자들이 각 tension에 관한 자신의 입장을 해결하고 명료화하도록 선택하는 방법을 명확하게 표현하는 데 사용할 수있는 언어를 제공합니다.

중요한 것은 연구원의 위치성은 고정되어 있거나 정적인 것이 아니며, 연구자의 질문과 맥락에 달려있다.

일반적인 것과 특수한 것

The general and the particular

첫 번째 차원은 창립자 인 에드먼드 후설 (Edmund Husserl)의 연구와 함께 현상학 자체가 시작된 곳에서부터 시작됩니다. 그의 연구의 목표는 사람들의 경험을 통해 현상의 본질을 결정하는 것이 었습니다. Husserl에 따르면, 현상의 본질, 또는 필수적인 구조는 보편적이고 불변하며 절대적인 특징이다 (Walters 1995).

The first dimension starts where phenomenology itself started, with the work of its founding father Edmund Husserl. The goal of his work was to determine the essence of phenomena through people’s experiences of them. According to Husserl, a phenomenon’s essence, or essential structure, is its universal, unchanging, and absolute features (Walters 1995). 

본질은 그것이 그것이도록 만드는 특징이며, 그것을 다른 또는 유사한 현상과 구분지어주는 특징이다. 즉, 본질은 현상의 모든 경우에 공통적이거나 "일반화"될 수 있습니다. Husserl의 현상학적 접근은 모든 인간에게 적용될 수있는 보편적인 의미 또는 본질을 확립하기 위해, 개별적인 사건instance에서 벗어나려고 한다는 점에서 보편성nomothetic을 갖는다고 간주된다 (Smith et al., 2009).

Essence includes the features of something that make it what it is and differentiate it from other, perhaps similar, phenomena. In other words, essence is what is common or can be “generalized” across every instance of a phenomenon. Husserl’s phenomenological approach is considered nomothetic in that it aims to move from individual instances to establish a universal meaning, or essence, that can be applied to all humans (Smith et al. 2009).

일부 현상학자들은 Husserl처럼 보편적인 필수 구조를 추구하는 것에서 벗어나, 개인의 특수한 경험에 더 직접적으로 관심을 갖는 접근 방식을 채택하게 되었다. 예를 들어, 심리학 분야의 조작화 현상학에서, Smith et al. (2009)는 사람들의 경험을 연구하는 데 개별적 관점idiographic perspective을 취했습니다. 개별적idiographic 접근법은 특정 상황에서 특정 인물의 경험에 초점을 맞춥니 다.

Some phenomenologists have moved away from Husserl’s more universal goal of essential structure to adopting an approach that is more directly concerned with individuals’ particular experiences. In operationalizing phenomenology in the field of psychology, for example, Smith et al. (2009) have taken an idiographic perspective to studying people’s experiences. The idiographic approach is focused on the particular – the experience of certain people within a specific context.

Smith et al.에게 있어서, 이것은 각 개인의 경험의 의미를 아주 자세하게 이해한다는 목표로 대변된다. 이 특정한 것에 우선순위를 두기 위하여, 개별적 연구는 분석 깊이를 높이기 위해 참여자 수가 적습니다.

마치 이 두 가지 위치가 서로 스펙트럼의 반대편 끝에있는 것처럼 들리지만, Smith et al. (2009)은 "특이성the particular과 일반성the general은 완전히 구분되는 것이 아니다"(31 쪽)라고 주장했다. 모든 현상학자들은 어느정도 일반성과 특수성 모두에 관여한다. 심지어 일반화가능한 본질을 찾고자 했던 Husserl조차도 사람들의 경험의 세부 사항에서 시작해야했습니다. Smith et al. (2009)는 "가장 깊은 수준에서, 우리는 겉으로 보았을 때 개인적인 상황이 우리 자신과는 완전히 다르게 보이는 사람과 많은 것을 공유합니다. 따라서 어떤면에서 개인의 특수성은 우리가 일반성의 중요한 측면에 더 다가가도록 만듭니다. "(32 쪽)

Although these positions sound as if they are on opposite ends of a spectrum, Smith et al. (2009) remind us “that the particular and the general are not so distinct” (p. 31). To some extent all phenomenologists engage in both the general and the particular. Even Husserl’s search for a generalizable essence needed to start with the particulars of people’s experiences. Smith et al. (2009) explain that “at the deepest level we share a great deal with a person whose personal circumstance may, at face value, seem entirely separate and different from our own. Thus in some ways the detail of the individual also brings us closer to significant aspects of the general” (p. 32). 

반 매넌(van Manen, 1990)은 "현상학은 단순히 특수성particularity도 아니고, 단순한 보편성universality도 아니다"(23 쪽) 고 덧붙였다. 예를 들어, Gadamer (1989)가 연구자가 다른 참가자와 만나서 개개인의 이야기를 듣는 때마다, 그것은 경험을 이해하는 연구자의 "전체"에 기여하는 하나의 "부분"이라고 주장했다. 

van Manen (1990) adds that “phenomenology is neither mere particularity, nor sheer universality” (p. 23). As Gadamer (1989) argues, for example, every time a researcher engages with a different participant and hears that individual’s story, it is one “part” contributing to the researcher’s “whole” understanding of the experience under study. 

연구자는 각각의 이야기를 독자적으로 고려하면서 동시에, 현상에 대한 총괄적 출현적 이해collective emergent understanding을 위하여 앞뒤로 이동해야합니다. 따라서 특이성 대 일반성의 협상은 either/or 질문이 아닙니다. 일반성과 특수성의 차원에서 반대되는 견해는 연구자의 목표와 연구를 인도하는 질문에 따라 달라져야 한다. 어떤 연구자는 일반적인 "본질"을 드러내줄 것이며, 어떤 연구자들은 특수성을 강조할 것이다.

One must move back and forth between considering each story on its own and the collective emergent understanding of the phenomenon. Thus, the negotiation of particularity versus generality is not an either/or question. The opposing perspectives within the dimension of the general and the particular must be negotiated according to the goal of the researcher and the questions that guide the research. Some will foreground the general “essence”; others will emphasize the particular.

환원과 성찰

Reduction and reflexivity

두 번째 차원은 자신의 "자연스런 태도"를 당연하게 여기기보다는, 새로운 관점에서 다른 사람들의 경험을보기 위해 정확히 "현상론적 태도"를 채택하는 방법에 관한 문제를 다룬다. 환원과 성찰의 차원은 우리의 모든 "수하물"과 함께하는 방식에 대한 협상입니다. 즉, 이것은 우리가 이전에 수행 한 교육, 경험 및 신념과 같이, 연구과정에서 우리가 가지고 있는 것을 의미한다. 이 개념을 포착하는 용어가 많이 있지만 Finlay (2008a) 용어를 사용하자면, 문제는 필연적으로 연구에 따라붙게 되는 연구자의 "사전 이해"를 어떻게 관리 할 것인가이다.

The second dimension addresses the question of how exactly one goes about adopting a “phenomenological attitude” in order to see the experiences of others from a fresh perspective rather than through the taken for granted assumptions of one’s “natural attitude”. The dimension of reduction and reflexivity is a negotiation of what we do with all of our “baggage”; that is, it is what we carry or bring with us into a research study – our previous education, experiences, and beliefs. There are many terms that capture this notion, but using Finlay’s (2008a) terminology, the question becomes how do we manage the “pre-understandings” we inevitably bring to research?

Husserl의 관점에서, 사람들의 경험의 진정한 본질을 드러내거나 무언가의 본질을 연구하려면, 연구자는 연구 참가자의 경험에 초점을 맞추기 위해서 자신의 모든 사전 이해를 제쳐 놓아야 한다 (Finlay 2008b). Husserl은 원래 수학자 였기 때문에, 이 접근법을 bracketing이라고 불렀으며, 이것은 연구자가 사람들의 경험을 해석하는 방식에 영향을 미치지 않도록 사전 이해를 "괄호치기"하여 따로 치워두는 것이다.

Husserl’s perspective is that in order to study the essence of something, to expose the true essence of people’s experiences, we must put all our pre-understandings aside so as to focus on the research participants’ experience (Finlay 2008b). As Husserl was originally a mathematician, this approach is referred to as bracketing, where the investigator’s pre-understandings are “bracketed”, or put aside, so as to not influence how people’s experience is interpreted. 

사전 이해를 치워 두는 것은 '현상학적 환원'이라고도 부르는데, 이 때 연구자의 관심 영역연 연구 대상이 되는 현상으로 '축소reduced'된다. Finlay (2008a)에서 언급했듯이, 환원은 "우리가 경험하는 세계에 직접적이고 즉각적으로 연결되게 해주며, 이는 그것을 '개념화'하는 것과 반대되는 의미이다"(4 페이지). 다른 말로하면, 우리의 사전 이해를 버리고, 다른 사람들의 경험을 통해 무언가에 대해 배울 수있게 해주는 것입니다. 이러한 의미에서 괄호치기는 연구 결과를 객관화하고 과학적 엄격함을 높이려는 시도이며, 연구자를 분리 된 관찰자로 위치시킨다.

Putting aside one’s pre-understandings is also commonly called phenomenological reduction where the field of the researcher’s attention is “reduced” to the phenomenon under study. As noted by Finlay (2008a), reduction helps us to “connect directly and immediately with the world as we … experience it – as opposed to conceptualize it” (p. 4). In other words, the putting aside of our pre-understandings allows us to be open to learning about something through the experience of others, rather than turning to what we already know. In this sense, bracketing is an attempt to objectify research findings and increase scientific rigor, positioning the researcher as a detached observer.

반대로 Heidegger는 연구자의 이전 지식과 가정이 연구중인 현상을 더 잘 이해하는 데 도움이된다고 제안했다. 그의 관점에서 볼 때, 개인과 세계는 서로를 구성하며, 이는 우리의 관점이 우리가 살고있는 세계에 의해 구성된다는 것을 의미합니다. 또한 동시에 우리는 그 관점을 형성하고 변형합니다. 하이데거 (Heidegger)는 인간과 세계 사이의 상호적이고 분리 할 수없는 관계를 being-in-the-world라고 묘사했다. 'hyphen'을 사용한 것은, subjects와 objects의 일치unity를 상징한다 (Walters 1995; Svenaeus 2001). Heidegger의 철학적 입장에서, 사람과 세계가 공동 구성되는 것이고, 분리 할 수 없는 것이기 때문에, 사람은 세상에서 벗어나기보다는, 세상 안에 존재하는 동시에, 세상을 이해해야합니다.

By contrast, Heidegger suggested that researchers’ previous knowledge and assumptions help them better understand the phenomenon under study. From his point of view an individual and the world co-constitute each other, meaning that our perspectives are constructed by the world we live in; and at the same time we shape and transform those perspectives. Heidegger referred to this reciprocal and inseparable relationship between human beings and the world as being-in-the-world, with the hyphens symbolizing the unity of subjects and objects rather than their segregation (Walters 1995; Svenaeus 2001). Because Heidegger’s philosophy holds the view that a person and the world are co-constituted and inseparable, a person must make sense of the world as they exist within in it, rather than being detached from it. 

따라서 Heidegger는 현상에 대한보다 객관적인 견해를 얻기 위해 우리의 전제와 이전의 경험을 "괄호칠" 수 있다는 Husserl의 생각을 거부한다. 그의 관점에서 볼 때, 연구자의 주관성은 바람직하지 않은 상태가 아니며, 보다 신뢰할 수 있는 연구를 위해서 통제하거나 모니터링하는 대상이 아닙니다 (Glesne 2011). 오히려 사전 이해는 연구자가 더 나은 이해를 달성하는 데 사용할 수있는 강점으로 간주됩니다. 연구자의 주관성은 제거되기보다는 성찰을 통해 관리되어야 하는 것이며, 그 방법은 연구 과정을 거치면서 우리가 주관을 형성하거나 우리의 주관을 형성하는 방식을 기록, 추적, 질문, 공유하는 것이다(Glesne 2011).

As such, Heidegger rejects Husserl’s idea of being able to bracket out our presuppositions and previous experiences in order to obtain a more objective view of phenomena. From his perspective, a researcher’s subjectivity is not an undesired state, or something to control against and monitor for more trustworthy research (Glesne 2011). Rather, pre-understandings are considered strengths that researchers can use to achieve better understanding. Rather than eliminating it, researcher subjectivity should be managed with reflexivity – the noting, tracking, questioning, and sharing of the ways we shape and are shaped by the research process (Glesne 2011).

Finlay (2008a)는 참가자들의 경험에 대한 학습에 대한 개방성 태도를 육성하기 위해서는, 사전 이해의 영향을 인식하는 것이 중요하다고 제안한다. 동시에 가치와 가정은 너무 습관으로 박혀있기 때문에, 진정으로 분리해낼 수 없는 것처럼 보입니다. 따라서 (개방적인 현상론적 태도를 채택하기 위해 사전 이해를 괄호치는 것과 더 깊은 이해를 위한 토대로서 연구자가 연구 프로세스에 어떤 것을 bring하는가에 대한 성찰적 기록을 오가며) 환원과 성찰 사이의 긴장 사이에서 협상을 해야 한다.

In addressing this apparent dichotomy of positions Finlay (2008a) suggests that it is important to be aware of the influence of one’s pre-understandings in order to foster an attitude of openness to learning about participants’ experiences. At the same time, values and assumptions are so habitually engrained that it seems impossible to truly set them apart. Thus, it is necessary to negotiate the tension between reduction and reflexivity by strategically shifting between bracketing one’s pre-understandings in order to adopt an open phenomenological attitude, and reflexively taking note of what one brings to the research process as a basis for further understanding. 

Finlay (2008a)는 환원적 개방의 추구와 성찰적 자기 인식 사이의 움직임을 "사전 이해의 괄호치기와 사전 이해를 통찰의 근원으로 삼는 것 사이의 춤"(29 쪽)으로 묘사한다. 이러한 "춤"은 연구가 시작되며 사전이해를 look to 할때부터 발생하는 것이며, 이 과정은 전체 연구과정동안 이해가 진화하고 변화하며 계속되어야 한다.

Finlay (2008a) describes this movement of a researcher between striving for reductive openness and being reflexively self-aware as “dancing between bracketing pre-understandings and exploiting them as a source of insight” (p. 29). This “dance” will likely occur at the outset of an investigation as one looks to articulate pre-understandings and should continue throughout the research process as those understandings evolve and change.

기술과 해석

Description and interpretation

현상학 연구의 세 번째 긴장은 우리의 목표, 즉 왜 참가자들의 이야기를 듣고 싶은지에 대한 질문을 포함합니다. 다시, Husserl의 입장을 살펴보자면, 현상학 발전에 대한 그의 목적은 현상의 본질을 분별하는 것이었고, 더 구체적으로는 그것을 기술하는 것이 었습니다.

The third tension in phenomenology research involves the question of our aim, that is, why we want to hear the stories of participants. Again, starting with Husserl, his aim in developing phenomenology was to discern the essence of a phenomenon, but more specifically to describe it. 

기술이란 일반적으로 "무엇"이 무엇인지, "어떻게"경험되었는지 (Moustakas 1994)로 구성됩니다. 연구자의 해석에 대한 관심이 적고 지식과 인식을 얻으려는 의도에 대한 경험에 대한 설명이 더 많습니다.

Descriptions typically consist of “what” something is, and “how” it is experienced (Moustakas 1994). The focus is less on the researcher’s interpretation, and more on the description of the experience with the intent to gain knowledge and awareness.

대조적으로 Heidegger의 현상학적 목적은 사람들의 경험을 해석하는 것이 었습니다. Heidegger는 기술이 아니라 해석으로서의 현상학이며, 인간으로서 우리는 항상 우리 주변의 것을 해석하고 있다고 믿었습니다. 따라서 현상학에 대한이 하이데거의 접근법은 연구대상에 대한 보다 나은 이해를 위한 수단으로서 인간의 불가피한 성향인 해석을 이용하는 것이다.

By contrast, Heidegger’s phenomenological aim was to interpret people’s experiences rather than just describe them. Heidegger’s recasting of phenomenology as one of interpretation, rather than description, was grounded in his belief that as humans we are always interpreting what is around us. As such, this approach to phenomenology enlists the inevitable human tendency to interpret experience as a means toward greater understanding of what is being studied. 

이 관점에서 어떤 해석도 '정답'은 아니다. 각각의 해석은 현상을 이해하는 다른 방법 일뿐입니다. 따라서 하이데거의 현상학에 대한 핵심 교리는 notion of hermeneutics 또는 해석을 통한 이해를 달성하는 이론이다.

From this perspective, no interpretation is ‘right’; each is just a different way of understanding a phenomenon. Thus, a central tenet to Heidegger’s phenomenology is the notion of hermeneutics, or the theory of achieving understanding through interpretation.

다시 말하면, 기술과 해석 사이의 긴장을 해결하는 것은, 두 가지 중에서 하나를 고르거나 그 중간에 있는 어떤 위치를 선택하는 것이 아닙니다. 오히려 연구자들은 자신이 두 지점 사이에서 춤을 추고 있음을 인지하면서, '기술'을 사용하여 관심 현상을 참가자들이 어떻게 경험하는지를 묘사하고, 동시에 그 경험을 '해석'하고 실제practice에 미치는 영향을 이해해야 한다. 이것은 hermeneutic circle의 개념을 보여준다. 즉, 부분과 전체 사이의 역동적인 상호 관계, 그리고 연구자와 데이터 사이의 관계에 대한 은유이다.

Again, the resolution of this tension may not be to adopt one position or the other, nor to “pick a spot in the middle”. Rather, researchers may find themselves “dancing” between positions, making good use of description in illustrating what it is like for participants to experience the phenomenon of interest, while also working toward a goal of interpreting those experiences and understanding the impact on practice. This is captured to some degree in the concept of the hermeneutic circle, a metaphor for the dynamic and reciprocal relationship between the part and the whole, and between the researcher and the data.

이 과정에서 연구자는 사람들의 개별적인 이야기와 경험을 반복적으로 순환하면서, 동시에 연구중인 현상에 대한 자신의 새로운 이해를 성찰하게 된다. 연구자가 매번 데이터에 engage하여 지속적으로 revision을 수행함에 따라 새로운 이해가 emerge하여 circle 중심의 움직임이 반복된다. 이 순환고리는 연구자와 참가자가 현상에 대한 공통적 인 이해에 이르렀을 때 멈추게 되지만, 이 상태의 shared understanding조차 여전히 임시적임을 인식해야 한다.

In this process the researcher iteratively cycles between people’s individual stories/experience, while also reflecting on his or her own emerging understanding of the phenomenon under investigation. Movement around the circle repeats as emerging understandings undergo constant revision each time the researcher engages with the data. This cycling stops when the researcher and participants reach a shared understanding of what the phenomenon is about, while recognizing that even this shared understanding is still tentative.

결과 작성

Writing – the “+1” of the 3+1 framework

이 3 + 1 현상학적 틀에서, 글쓰기는 출판을 위하여, 흔히 실제 연구와 분리된 채로 진행되는 "write up"의 최종 단계가 아다. 오히려 글쓰기와 연구는 "단일한 프로세스의 다양한 측면"이다 (van Manen 1990, p.7). 글쓰기가 현상학적인 연구에서 없어서는 안될 부분이라는 생각은, 글쓰기를 통해 사람들의 경험을 이해하는 데 도움이되는 성찰적이고 해석적인 과정이 가능하다는 전제에 근거합니다.

In this 3+1 phenomenological framework writing is not the final step of “write up” for publication, a process that is commonly segregated from actually conducting the research. Rather, writing and research “are aspects of one process” (van Manen 1990, p. 7). The idea that writing is an indispensable part of phenomenological work is grounded on the premise that the reflective and interpretive processes that help us come to understand people’s experiences are enabled by writing.

연구자가 자신의 선이해를 성찰함으로써 hermeneutical cycle을 시작하는 것과 같이, 글쓰기는 아이디어를 clarify and crystallize하는 데 사용될 수 있습니다. 현장에서 데이터를 수집하기 시작할 때, 연구자는 필연적으로 관찰한 내용과 참가자가 말한 것을 해석하기 시작합니다. 이처럼 생각, 성찰, 해석한 것을 적어두는 것은 어떤 일이 진행되는지를 더 잘 이해하고, 아이디어를 명확히하고, 연구자가 "무엇을 알고 있는가"에 대한 감각을 깨워주고, 추가적인 질문, 탐구, 독서가 필요한 명확하지 않은 점을 드러내어준다.

As researchers begin the hermeneutical cycle by reflecting on their own pre-understandings, writing can be used to clarify and crystallize ideas. When starting to gather data in the field, they inevitably start to reflect on and interpret what is observed and what participants have said. Writing these thoughts, reflections and interpretations down helps 

• make sense of what is going on, clarify ideas, 

• develop a sense of what one “knows”, and 

• identify what is still unclear and requires further questioning, exploration and reading. 

참가자와 만나고 현장을 관찰한 다음에 연구자가 성찰적 과정으로 돌아갈 때, 글쓰기는...

• 상호 작용과 관찰의 의미를 명확하게하고 

• 현상에 대한 보다 일관된 이해가 개발될 수 있다. 

글쓰기의 과정을 통해 연구자는 이전에는 볼 수 없었던 분야의 것들을 볼 수 있습니다.

As they return to the reflective process, after engaging with a participant or observing in the field, writing helps 

• clarify the meaning of interactions and observations, and 

• facilitates the hermeneutic process of developing a more coherent understanding of the phenomenon. 

Reflecting through the process of writing then allows the researcher to see things in the field that could not be seen before. 

Emerson 등은 연구와 글의 unity를 간결하게 요약한다. (1995)는 

"현장 노트를 쓰는 이 inscribing 과정은 현장 연구원은 그가 처음 관찰 한 것을 이해하는데 도움을 주고,

그 결과,

• 새로운 방식으로 참여하고,

• 더 큰 예리함으로 듣고

• 새로운 렌즈로 관찰하는 것

...을 가능하게 한다. "(15 쪽).(15 쪽).

The unity of research and writing is succinctly summarized by Emerson et al. (1995) in that 

“this process of inscribing, of writing field notes, helps 

• the field researcher to understand what he has been observing in the first place, 

• thus, enables him 

• to participate in new ways, 

• to hear with greater acuteness, and 

• to observe with a new lens” (p. 15).

요약

Summary

현상학 (Phenomenology)은 많은 철학자들의 다양한 관점을 구성하는 연구 접근 방법입니다. 그러나 현상 학적 연구를 할 때 단 하나의 철학적 "진영camp"에 앉아있을 필요는 없습니다. 연구원은 여러 철학자의 관점으로부터, 현장에서의 자신만의 접근 방식을 협상하기 위해 노력합니다.

Phenomenology is an approach to research that comprises the diverse perspectives of many philosophers. Yet, when doing phenomenological research there is no need to sit in only one philosophical “camp”. Researchers draw from the perspectives of different philosophers as they work to negotiate their own approach in the field. 

이것은 현상학의 장점 중 하나입니다. 그것은 다양한 접근법을 포함하고 개성과 창조성을 장려하는 전통입니다 (Langdridge 2008). 그러나 수많은 접근법으로 인해 특히 초보 연구자에게는 여러 가지 옵션과 결정이 불리 할 수 ​​있습니다.

This is one of the advantages of phenomenology; it is a tradition that includes a variety of approaches and encourages individuality and creativity (Langdridge 2008). However, with a multitude of approaches comes a multitude of options and decisions that can also be a disadvantage, especially for a novice researcher.

우리는이 틀이 연구원들이 그들의 신념과 연구 질문에 기초하여 현상 론적 접근에 대한 정보에 근거한 결정을 내리는 데 도움이되기를 바랍니다.

We hope this framework will help researchers make own informed decisions about their phenomenological approach based on their beliefs and the research questions.

비판적으로, 극에 반대 위치를 가진 차원으로 개념적으로 구조화 된 반면에, 우리는 두 가지 극단 사이의 선을 따라 자신을 어딘가에 배치하는 것처럼 위치성에 대한 자신의 투쟁의 해결책을 보지 못합니다. 오히려 주어진 연구에서 반복적으로 다른 지점에 닿는 댄스에 참여하는 것이 (이렇게 하는 것이 설령 덜 편안하더라도) 더 성공적 일 수 있습니다.

Most critically, while structured conceptually as dimensions with opposing positions at the poles, we do not see the resolution of one’s struggle with positionality as placing oneself somewhere along a line between two extremes, as if representing more or less of each. Rather, engaging in a dance such that one touches different points iteratively within a given study may be a more successful (if less comfortable) approach. 

더욱이,이 다차원 적 틀 안에서 가장 규칙적으로 존재하는 곳은 단순히 자신의 신념에 의존 할뿐만 아니라 특정 연구 프로젝트의 목표와 질문 (또는 주어진 프로젝트 내의 특정 순간)에 영향을받을 것이다.

Moreover, where one dwells most regularly within this multidimensional framework does not merely depend on one’s beliefs, but will also be affected by the goals and questions of the particular research project (or at a particular moment within a given project).

요컨대, 현상론적 입장은 한 번 협상 된 후 고정되는 것이 아니다. 오히려 정기적으로 재검토하고 재협상하는 것이다. 대부분의 질적 연구와 마찬가지로, 위치성의 긴장은 해결 될 때가 아니라 효과적으로 활용할 때 가장 강력합니다.

In short, phenomenological positionality is not negotiated once then locked down. Rather, it must be revisited and renegotiated regularly. As with most qualitative research, the tensions in positionality are most powerful not when they are resolved, but when they are effectively harnessed.

Med Teach. 2017 Jan;39(1):20-25. doi: 10.1080/0142159X.2017.1245854. Epub 2016 Nov 10.

A framework for negotiating positionality in phenomenological research.

코브라 효과: 주제 발현, 삼각측량, 포화, 멤버체킹에 대하여(Med Educ, 2017)

Shedding the cobra effect: problematising thematic emergence, triangulation, saturation and member checking

Lara Varpio,1 Rola Ajjawi,2 Lynn V Monrouxe,3 Bridget C O’Brien4 & Charlotte E Rees5

도입

INTRODUCTION

델리에서 코브라 수가 너무 늘어서 시민들의 안전을 위협 할 때 영국 식민지 정부는 시민에게 각 코브라에 대해 현상금을 제정했습니다. 이 인센티브 프로그램은 처음에는 코브라시에서 벗어나기에 효과적 이었지만, 시민은 곧 수익을 올릴 수있는 기회가 있음을 깨달았습니다 : 코브라를 번식시키고 보상금을 받으면 된다. 정부가 시민들이 코브라를 번식시키고 있음을 알았을 때, 그들은 현상금 프로그램을 끝냈다. 뱀으로 더 이상 돈을 벌 수 없기 때문에, 시민들은 그들의 집에서 키우던 코브라를 풀었고, 도시의 코브라 문제는 더욱 악화되었다. 이 일화는 코브라 효과의 개념을 알려준다: 문제를 해결하려고 시도한 해결책이 실제로 문제를 악화 시키거나 의도하지 않은 다른 문제를 야기할 수 있다.1

When the cobra population in Delhi grew so large that it threatened the safety of the citizens, the British colonial government instituted a bounty for each dead cobra presented by a citizen. While this incentive programme was initially effective at ridding the city of cobras, the citizenry soon realised that a lucrative opportunity was available: breed cobras and reap rewards. When the government learned of the cobra breeding, they ended the bounty programme. Since the snakes were no longer a cash crop, the citizens released their homebred cobras, and the city’s cobra problem worsened. This anecdotal tale gave rise to the concept of the cobra effect: when an attempted solution to a problem actually makes the problem worse, and/or creates other unintended, problematic consequences.1

또한 질적 연구자들은 HPE 커뮤니티에 적합한 연구 방법론과 방법을 만들기 위해 수사학 기법rhetorical technique을 다양하게 구성했습니다. 예를 들어, 

• '작은 n'에도 불구하고 데이터가 충분히 견고하다는 것을 독자들에게 확신시키려는 노력으로 데이터 녹취록의 페이지 수를 나열합니다.

• 주관적 데이터로부터 '객관적인'(그러므로 잠재적으로 복제 가능한) 결론의 구성을 확인하는 수단으로서 GT의 단계별 접근법의 요소를 인용하며,

• 주제가 '포화 상태'를 획득하는 데 필요한 참여자 발언의 수를 설명합니다.

Qualitative researchers also fashioned an array of rhetorical techniques to make their research methodologies and methods palatable to the HPE community. These included, for example: 

• listing the number of transcript pages in the dataset in an effort to reassure readers that the data were sufficiently robust despite a ‘small n’; 

• citing elements of GT’s stepwise approach as a means of confirming ‘objective’ (and therefore potentially replicable) constructions of conclusions from subjective data, and 

• describing how many participant utterances were required for a theme to acquire the status of ‘saturated’.

문제는 오늘날의 HPE 질적 연구자가 비-실증주의 지향에서 연구를 하지만, 일반적으로 연구의 엄격성에 대한 기대는 실증주의와 포스트 실증주의의 전통에 뿌리를 두고 있다는 사실이다. 또한 HPE 커뮤니티에 적합한 질적 연구를 묘사하는 데 사용되는 수사학 기법들이 종종 모든 질적 방법론에 적용되어야 하는 rigour의 마커로 잘못 해석되고 있다. 이것은 '코브라 효과'의 예입니다 (즉, 의도하지 않은 결과)

Problematically, although today’s HPE qualitative researchers often work from within non-positivist orientations, the expectations for research rigour generally remain rooted in positivist and post-positivist traditions. Furthermore, the rhetorical techniques used to describe qualitative research in terms amenable to the HPE community are often mistakenly interpreted as markers of rigour that should be transferred across all qualitative method-ologies and methods. This is an example of the ‘cobra effect’1 (i.e. the unintended consequence) 

일부 질적 용어는 양적 연구에서 너무 자주 사용되어 그들의 존재 론적 및 인식 론적 뿌리를 비판적으로 고려하거나, 정확한 정의를 조사하거나, 연구 관행에 대한 함의에 의문을 제기하는 것조차 어렵게 되었다.

some qualitative terms are so frequently used in qualitative publications that it is difficult to critically consider their ontological and epistemological roots, to examine their precise definitions, or to question their implications for research practices.