한계에 의한 제한(Perspect Med Educ, 2019)

한계에 의한 제한(Perspect Med Educ, 2019)

Limited by our limitations

Paula T. Ross · Nikki L. Bibler Zaidi

도입

Introduction

제한limitation은 연구 결과 및 결론에 영향을 미칠 수 있는 연구 내 약점을 나타낸다. 제한사항을 제시하는 목적은 독자에게 의미 있는 정보를 제공하는 것이지만, 의학교육논문의 제한사항이 단순하고 최소한으로 관련되는 주제(예: 단일 기관 연구, 자체 보고 데이터의 사용 또는 작은 표본 크기)로 간과되거나 축소되는 경우가 너무 많다 [1]. 이 문제는 의학 분야의 다른 연구 분야에서도 두드러진다. 예를 들어, 임상적 영향에도 불구하고, 의학 연구는 종종 한계가 연구 결과 및 해석에 어떻게 영향을 미칠 수 있었는지에 대해 논의하지 못한다[2]. 또한 관찰 연구는 종종 독자들에게 연구 설계에 내재된 근본적인 한계를 상기시키지 못하는데, 그것은 바로 인과 관계를 설명할 수 없는 한계이다[3].

Limitations represent weaknesses within the study that may influence outcomes and conclusions of the research. The goal of presenting limitations is to provide meaningful information to the reader; however, too often, limitations in medical education articles are overlooked or reduced to simplistic and minimally relevant themes (e.g., single institution study, use of self-reported data, or small sample size) [1]. This issue is prominent in other fields of inquiry in medicine as well. For example, despite the clinical implications, medical studies often fail to discuss how limitations could have affected the study findings and interpretations [2]. Further, observational research often fails to remind readers of the fundamental limitation inherent in the study design, which is the inability to attribute causation [3].

한계 제시 목표

Goals of presenting limitations

의학교육연구는 다음에 대한 경험적 증거를 제공해야 한다

• 교육에 대한 우리의 지식과 이해를 심화시키고 [4, 5], [6, 7], [6, 7], 

• 교육 실무와 과정에 정보를 주고, 

• 다른 연구자를 교육하는 포럼의 역할한다[8]. 

Medical education scholarship should provide empirical evidence that 

• deepens our knowledge and understanding of education [4, 5], 

• informs educational practice and process, [6, 7]and 

• serves as a forum for educating other researchers [8]. 

학문적 한계를 제공하는 것은 사실 이 학문적 과정의 중요한 부분이다. 이러한 조건이 없으면 연구 소비자들은 [제공된 결과와 결론에 영향을 미칠 수 있는 잠재적 배제 영역 또는 기타 편견]을 완전히 파악해야 한다[9]. 연구 제한은 독자로 하여금 현재의 연구와 현존하는 문헌에 격차를 제시함으로써 미래적 개선에 관여할 기회를 생각하도록 해야 하며, 따라서 다른 연구자들의 호기심과 흥미를 배양하여 학술적 탐구 범위를 넓히도록 해야 한다[9].

Providing study limitations is indeed an important part of this scholarly process. Without them, research consumers are pressed to fully grasp the potential exclusion areas or other biases that may affect the results and conclusions provided [9]. Study limitations should leave the reader thinking about opportunities to engage in prospective improvements [9–11] by presenting gaps in the current research and extant literature, thereby cultivating other researchers’ curiosity and interest in expanding the line of scholarly inquiry [9].

연구 한계를 제시하는 것도 과학 연구의 윤리적 요소다[12]. 연구와 연구자 모두의 투명성을 보장하며, 전이성[15]과 방법의 재현성을 제공한다. 한계를 제시하는 것은 또한 조사 결과의 적절한 해석과 타당성을 뒷받침한다[16]. 연구의 한계는 독자가 연구 결론의 신뢰성을 완전히 식별할 수 있고, 연구 결과를 적절하게 일반화할 수 있도록 연구 결과물을 적절한 맥락 안에 배치해야 한다[16].

Presenting study limitations is also an ethical element of scientific inquiry [12]. It ensures transparency of both the research and the researchers [10, 13, 14], as well as provides transferability [15] and reproducibility of methods. Presenting limitations also supports proper interpretation and validity of the findings [16]. A study’s limitations should place research findings within their proper context to ensure readers are fully able to discern the credibility of a study’s conclusion, and can generalize findings appropriately [16].

일부 저자가 한계를 제시하지 못할 수 있는 이유

Why some authors may fail to present limitations

프라이스와 무르난[8]이 주목하듯이, 연구자들이 연구의 한계를 충분히 보고하지 않는 가장 중요한 이유가 있을 수 있다. 예를 들어, 저자들은 자신의 연구 한계의 중요성과 함의를 완전히 이해하지 못하거나, 토론하지 않는 것이 출판의 가능성을 높일 수 있다고 가정할 수 있다. 저널에 의해 부과된 단어 제한은 또한 저자들이 연구의 한계에 대한 철저한 설명을 제공하는 것을 방해할 수 있다[17]. 여전히 한계를 배제하는 또 다른 가능한 이유는 일부 저자들이 저널 편집자가 한계를 식별하는 책임이 있다고 잘못 가정할 수 있는 책임의 확산이다. 이유나 의도와 상관없이 연구자들은 학계에 완전하고 정직한 연구 한계를 제시할 의무가 있다.

As Price and Murnan [8] note, there may be overriding reasons why researchers do not sufficiently report the limitations of their study. For example, authors may not fully understand the importance and implications of their study’s limitations or assume that not discussing them may increase the likelihood of publication. Word limits imposed by journals may also prevent authors fromproviding thorough descriptions of their study’s limitations [17]. Still another possible reason for excluding limitations is a diffusion of responsibility in which some authors may incorrectly assume that the journal editor is responsible for identifying limitations. Regardless of reason or intent, researchers have an obligation to the academic community to present complete and honest study limitations.

제한사항 제시 지침

A guide to presenting limitations

제한 사항 설명

Describe the limitations

한계를 설명할 때 저자는 한계를 명확하게 도입하기 위해 제한 유형을 식별하고 제한의 근원origin을 명시해야 한다.

When describing limitations authors should identify the limitation type to clearly introduce the limitation and specify the origin of the limitation.

스터디 디자인

Study design

일부 연구 제한은 연구자가 연구의 범위를 좁히기 위해 행한 의식적인 선택(구분이라고도 함)에서 비롯된다[1, 8, 18]. 예를 들어, 연구자는 특정 연령층, 성별, 인종, 민족성, 지리적으로 정의된 지역 또는 연구 결과를 일반화할 수 있는 사람에 제한되는 다른 속성에 대한 연구를 설계했을 수 있다. 그러한 구분delimitation은 연구계획의 개발 중에 이루어진 의식적인 배제 및 포함 결정을 수반하며, 이는 연구자에 의해 연구 설계나 계기에 의도적으로 도입되는 체계적 편향을 나타낼 수 있다[8]. 구분 및 제한delimitation and limitations에 대한 명확한 설명과 서술은 편집자와 검토자가 방법론적 문제를 이해하는 데 도움이 될 것이다.

Some study limitations originate from conscious choices made by the researcher (also known as delimitations) to narrow the scope of the study [1, 8, 18]. For example, the researcher may have designed the study for a particular age group, sex, race, ethnicity, geographically defined region, or some other attribute that would limit to whom the findings can be generalized. Such delimitations involve conscious exclusionary and inclusionary decisions made during the development of the study plan, which may represent a systematic bias intentionally introduced into the study design or instrument by the researcher [8]. The clear description and delineation of delimitations and limitations will assist editors and reviewers in understanding any methodological issues.

데이터 수집

Data collection

데이터 수집 중에는 연구 한계도 도입할 수 있다. 인간 주제 연구의 의도하지 않은 결과는 참여자들이 그들의 질문에 어떻게 반응하는지에 영향을 줄 수 있는 연구자의 잠재력이다. 적절한 샘플링 방법을 채택한 경우에도 일부 연구는 연구에 등록하기로 결정한 참가자로부터만 수집된 데이터를 사용함으로써 제한된다(자체 선택 편향). [11, 19]. 일부 경우에, 참여자들은 진심의 응답보다는 연구자에게 유리하다고 생각하는 질문에 응답함(사회적 만족도 편견)으로써 편향된 의견을 제공할 수 있다[20–22]. 참가자는 자신이 관찰되고 있을 때 고의로 자신의 행동을 변화시킴으로써 수집된 데이터에 영향을 미칠 수 있다(호손 효과)[23]. 연구자(관찰자 역할)는 참가자의 첫 인상이 불리한 (호른horns 효과) 또는 호의적인 (할로halo 효과)의 다른 특징의 단일 특성이나 인상에 의해 영향을 받도록 허용함으로써 수집한 데이터를 편향시킬 수도 있다[24].

Study limitations can also be introduced during data collection. An unintentional consequence of human subjects research is the potential of the researcher to influence how participants respond to their questions. Even when appropriate methods for sampling have been employed, some studies remain limited by the use of data collected only from participants who decided to enrol in the study (self-selection bias) [11, 19]. In some cases, participants may provide biased input by responding to questions they believe are favourable to the researcher rather than their authentic response (social desirability bias) [20–22]. Participants may influence the data collected by changing their behaviour when they are knowingly being observed (Hawthorne effect) [23]. Researchers—in their role as an observer—may also bias the data they collect by allowing a first impression of the participant to be influenced by a single characteristic or impression of another characteristic either unfavourably (horns effect) or favourably (halo effort) [24].

데이터 분석

Data analysis

수행된 통계 분석 유형의 결과로 연구 한계가 발생할 수 있다. 일부 연구는 대상 모집단에서 확률 표본 추출법을 채택하지 않고 편의 표본 추출(즉, 비확률 표본 추출)을 사용하는 경우 추론 통계 분석의 기본 원칙을 따르지 않을 수 있다[19]. 통계 분석 중에 발생할 수 있는 또 다른 제한사항은 초기 분석 전에 명시되지 않은 계획되지 않은 post hoc 데이터 분석을 채택할 때 발생한다 [25]. [계획되지 않은 사후 분석]은 연관성을 시사하지만 우연적 발견에 지나지 않는 통계적 관계를 초래할 수 있다[23]. 따라서 계획되지 않은 사후 분석을 수행할 때, 특히 원본 표본의 부분 집합만 조사할 때 독자가 적절한 해석과 결론을 내릴 수 있도록 이 점을 명확히 명시해야 한다[23].

Study limitations may arise as a consequence of the type of statistical analysis performed. Some studies may not follow the basic tenets of inferential statistical analyses when they use convenience sampling (i.e. non-probability sampling) rather than employing probability sampling from a target population [19]. Another limitation that can arise during statistical analyses occurs when studies employ unplanned post-hoc data analyses that were not specified before the initial analysis [25]. Unplanned posthoc analysis may lead to statistical relationships that suggest associations but are no more than coincidental findings [23]. Therefore, when unplanned posthoc analyses are conducted, this should be clearly stated to allow the reader to make proper interpretation and conclusions—especially when only a subset of the original sample is investigated [23].

연구 결과

Study results

모든 연구 연구의 제한은 결과의 유효성에 기초할 것이다. 특히 내부 또는 외부 타당성에 대한 위협이다[8]. 

• 내부 타당성은 연구 결과[26]의 신뢰성 또는 정확성을 참조하는 반면, 

• 외부 타당성은 연구 표본에서 더 큰 목표 모집단에 이르는 결과의 일반화가능성과 관련이 있다[8].

The limitations of any research study will be rooted in the validity of its results—specifically threats to internal or external validity [8]. Internal validity refers to reliability or accuracy of the study results [26], while external validity pertains to the generalizability of results from the study’s sample to the larger, target population [8].

내부 타당성에 대한 위협의 예로는 

• 연구 외적 사건의 영향(역사), 

• 연구된 효과 대신 시간에 따른 참여자의 변화 (성숙)

• 연구의 특징과 관련된 참가자의 체계적인 감소(중간탈락attrition) 

• 반복적인 측정 참여자에 의한 참가자 응답의 변화(시험 효과), 

• 계측기 수정(도구성instrumentality) 및 

• 반복 시험에서 평균으로 회귀할 극한 점수에 기초하여 참가자 선택 (평균으로의 회귀)[27]

Examples of threats to internal validity include: 

• effects of events external to the study (history), 

• changes in participants due to time instead of the studied effect (maturation), 

• systematic reduction in participants related to a feature of the study (attrition), 

• changes in participant responses due to repeatedly measuring participants (testing effect), 

• modifications to the instrument (instrumentality) and 

• selecting participants based on extreme scores that will regress towards the mean in repeat tests (regression to the mean) [27].

외부 타당성에 대한 위협에는 연구의 표본에서 더 큰 대상 모집단에 대한 결과의 일반화를 억제할 수 있는 요인들이 포함된다[8, 27]. 연구의 결과가 맥락, 환경, 참여자 및 시간 측면에서 더 큰 모집단 또는 유사한 모집단에 일반화될 수 없을 때 외부 타당성에 도전한다[18]. 따라서 연구에 영향을 미쳤을 수 있거나 잠재적으로 숨겨져 있는 편견을 연구 소비자에게 알리고 연구 매개변수를 넘어 일반화를 방지하기 위해 결과에 한계를 투명하게 만들어야 한다.

Threats to external validity include factors that might inhibit generalizability of results from the study’s sample to the larger, target population [8, 27]. External validity is challenged when results from a study cannot be generalized to its larger population or to similar populations in terms of the context, setting, participants and time [18]. Therefore, limitations should be made transparent in the results to inform research consumers of any known or potentially hidden biases that may have affected the study and prevent generalization beyond the study parameters.

각 제한의 시사점 설명

Explain the implication(s) of each limitation

저자는 제한사항의 잠재적 영향(예: 가능성, 크기)[13]을 포함해야 하며, 결과 및 후속 결론의 구체적인 타당성 시사점을 다루어야 한다[16, 28]. 

• 예를 들어, 자체 보고된 데이터는 내부 타당성을 위협하는 부정확성(예: 사회적 만족도 편견으로 인한)을 초래할 수 있다[19]. 

• 연구자의 특성이나 결과에 대한 부적절한 귀속(예: 정형화)도 관련 없는 특성이나 결과(할로 또는 경적 효과)를 지나치게 강조(긍정적이거나 부정적으로)하여 내부 타당성에 영향을 미칠 수 있다[24]. 

• 자신이 연구의 일부라는 참여자의 인식은 결과에도 영향을 미칠 수 있으며(호손 효과), findings의 외부 타당성을 제한할 수 있다[23]. 

• 응답자의 참여 성향과 실질적인 연구 주제와 상관관계가 있는 경우에는 데이터가 편향되고 관심 모집단을 나타내지 못할 수 있으므로 (자기 선택 편향)  외부 타당성이 위협받을 수 있다[29]. 

이 설명을 듣는 것은 독자들이 결과를 해석하고 그 결과의 적용 가능성을 그들 자신의 설정에 일반화하는 데 도움이 된다.

Authors should include the potential impact of the limitations (e.g., likelihood, magnitude) [13] as well as address specific validity implications of the results and subsequent conclusions [16, 28]. 

• For example, self-reported data may lead to inaccuracies (e.g. due to social desirability bias) which threatens internal validity [19]. 

• Even a researcher’s inappropriate attribution to a characteristic or outcome (e.g., stereotyping) can overemphasize (either positively or negatively) unrelated characteristics or outcomes (halo or horns effect) and impact the internal validity [24]. 

• Participants’ awareness that they are part of a research study can also influence outcomes (Hawthorne effect) and limit external validity of findings [23]. 

• External validity may also be threatened should the respondents’ propensity for participation be correlated with the substantive topic of study, as data will be biased and not represent the population of interest (self-selection bias) [29]. 

Having this explanation helps readers interpret the results and generalize the applicability of the results for their own setting.

잠재적인 대안적 접근 방식 및 설명 제공

Provide potential alternative approaches and explanations

종종, 연구원들은 새로운 연구 질문을 만들고 다음 단계의 연구를 형성하는 첫 단계로 다른 연구의 한계를 사용한다. 따라서 독자들은 왜 잠재적 대안적 접근법(예: 유사한 주제를 탐구하는 다른 사람들이 취하는 접근법)이 채택되지 않았는지를 이해하는 것이 중요하다. 대안적 접근법 외에도, 저자는 자신의 연구 결과에 대한 대안적 설명도 제시할 수 있다[13]. 이 정보는 연구를 수행하면서 얻은 직접적이고 관련성 있는 경험과 통찰력 때문에 연구자에게서 얻을 수 있는 가치가 있다. 대안적 접근방식의 제시는 학계에 대한 주요한 공헌을 나타낸다.

Often, researchers use other studies’ limitations as the first step in formulating new research questions and shaping the next phase of research. Therefore, it is important for readers to understand why potential alternative approaches (e.g. approaches taken by others exploring similar topics) were not taken. In addition to alternative approaches, authors can also present alternative explanations for their own study’s findings [13]. This information is valuable coming from the researcher because of the direct, relevant experience and insight gained as they conducted the study. The presentation of alternative approaches represents a major contribution to the scholarly community.

각 한계를 최소화하기 위해 취한 조치 설명

Describe steps taken to minimize each limitation

어떤 연구 설계도 완벽하고 명시적이고 암묵적인 편견이 없는 것은 아니다. 그러나 다양한 방법을 사용하여 연구 제한의 영향을 최소화할 수 있다. 위에서 언급한 한계를 완화하거나 최소화하기 위한 몇 가지 제안된 단계에는 

• 중립 질문, 무작위 응답 기법, 강제 선택 항목 또는 자체 평가 설문지를 사용하여 민감한 질문에 대답할 때 응답자들의 불편함을 줄임(사회적 만족도 편향) [21]

• 연구자가 배석할 필요가 없는 상황에서 unobtrusive 데이터 수집 조치(예: 이차 데이터의 사용) 사용 [11, 30]

• 명확하게 정의된 채점 지침과 함께 표준화된 고무 재질 및 객관적인 평가 양식 사용하여 연구자 편향을 최소화. 또는 평가자 성향(halo or horns effect)을 해소하기 위해 평가 점수에 대한 평가자 보정

• 기존 데이터 또는 통제 그룹 사용(자체 변형 치우침) 

No research design is perfect and free from explicit and implicit biases; however various methods can be employed to minimize the impact of study limitations. Some suggested steps to mitigate or minimize the limitations mentioned above include 

• using neutral questions, randomized response technique, force choice items, or self-administered questionnaires to reduce respondents’ discomfort when answering sensitive questions (social desirability bias) [21]; 

• using unobtrusive data collection measures (e.g., use of secondary data) that do not require the researcher to be present (Hawthorne effect) [11, 30]; 

• using standardized rubrics and objective assessment forms with clearly defined scoring instructions to minimize researcher bias, or making rater adjustments to assessment scores to account for rater tendencies (halo or horns effect) [24]; or 

• using existing data or control groups (self-selection bias) [11, 30]. 

해당되는 경우, 연구자는 연구 설계의 일부로 한계를 완화하기 위해 취한 조치를 입증하는 충분한 증거를 제공해야 한다[13].

When appropriate, researchers should provide sufficient evidence that demonstrates the steps taken to mitigate limitations as part of their study design [13].

결론 

Conclusion

제한은 독자의 주요 발견에 초점을 맞추는 데 도움이 되므로, 대부분의 연구의 일반적인 제한사항이 아니라 특정 연구 문제와 관련된 연구의 가장 두드러진 제한사항만 다루는 것이 중요하다[17, 28]. 연구 설계나 결과의 한계를 최소화하지 않는 것이 중요하다. 오히려 그 한계를 포함한 결과는 독자들이 현재의 연구와 현존하는 문학 사이의 연관성을 끌어내는 데 도움이 되어야 한다.

Limitations help focus the reader on key findings, therefore it is important to only address the most salient limitations of the study [17, 28] related to the specific research problem, not general limitations of most studies [1]. It is important not to minimize the limitations of study design or results. Rather, results, including their limitations, must help readers draw connections between current research and the extant literature.

연구의 질과 엄격함은 주로 우리의 한계로 정의된다[31]. 사실, 리뷰어들이 의학 교육 연구 원고의 수용을 권고하는 주요 이유 중 하나는 한계와 관련이 있고, 특히 연구의 해석이 그 한계를 어떻게 설명하는지와 관련된다[32]. 따라서, 저자는 자신의 연구의 한계를 편집자나 검토자가 식별하도록 하기보다는 인정하는 것이 최선일 뿐만 아니라, 한계의 적절한 구성과 제시는 실제로 acceptance의 가능성을 높일 수 있다.

The quality and rigor of our research is largely defined by our limitations [31]. In fact, one of the top reasons reviewers report recommending acceptance of medical education research manuscripts involves limitations—specifically how the study’s interpretation accounts for its limitations [32]. Therefore, it is not only best for authors to acknowledge their study’s limitations rather than to have them identified by an editor or reviewer, but proper framing and presentation of limitations can actually increase the likelihood of acceptance.

---

. 2019 Aug;8(4):261-264.

 doi: 10.1007/s40037-019-00530-x.

Limited by our limitations

Paula T Ross 1, Nikki L Bibler Zaidi 2

Affiliations 

Affiliations

• 1Medical School, University of Michigan, Ann Arbor, MI, USA. paulat@umich.edu.
• 2Medical School, University of Michigan, Ann Arbor, MI, USA.

• PMID: 31347033
 
• PMCID: PMC6684501
 
• DOI: 10.1007/s40037-019-00530-x

Free PMC article

Abstract

Study limitations represent weaknesses within a research design that may influence outcomes and conclusions of the research. Researchers have an obligation to the academic community to present complete and honest limitations of a presented study. Too often, authors use generic descriptions to describe study limitations. Including redundant or irrelevant limitations is an ineffective use of the already limited word count. A meaningful presentation of study limitations should describe the potential limitation, explain the implication of the limitation, provide possible alternative approaches, and describe steps taken to mitigate the limitation. This includes placing research findings within their proper context to ensure readers do not overemphasize or minimize findings. A more complete presentation will enrich the readers' understanding of the study's limitations and support future investigation.

Keywords: Limitations; Research.