이론을 명시적으로 만들기: 의학교육 연구자는 이론과의 연계성을 어떻게 기술하는가(BMC Med Educ, 2017)
Making theory explicit - An analysis of how medical education research(ers) describe how they connect to theory
Klara Bolander Laksov1,2*, Tim Dornan3,4 and Pim W. Teunissen4,5
배경
Background
10년 이상, 명확한 이론적 근거가 결여된 의대 교육 연구 간행물에 대한 우려의 표현이 있어왔다[1–5]. 의학 교육에서 이론의 활용이 증가하는 징후[6]가 있지만, 문제를 식별하는 것뿐만 아니라 문제를 더 잘 이해하고 해결하는 것이 흥미롭다. 이 논문의 목적은 과거에 사람들이 어떻게 해왔는지 살펴보고 다른 사람들이 미래에 어떻게 할 수 있는지를 제시함으로써 연구자들이 이론을 더 잘 활용할 수 있도록 돕는 것이다. 우선, 우리가 '이론'이란 단어로 무엇을 의미하는지 더 자세히 설명해야 합니다.
For over a decade, there have been expressions of concern about medical education research publications lacking an explicit theoretical basis [1–5]. Although there are signs of an increase in use of theory in medical education [6], it is of interest to not only identifying the issue, but to better understand and remedy it. The aim of this paper is to help researchers make better use of theory by examining how people have done so in the past and suggesting how others might do so in the future. First, this requires an elaboration of what we mean by theory.
이론의 일반적인 설명은 [어떤 현상을 설명하기 위한 아이디어의 체계]라는 것이다. 이론에 대한 이러한 관점은 생물 의학 및 물리 연구에서 종종 받아들여지는 견해와 일관되며, 이론과 반복적으로 시험될 수 있는 것으로 명확하게 연결되어 있어 모든 경우에 활동을 안내합니다.
A general description of theory is that it is a system of ideas intended to explain a phenomenon. This perspective on theory is consistent with the view that is often taken in biomedical and physical research and is clearly linked to theory as something that can be repeatedly tested, and hence guide activity in all cases.
그러나 의대교육의 이론은 생의학과 다른 시각으로 볼 필요가 있다. [7] [입증의 필요성]을 강조하기 보다는, 출발점은 조사가 수행된 특정 렌즈를 가지고 [현상에 대한 서로 다른 설명을 둘러싼 과학적 대화에 참여]하는 것이며, 이는 이론 생성[8]을 초래할 것이다.
However, theory in medical education needs to be viewed as different from the biomedical view. Rather than emphasising an imperative of proof [7], the point of departure is the participation in scientific dialogue around different explanations of phenomena with a specific lens through which the inquiry was conducted, which will result in theory generation [8].
리브스와 동료(ibid.)는 이론을 다음과 같이 정의했다: [의미 있는 전체]로서 소통되는 일련의 이슈에 대한 조직화된, 일관성있는, 체계적인 설명
Reeves and colleagues (ibid.) define theory as: an organized, coherent, and systematic articulation of a set of issues that are communicated as a meaningful whole”.
교육에서 이론의 개념화는 역사적으로 [20세기 초기의 고수준의 이론에서부터, 1960년대의 중범위 이론, 1900년대 말까지 개인실천 이론에 이르기까지] 추상화abstraction의 여러 수준에 따라 연속체상에 배치될 수 있다.
The conceptualisation of theory in education can be placed historically during the 20th century [9] at a continuum that covers different levels of abstraction ranging from high level theories at the turn of the 20th century, to middle range theories in the 1960s, and personal practice theories by the end of the 1900s.
[고차원 이론high level theories]은 시스템의 근본적인 변수를 제시하고, 마르크스주의 이론처럼 높은 수준의 추상성을 포함합니다. 예를 들어, 경험적 연구나 직접 이끌지 않는 범위 내에서 '설명할 대상과 무관함'(사회적 투쟁)이다. 이러한 수준의 이론은 실증적 연구empirical research로부터 유래한 것은 아니며, (시험 가능한 아이디어나 가설을 통해) 실증적 연구로 직접 이끌지lead는 않지만, 경험적 조사empirical enquiry를 위한 지침guidance은 제공할 수 있습니다.
High level theories state the fundamental variables of systems and include a high level of abstractness, like Marxist theory, which are ’independent of the thing to be explained’ (social struggle, for example) to the extent that they might not arise from empirical research or lead directly, via testable ideas or hypotheses, to empirical research, however it can provide guidance for empirical enquiry.
반세기 전, Merton(1968)은 [중간 범위의 이론]이 있다는 아이디어를 도입했다. [중범위 이론]이란 다음의 사이에 놓여있다 - [일상적 연구에서 풍부하게 발전하는, 작지만, 필요한 작업 가설들]과 [사회 행동, 사회 조직, 그리고 사회 변화의 모든 관찰된 획일성을 설명할 통일 이론을 개발하기 위한 전면적인 체계적 노력]
In a seminal paper half a century ago, Merton (1968) introduced the idea that there are middle range theories – theories that lie between the minor but necessary working hypotheses that evolve in abundance during day-to-day research and the all-inclusive systematic efforts to develop a unified theory that will explain all the observed uniformities of social behavior, social organization, and social change ([10]p. 39.).
가장 자세하고 개별적인 수준에서 '개인적 이론'[12]은 우리 모두의 일상적인 활동을 안내합니다. 예를 들어, 학생들의 성과에 대한 피드백을 제공하는 방법에 대한 우리의 선택은 대부분 성과를 전달하고 평가하는 방법에 대한 매우 개별적인 이론에 의해 이끌어집니다. 이 이론은 [비록 학생과의 관계에서 무엇을 어떻게 말해야 하는지만 말해준다 하더라도],(경험적 관찰과 쌍방 관계에 있는) 개인의 이론personal theory이다.
At the most detailed and individual level, ’personal theories’ [12] guide the day-to-day activities of every one of us. Our choice of how to feedback on student performance, for example, is most often guided by a highly individual theory of how to communicate and appraise performance. It is a personal theory, which is in a two-way relationship with empirical observations, even if it only tells us when to say what and how in relation to the student.
교육 분야에서 Donald Schön(1991)의 연구는 이른바 사용중인 이론(theory-in-use)에 초점을 맞췄다. 이는, 교사가 일상적인 교육에 적용하는 것이다. 또한 이것이 '옹호된 이론espoused theory'와 어떻게 관련되는지를 보았는데, 이는 피드백 및 커뮤니케이션 패턴에 대한 미드레인지 이론일 수도 있고, 교수개발 과정에서 학습했을 수 있는 과정 설계가 관련될 수 있습니다.
In education, Donald Schön’s (1991) research has focused on these so called theories-inuse, that teachers apply in everyday teaching, and how they relate to their ’espoused theory’, which could be midrange theories of feedback and communication patterns together with course design that might have been learned in a faculty development course.
이론 개발에 대한 기여는 학계 커뮤니티가 '실제적 목적적합성을 달성하기 위해 얼마나 효과적으로 연구 프레임워크를 통합하느냐'에 달려 있기 때문에, 이 논문의 초점은 중범위 이론을 어떻게 명시할 수 있는지에 있다[13].
The focus of this paper is on how middle-range theory can be made explicit, since the contribution to development of theory depends on how effectively the community of scholars ‘integrates inquiry frameworks to achieve practical relevance’ [13].
어떤 패러다임이든, 연구의 이론적 가정에 대해 명확히 하는 것은 가치를 더한다. 사람들이 의학 교육 연구를 더 잘 이론화해야 한다고 요구할 때, 그들은 연구자들에게 그들의 연구를 어떤 명시적인 이론적 틀 안에서 포지셔닝하고, 그들이 그렇게 한 방법과 이유를 정당화할 수 있고, 그 틀에서 도출된 통찰력을 사용하여 경험적 관찰을 해석할 수 있도록 요청하고 있다.
Whatever one’s paradigm, being clear about the theoretical assumptions that underly research adds value to it. When people call for medical education research to be better theorised, they are asking researchers to
- position their work within some explicit theoretical framework,
- be able to justify how and why they did so, and
- use insights derived from the framework to help interpret empirical observations.
철학적 고려에서 좀 더 실용적인 고려로 넘어가면서, Bordage (2009)는 교육 연구자들이 [개념적 체계conceptual framework]를 '문제나 연구에 대한 사고 방식, 또는 복잡한 사물이 어떻게 작용하는지를 표현하는 방법'으로 어떻게 사용할 수 있는지를 설명했다. 이러한 개념적 프레임워크는 연구자들이 특정한 방법으로 문제를 검토하도록 유도하거나 시험할 가설을 생성할 수 있으며[14] 따라서 이론과 경험적 데이터 사이의 연관성에 있어 매우 중요하다. 그것들은 그들 자신의 연구나 타인의 연구로부터 발생할 수 있고 개념적 체계는 특정 이론에서 도출될 수 있다. 한 이론이 많은 다른 연구자들에 의해 채택된다면, 그 분야는 비로소 개별 연구가 진행되었던 조건을 넘어 전이될 수 있는transferable 일관된 연구결과집합체body of work를 구축하게 된다.
Moving from philosophical considerations to more practical ones, Bordage (2009) explained how education researchers can use conceptual frameworks as ‘ways of thinking about a problem or study, or a way of representing how complex things work.’ Such conceptual frameworks may guide researchers to look at problems in particular ways or generate hypotheses to be tested [14] and are thus crucial in the linkage between theory and empirical data. They may arise from their own or other people’s research and the conceptual framework can be derived from a specific theory. When theories are adopted by many different researchers, they help the field build up a coherent body of work, which is transferable beyond the conditions in which individual studies were conducted.
교육 연구 방법론 교사로써, 석사과정 학생, 박사과정 학생, 의대신입학 연구자들이 이론에 관여하기 어려운 주제라는 것을 꾸준히 발견해 왔습니다.
As teachers of education research methodology, we have consistently found that Masters students, PhD students, and new medical education researchers find theory a difficult topic to engage with.
방법
Methods
개념적 지향
Conceptual orientation
이 연구는 사회적 구성주의 접근법을 따랐다. 사회구성주의social constructivism는 집단이나 공동체가 그들의 [상호작용의 결과로 공유된 의미를 창출한다]고 가정한다. 이러한 [공유된 의미shared meaning]는 저널이나 직책, 직책과 같은 '인공물artefacts'이라 불리는 사물로부터 기인할 수 있으며, 이것들이 모여 [공유된 문화shared culture]를 이룬다.
A social constructivist approach [15] guided our research [16–18]. Social constructivism assumes that groups or communities create shared meaning as a result of their interactions. These shared meanings can be attributed to things, which are called ’artefacts’, such as a journal or a position or title, and together contribute to a shared culture.
이번 프로젝트에서는, [출판물]을 의학교육계의 협업으로 제작된 인공물artefacts으로 보았다는 점에서 본 연구는 "사회적social"이었다. 한편, 세 저자 사이의 데이터 분석과 이론 개발의 반복적인 과정을 통해 우리가 데이터로 포함시킨 출판물에 개념적 프레임워크에 대한 연결이 어떻게 형성되고 사용되는지에 대한 해석을 구성할 수 있었다는 점에서 "구성주의적constructivist"이였다.
In this project, the research was social in that we regarded publications as artefacts produced by the collaborative efforts of the medical education community. It was constructivist in that an iterative process of data analysis and theory development between the three authors allowed the construction of an interpretation of how connections to conceptual frameworks were formed and used in the publications we included as data.
데이터 수집 절차
Data collection procedure
이 프로젝트의 데이터 집합은 의학 교육 분야에서 영향력이 있다고 여겨지는 발표된 논문 집합으로 구성되었습니다.
The dataset for this project consisted of a set of published papers that were deemed influential in the medical education domain.
선정된 연구진은 연구 pp주제, 성별, 지리뿐만 아니라 자체 연구에 일반적으로 적용되는 방법론적 선호도 변화에서 차이를 보였다(표 1 참조). 그들은 다음과 같은 요청을 받았다.
The selected researchers differed in their variation of methodological preferences usually applied in their own research as well as research topic, gender and geography (see Table 1). They received the following request:
의학 교육 분야에서 영향력이 있다고 생각되는 약 5개의 연구 논문을 지명해 주십시오. 각 논문마다 왜 그것을 선택했는지에 대해 몇 개의 문장을 써주세요.
Please nominate approximately 5 research papers you consider as influential in the field of medical education. For each paper, please write a few sentences saying why you chose it.
"영향력있는"이라는 단어의 의미를 우리는 "[의학 교육 관행이나 연구에서 전반적인 영향]을 미쳤거나, 혹은 [응답자 개인의 연구 또는 교육 관행]에 영향을 미쳤던 연구 논문"으로 명확히 했습니다.
By influential we clarified that it could be “research papers that have, in your opinion, impacted medical education practice or research in general or your own research or educational practice”.
분석
Analysis
주요 분석을 안내하는 4가지 주요 질문의 공식화:
the formulation of four main questions to guide the main analysis:
1) "이 논문의 출발점starting point은 무엇이었습니까?" 그 출발점은 예를 들어 실용적 문제 또는 이론적 문제 또는 이전 연구의 발견일 수 있습니다.
1) ”What was the starting point of this article?” The starting point could be, for instance, a practical or theoretical problem, or the findings of previous research.
2) "문제에 접근하기 위해 어떤 개념적 체계conceptual framework를 사용하였는가?" 이것이 우리가 이론적인 개념이나 프레임워크와 다소 명백한 연관성을 볼 수 있는 곳입니다.
2) ”What conceptual framework was used to approach the problem?”.This is where we could see a more or less explicit linkage to theoretical concepts or frameworks.
3) "이 논문은 방법론적으로 문제를 어떻게 다루었는가?" Guba & Lincoln의 [20] 유형 방법론적 접근법이 우리의 분석을 이끌었다.
3)”How did the paper address the problem methodologically?”;Guba & Lincoln’s [20] typology of methodological approaches guided our analysis.
4) "이 기사가 이론에 어떤 기여를 했는가?"
4)”How did the article contribute to theory?”.
1. 저자들의 출발 지점은 무엇이었습니까?
a) 문제는 어디에서 발생하였는가(예: 실제 문제, 이전 논문, 이론 문제, 이론에 근거한 가설)?
1. What was the authors’ point of departure?
a) Where did the problem come from (e.g. practical issue, previous papers, theoretical problem, hypothesized based on theory)?
2. 저자들은 어떤 경로를 택했는가?
a) 이슈는 어떻게 문제화되고 개념화되었는가?
b) 질문 1과 2의 답변은 서로 어떤 관련이 있습니까?
c) 저자들은 자신의 문제를 다루기 위해 어떤 방법론을 사용했으며, 선택권을 얼마나 명확히 고려했는가?
2. What route did the authors take?
a) How was the issue problematized and conceptualized?
b) How do the answers to questions 1 and 2 relate to each other?
c) What methodology did the authors use to tackle their problem and how explicit were they in considering their options?
3. 저자들은 어디에 도착했나요?
a) 조사 중인 문제를 해결하는 데 어떻게 기여했다고 제안했습니까?
b) 이 과학적 여정의 여러 요소들 사이의 명백한 관계는 무엇인가?
3. Where did the authors arrive?
a) How did they suggest they had contributed to addressing the problem under investigation?
b) What is the apparent relationship between the different components of this scientific journey?
결과
Results
초청연구가 15명 중 남성 6명, 여성 4명 등 10명이 총 41편의 논문을 내정했다. 두 명은 초대를 거절했고 세 명은 응답하지 않았다. 논문은 추가 파일 1: 부록 1에 나열되며 경험적 논문부터 검토, 개념적 논문 및 사설까지 다양합니다.
Ten of the 15 invited researchers, six men and four women, nominated a total of 41 papers. Two declined the invitation and three did not reply. The papers are listed in Additional file 1: Appendix 1 and ranged from empirical papers, to reviews, conceptual papers and editorials.
근접 탐사
Close-up exploration
여기서 연구자들은 전공의들이 실제 경험을 통해 배우는 방법 등 몇 가지 [구체적인 현상을 설명하는 것]을 목표로 했다. [국지적 이슈]에 의해 촉발되거나, [다른 연구에서 제기된 이슈]를 바탕으로, 그들은 이러한 [현상에 대한 현재의 이해를 더할 필요성이나 기회]를 포착하였다. 이를 통해 그들은 구체적인 질문을 하고, 연구 계획을 결정하고, 연구를 착수할 수 있었다. 중범위이론은 이들이 질문, 방법, 연구 진행 환경 등을 선택할 수 있도록 도움으로써 기여했고, 그 결과 관심 주제에 대한 보다 명확하고 참신한 이해를 쌓을 수 있었다.
Here, researchers aimed to explain some specific phenomenon, such as how residents learn from practical experience. Either instigated by a local issue or issues raised in other studies, they recognized a need or opportunity to add to the current understanding of this phenomenon. This allowed them to formulate a specific question, decide on a research plan, and set out to do the research. Middle range theory contributed to this process by helping them choose questions, methods, and a setting in which to conduct the research, which would contribute to building a clearer or novel understanding of the topic of interest.
Example 1
이 범주의 연구 예는 Lingard 외 연구진들의 연구이다. (2004). Lingard와 동료[21]는 수술실의 커뮤니케이션 장애를 조사하면서 이전 연구에서 비롯된 문제를 출발점으로 삼았다.
An example of a study in this category is a study by Lingard et al. (2004). Examining communication failures in operating rooms, Lingard and colleagues [21] took as their point of departure an issue stemming from previous research:
최근의 증거는 오류로 인한 부작용은 입원환자 환경에서 수용할 수 없을 정도로 높은 비율로 발생하며 팀 구성원 간의 비효율적이거나 불충분한 의사소통이 종종 기여 요소임을 시사한다(330페이지).
Recent evidence suggests that adverse events resulting from error happen at unacceptably high rates in the inpatient setting and that ineffective or insufficient communication among team members is often a contributing factor. (p.330)
의료 분야에서 팀워크와 안전의 관계, 연구 방식의 동향에 관한 문헌의 증가 추이를 언급함으로써, 지식의 격차를 확인했다.
By referring to a growing body of literature regarding the relationship between teamwork and safety in health care, and trends in the way it had been studied, the route taken by Lingard et al. identified a gap of knowledge:
이러한 모델은 효과적인 팀 기능에서 의사소통의 중요성을 강조해 왔지만, 다차원성은 커뮤니케이션의 개별 변수에 대한 깊은 관심을 배제합니다.
While these models have reinforced the importance of communication in effective team function, their multidimensionality precludes in depth attention to the individual variable of communication. (p.330)
저자들은 "표준화와 팀 통합의 부족"이라고 공식화한formulated 수술실의 특정 맥락에서의 의사소통에 관한 연구 결과를 언급하며 계속했다. 여기서, 그들은 항공 산업에서의 의사소통에 대한 사고 방식(즉, 다른 분야에서의 이론화)을 언급함으로써, 당면한 이슈를 프레이밍(의사소통 실패)하였고, 문제 극복을 위한 개입을 선택하였다.
The authors continued by referring to the findings from studies on communication in the specific context of operating rooms, formulated as ”lack of standardization and team integration”. Here, they referred to the ways of thinking about communication in aviation industry (i.e. theoretization from another field) both as a way to frame the issue at hand (communication failures) and to choose interventions to overcome the problem:
OR 팀 커뮤니케이션의 기술된 약점에 대한 하나의 잠재적 해결책은 항공 산업에서 체계적인 비행 전 팀 커뮤니케이션을 위해 현재 사용 중인 체크리스트 시스템을 조정하는 것이다… 우리는 세심하게 조정된 체크리스트 시스템이 OR 팀에서 더 안전하고 효과적인 커뮤니케이션을 촉진할 수 있을 것으로 예상한다. (p.330)
One potential solution to the described weaknesses in OR team communication is to adapt the checklist system currently in use for systematic preflight team communications in the aviation industry … we anticipate that a carefully adapted checklist system could promote safer, more effective communications in the OR team. (p.330)
방법 섹션은 논문 초기에 식별된 방법론적 격차에 맞춰 조정되었으며 관찰된 커뮤니케이션의 현장 노트를 분석하기 위해 이론 기반의 프레임워크를 사용했다. 이를 통해 연구진은 의사소통 장애의 특성을 파악하고 탐구 중인 주제에 대한 보다 자세한 이해를 할 수 있었습니다. 이를 통해 시스템, 프로세스 및 환자 수준에서 이러한 장애를 분석하고 조사 중인 환경, 즉 수술실에서의 커뮤니케이션을 자세히 이해할 수 있었습니다.
The methods section aligned with the methodological gap identified at the outset of the paper and used a theory-based framework for analysis of the fieldnotes taken of the communication that was observed. This enabled the researchers to approach and identify the characteristics of communication failures and arrive at a more detailed understanding of the topic under exploration. It allowed them to analyse these failures in relation to the effects at system, process, and patient level and arrive at a detailed understanding of the landscape under investigation: communication in the operating room.
Example 2
첫 번째 범주의 또 다른 예는 Van Zanten의 연구이다[22]. 의사 인종과 관련된 환자 만족 주제에 대한 기존 지식의 개요로 시작합니다. 저자들은 다른 사람들이 발견한 것을 요약합니다. 과학적 풍경을 재개념화하기 위해서가 아니라 자신이 탐구하고자 하는 부분과 발견하기를 기대하는 부분을 설명하기 위해서입니다.
Another example of the first category is the study by Van Zanten [22]. It starts with an overview of existing knowledge on the topic of patient satisfaction in relation to physician ethnicity. The authors summarize what other people have discovered, not to reconceptualise the scientific landscape but to explain what part of it they want to explore and what they expect to find:
특정 관점
A specific perspective
이 범주에는 의도적으로 선택된, 고정된 유리한 지점에서 [이론 구축theory building을 추가하기 위한 연구]가 포함되었습니다. 연구자들은 심리, 사회, 인류학 또는 철학적 영역에서 도출된 특정 연구 관점을 의료 교육 분야의 이슈에 적용할 수 있는 장점을 주장했다.
This category included research that intended to add to theory buiding from a deliberately chosen, fixed vantage point. Researchers argued for the advantages of applying a particular research perspective derived from psychological, sociological, anthropological, or philosophical domains to an issue in the field of healthcare education.
Example 1
Example 2
Kerosuo와 Engestrom[23]에 의해 해결된 현실적 문제는 다중 전문 그룹multi-professional groups에 의한 돌봄care 제공이었다. 그들은 조직 내 사람들이 [어떻게 집단적으로 일하는 법을 배웠는지] 검토하기 시작했다. 그들은
- [인간의 활동을 체계적이고 사회적으로 자리잡은 현상으로 이해]하고, 이에 따라 [개인 주체와 사회적 현실의 차이를 메워주고],
- 그들이 일하고 있는 [의료 환경을 이해하고 변화시키기 위한 이론]인,
...활동 이론(Activity Theory)에 의해 inform된, 변화 연구실 접근법Change Laboratory approach을 취했다.
The practical problem addresssed by Kerosuo and Engeström [23] was provision of care by multi-professional groups. They set out to examine how people in organisations learned to work collectively. They took a Change Laboratory approach, informed by Activity Theory, a theory that seeks
- to understand human activities as systemic and socially situated phenomena and hence bridges the gap between the individual subject and the social reality,
- to understand and change the health care environments they were working in.
거리두기 관점
A distanced perspective
이 세 번째 범주는 비교적 [추상적인 수준]에서 운영된다. 학자들은 연구 영역을 스캔하여 다른 연구자들이 이전에 매핑한 내용을 종합하고 모순과 추가 탐사가 필요한 영역을 식별합니다. 특정 현상에 대한 면밀한 탐사를 하거나 특정 관점에서 문제를 살펴본 연구자들의 노력이 없었다면 이런 유형의 작업은 불가능했을 것이다. 그러나 때로는 한 발짝 물러서서 정보의 일부가 어떻게 서로 들어맞는지 살펴봐야 합니다. 일반적으로 이 세 번째 범주의 논문들은 새로운 경험적 데이터를 보고하지 않고, 그 대신 이전의 연구 결과가 그들의 데이터이다.
This third category operates at a relatively abstract level. Scholars scan an area of research, piecing together what others had previously mapped and identifying contradictions and areas that need further exploration. It would not be possible to do this type of work were it not for the efforts of researchers who have done close up explorations of specific phenomena or looked at the issue from a specific perspective. However, sometimes one needs to take a step back and look at how the pieces of information fit together, or not. Typically, papers in this third category do not report new empirical data; instead, previous research findings are their data.
Example 1
Steinert 등[24]의 교수진 개발에 대한 체계적인 검토는 수많은 교수진 개발 프로그램이 효과의 차이를 명확히 이해하지 못한 채 제공되었다는 관찰에서 시작되었습니다. 다른 학자들이 만들어낸 수많은 지식들을 스캔함으로써, 저자들은 이 조각들이 어떻게 서로 맞고 겹쳐지고 발견되지 않은 부분들을 정리할 수 있었다. 이것은 이전의 연구에 의해 생성된 지식을 종합하는 개념적 프레임conceptual framework으로 이어졌다.
A systematic review by Steinert et al. [24] on faculty development started from the observation that a myriad of faculty development programs had been delivered without any clear understanding of differences in their effectiveness. By scanning the numerous pieces of knowledge produced by other scholars, the authors were able to map out how these pieces fitted together, overlapped, and left areas undiscovered. This led to a conceptual framework that synthesized the knowledge generated by previous research.
이 프레임워크에서는 교수진의 다양한 역할을 인정하며, 교육teaching은 그 중 하나이다. 이 프레임워크는 특정 교수개발 활동을 넘어서는 많은 중재 요인이 교사의 효율성에 영향을 미칠 수 있으며, 그 결과는 여러 수준에서 관찰될 수 있다는 사실을 강조한다(p.500).
This framework acknowledges the different roles of faculty members, of which teaching is one. It also highlights the fact that many mediating factors beyond specific faculty development activities can influence teacher effectiveness, and that outcome can be observed at a number of levels. (p.500)
저자들은 교수 발달에 대한 증거를 이용하여 사람들의 행동에 대한 사고에 기여하는 틀을 만들었습니다.
The authors used evidence about faculty development to produce a framework that contributes to people’s thinking about their actions.
Example 2
이 예는 Schmidt, Norman & Boshuizen[25]에 의해 제공되며, 그는 임상 역량에 대한 문헌 검토에서 다음과 같이 결론지었다.
This example is provided by Schmidt, Norman & Boshuizen [25], who concluded from a review of literature on clinical competence:
…임상 역량의 성격에 대한 몇 가지 근본적인 가정에 의문을 제기하면서 여러 가지 반복적인 문제가 나타났습니다. (p.611)
…a number of recurrent problems emerged, casting doubt on some of the fundamental assumptions about the nature of clinical competence. (p.611)
고찰
Discussion
그러나 세 가지 접근방식은 우리의 주요 데이터(논문)와 구별되었지만, 하나의 범주로만 쉽게 분류할 수 없는 논문도 있었다. 이는 대부분 이 논문들이 이론적 출발점을 명확히 밝히지 않았기 때문이다.
However, although the three approaches were discerned from our primary data (the papers), there were papers that could not easily be categorized into only one of the categories. This was mostly due to the fact that these papers had not made their theoretical point of departure explicit.
범주화뿐만 아니라, 우리의 분석은 은유를 만들어냈고, 우리는 이것이 이론이 어떻게 사용되는지를 설명하는 데 도움이 되기를 바란다. 이 비유는 해안 풍경을 탐험하고 싶은 사람이 배, 등대, 비행기로부터 탐험할 수 있다는 것이다. 해안의 풍경은 사람들의 행동과 함께 탐구 영역을 구성하는 사회적 과정을 나타낸다. 보트, 등대, 비행기는 세 가지 관점, 세부 수준, 조도 유형을 제공합니다. 이 '이야기'는 아래와 같다.
As well as a categorisation, our analysis has produced a metaphor, which we hope will help explain how theory is used. The metaphor is of a person wanting to explore a coastal landscape and being able to do so from a boat, a lighthouse, or a plane. The coastal landscape represents the people, their behaviour, and the social processes that together constitute a field of inquiry. The boat, lighthouse, and plane provide three different perspectives, levels of detail, and types of illumination of the landscape. This ’story’ is outlined below.
이 논문에서 사용되는 은유 체계를 설명하는 서술
A narrative explaining the system of metaphors used in this paper
멀리 떨어져 있는 섬을 도표로 만들어야 한다고 상상해 보세요. 그곳에는 먼 옛날에 살았던 사람들이 만든 조잡하고 부정확한 지도들이 있다. 섬의 좋은 지점vantage point에 등대의 외딴 잔해가 서 있다. 그 섬에는 [귀중한 광물 퇴적물]이 있을 수 있기 때문에 조사되고 있다. 세 가지 방법으로 자유롭게 조사할 수 있습니다. 배를 타고 바위 해안으로 접근하거나, 등대 꼭대기에서 측량하거나, 상공 비행을 할 수 있습니다.
Imagine you have to chart a far-off island. There are some crude, inaccurate maps of it made by people who lived there in the distant past. At a vantage point on the island stand the solitary remains of a lighthouse. The island is being surveyed because there may be valuable mineral deposits there. You have, at your disposal, three ways of surveying it. You can approach its rocky coast by boat, you can survey it from the top of the lighthouse or you can overfly it.
이 비유에 따르면,
- [섬]은 연구 주제입니다.
- [귀중한 광물 퇴적물]은 그것을 조사하기 위한 목적이다.
- [지도]는 주제에 대한 지식 상태를 나타냅니다.
- 보트, 등대, 비행기는 지도를 정교화하는 [세 가지 다른 방법]이다. 즉, 근접 탐사(보트), 특정 관점(등대), 개요(비행).
According to this metaphor,
- the island is a research topic.
- The valuable mineral deposits are a purpose for surveying it.
- The map represents the state of knowledge of the topic.
- The boat, lighthouse, and plane represent the three different ways theory can help refine the map discussed in the finding section:
- theory as close-up exploration (boat);
- theory as a specific perspective (lighthouse); and
- theory as overview (plane).
당신은 그것들로부터 매우 다양한 종류와 세부사항, 그리고 바위 경관에 대한 관점을 얻을 수 있을 것입니다. 마찬가지로, 여러분이 물려받은 [조잡한 지도]도 땅을 조사한 관점의 영향을 받았을 것이며, 여러분이 앞으로 생산할 [정교한 지도]도 마찬가지로 여러분이 선택한 관점의 영향과 섬의 위상학적 특성에 영향을 받을 것입니다.
You would get very different types and levels of detail, and perspectives on the rocky landscape from them. In the same way, the crude map you inherited was influenced by the perspective from which the land was surveyed and the sophisticated map you produce will, likewise, be influenced by the perspective you have chosen as well as the topographical features of the island.
이 은유법은 연구에 대한 기본적인 원리를 보여준다. 하나의 주제를 아는 단 하나의 논쟁의 여지가 없는 방법은 없다. 마치 한 풍경을 아는 데 논쟁의 여지가 없는 방법은 없는 것과 같다. 우리가 그것을 인정하든 말든, "진리"는, 지도와 마찬가지로, 그것이 얻어진 이론적인 관점에 의해 영향을 받습니다. 궁극적으로, 원근법과 거리가 지도에 지워지지 않는 흔적을 남기는 것과 마찬가지로, 이론은 여러 가지 방법으로 우리의 연구에 스며든다. 광물 퇴적물처럼 탐구할 가치가 있는 주제라는 결정도 이론의 영향을 받는다. 하지만 그 세 가지 관점과 목표를 달성하는 데 어떻게 도움이 될 수 있는지는 지켜보자.
This metaphor illustrates a fundamental principle about research. There is no single, incontrovertible way of knowing a topic, just as there is no incontrovertible way of knowing a landscape. Whether we acknowledge it or not, “truths”, like maps, are influenced by the theoretical perspective from which they were gleaned. Ultimately, theory permeates our research in many ways, just as perspective and distance leaves their indelible marks on a map. Even the decision that a topic is, like mineral deposits, worth exploring is influenced by theory. But let’s stick with those three different perspectives and how they can help you achieve your goal.
보트는 풍경 가까이 다가갈 수 있게 해줍니다. 심지어 만질 수도 있습니다. 아주 미세한 디테일을 얻을 수 있습니다. 예를 들어, 귀중한 광물을 수출하는 선박을 위한 선착장을 어디에 지을지 계획한다면 매우 값진 일일 것입니다. 하지만 섬 전체를 일관된 시각으로 바라보는 데는 그리 좋지 않을 것이다. 연구용어로, 이러한 이론의 사용은 특정한 관심 영역을 식별하고, 그곳에서부터 지도의 특정 부분을 조사하는 것을 의미합니다. 주제 전체의 일관성 있는 지도를 작성하는 것보다는, 주제 일부를 세부적으로 설명하는 목적에 더 좋습니다. 보트만으로 측량하면 관심 분야에 대해서 [해결되지 않은 상반된 결과]가 동반된 짜깁기 지도가 나올 수 있습니다.
The boat allows you to come close to the landscape; even touch it. You can get very fine detail. It would be invaluable if, for example, you wanted to plan where to build a dock for ships exporting the valuable mineral. But it would not be so good for putting the entire island into a coherent perspective. In research terms, this use of theory means identifying a specific area of interest, getting out there and investigating a specific piece of the map. It is better at giving fine detail of part of a topic than producing a coherent map of the topic as a whole. Surveying solely by boat could produce a patchy map of the field of interest with unresolved, conflicting results.
만약 [등대]가 위치한 [고정된 유리한 지점]으로 인해, 광산에서 물결치는 경관을 가로질러 선착장으로 가는 경로를 선택할 수 있다면 등대를 선택할 수 있습니다. 마찬가지로, 이론은 여러분이 [의도적으로 선택한, 고정된 유리한 위치]에서 진화하는 과학 지식의 지도에 정보를 추가하는 데 도움을 줄 수 있습니다. 여러분은 특정한 심리학적, 사회학적, 인류학적 또는 철학적 입장을 선택할 수 있습니다. 왜냐하면 [그 입장]이 [이 주제]에 대해 어떤 것을 말해 줄지 알고 싶기 때문입니다. 등대에서 그렇게 하다 보면 배에서 관찰한 것과 같은 세부 수준은 아니지만 주제에 대한 가치 있는 새로운 시각을 갖게 될 것입니다.
You would choose the lighthouse if its fixed vantage point helped you, for example, choose the route from the mineral mine to the dock across an undulating landscape. Likewise, theory can help you add a piece of information to the evolving map of scientific knowledge from the deliberately chosen, fixed vantage point. You might choose some specific psychological, sociological, anthropological or philosophical stance because you want to know what that stance will tell you about the topic. Having done so from the lighthouse, you would shed a valuable new perspective on a topic, though perhaps not at the same level of detail as if you had surveyed it from a boat.
혹은 비행기를 타고 전체 풍경을 둘러볼 수 있다. 이로서, 탐구자들이 이전에 보트 및 등대를 사용하여 기울였던 노력을 어느 정도 적합한 전체로 통합할 수 있습니다. 연구자로서 비행기의 관점은 잘못된 표현이나 추가 탐사가 필요한 지역을 식별하는 데 도움이 될 수 있지만, 등대나 보트처럼 세부적으로 주제를 조사할 수는 없습니다. 지금까지의 지도 상태에 대한 귀중한 통찰력을 제공하고 향후 연구 의제를 추진하는 데 도움이 되는 새로운 통찰력을 제공할 수 있습니다.
A plane allows you to overview the entire landscape and, for example, pull together the previous efforts of surveyors in boats and lighthouses into a more or less fitting whole. As a researcher, the plane perspective could help you identify misrepresentations or areas that need further exploration, though it would not allow you to examine topics in the same detail as either a lighthouse or a boat. It could give you valuable insights into the state of the maps so far and provide new insights that help drive future research agendas.
의학 교육 연구에서 이론의 다양한 이용 방법에 첨부된 은유와 약점을 밝혀낼 수 있습니다. 예를 들어, 보트는, 탐색 범위를 제한하는 한계가 있다. 보트는 잘 정의된 영역에서 한 번에 하나의 질문에 집중할 때 가장 효과적입니다. 여러 연구자들이 서로 다르지만 관련 질문에 답하려고 노력한 결과는, [잘 정의된 영역과 사각지대와 상반된 조사 결과]가 뒤섞여서, 해당 분야에 대한 [짜깁기 지도patchy map]로 이어질 수 있다. 등대의 관점은 다양한 지역을 관찰하고 그 특이점을 연구하는데 활용될 수 있다.
By applying the metaphors, strengths and weaknesses attached to different ways of using theory in medical education research can be uncovered. Being in a boat limits, for example, the scope of the quest; it works best when focusing on one question at a time in a well-defined area. The result of many researchers trying to answer different but related questions is a patchy map of the field of interest, with areas that are well defined, blind spots, and conflicting findings. The lighthouse perspective can be used to look at different areas and study their peculiarities.
이전에 보트로 연구했던 지역들을 재조명할 수 있고, 이는 가치 있는 깨달음으로 이어질 수 있다. 하지만 등대에서 세계를 연구하려면 유연성의 희생이 따른다. [등대]는 보트처럼 연구주제를 중심으로 움직일 수 없기 때문에, [선택한 시각]이라는 빛이 도달하지 않는 지역은 탐사가 불가능하다. 따라서 등대 연구진이 관점을 철저히 설명하고, 다른 관점(또는 빛)을 사용했다면, 다른 연구 결과를 이끌어 냈을 수도 있음을 인정하는 것이 필수적이다.
Areas that were previously researched by boat can be re-examined and this can lead to valuable enlightenment. However, researching the world from a lighthouse comes at the expense of flexibility. Areas on which the chosen perspective does not shed light cannot be explored because the lighthouse cannot move around a research topic like a boat can. It is thus essential that lighthouse researchers describe the perspective thoroughly and acknowledge that using a different perspective (or light) might have been brought forward different findings.
[비행기 접근법]은 다른 사람의 작업을 일반화 및 구축하거나 비평함으로써 연구 커뮤니티에 중요한 자원을 제공합니다. 그러나 관심 영역으로부터의 거리를 두었기 때문에 세부 정보를 잃게 됩니다. 반면에 비행기를 타면서 얻게 되는 감시는 지금까지의 지도 상태에 대한 [중요한 윤곽]을 이끌어낼 수 있고, 심지어 미래의 연구 의제를 주도하는 새로운 통찰을 낳을 수도 있다.
The plane approach provides an important resource to the research community by generalising and building on or critiquing different people’s work. However, the distance from the area of interest results in loss of detail. On the other hand, the oversight one gets from being in a plane can lead to valuable outlines of the state of the map so far and even result in new insights that drive future research agendas.
이 연구가 추가하는 내용
What this study adds
그렇다면, 어떻게 이론이 만들어지는지에 대한 세 가지 관점이 이론에 대한 우리의 이해를 어떻게 알려줄까요? 이론은 경험적 연구의 자동화된 결과가 아니며, 연구자 쪽에서 선택하는 것이다 [26]. 이론을 (연구 아이디어를 창출하고 경험적 연구의 결과를 예측하는 도구로 기능하는) 생물 의학 연구에 적용되는 실증주의 패러다임에서 이론의 사용과 달리, 본 연구에서 우리가 가지고 있는 실증적 연구에서는 세 가지 접근법에 의해 이론의 사용을 예로 들었다.
So, how do the three perspectives of how theory is made explicit inform our understanding of theory? Theory is not an automated result of empirical research but emerges from a choice on the part of the researcher [26]. In contrast to theory use in the positivist paradigm applied in biomedical research, where the function of theory is as a tool in generating research ideas and predict outcomes in empirical studies we have in this study exemplified the use of theory in medical education by the three approaches.
이론에 어떻게 접근했는지를 분석함으로써 우리는 접근법의 변화를 볼 수 있었다.
- 첫째, 포함된 연구들은 미시 수준micro-level 이론에서 중간 범위 이론에 접근했다는 것을 알 수 있었습니다 [10].
- 두 번째로 우리는 각 논문에서 어떤 현상을 더 잘 이해하기 위해 이론을 어느 정도로 쓰는지에 차이가 있음을 보았다. 한 쪽 끝에는 [(이론으로부터) 연구 질문, 방법론 및 해석을 생성]하는 것이 있다면, 다른 쪽 끝에는 [(자료 분석의 귀납적 과정의 결과로) 이론에 기여]하는 연구가 있었다.
By analysing how theory was approached in the articles we could see a variation in approaches.
- Firstly, we could see that the included articles approached theory ranging from micro-level theory to mid-range theory [10].
- Secondly we saw a difference in the degree to which the articles worked with theory to better understand a phenomenon, i.e. generated research questions, methodology and interpretation at one end, or contributed to theory as a result of an inductive process of data analysis, at the other.
여러 논문이 실제적인 문제에 근거하고 있었기 때문에, 이 특정한 질문에 대한 해답을 특별히 목표로 했으며, 의도적으로 중거리 이론에도 기여하지 않았다. 여기서, 종종, 이론은 이전의 연구에서 나온 발견으로만 여겨졌습니다. 그러나 이론과 관련하여 연구문제를 틀에 넣은 사례도 있는데, 연구문제가 특정 이론에 근거한 것이며, 논문은 그 이론과 관련된 논쟁의 예이며, 따라서 이론토론에 대한 기여도 있다.
As several of the papers were based on a practical problem, the paper specifically aimed to answer this specific question, and did not intentionally also contribute to mid-range theory. Here, often, theory was only viewed as findings from previous research. However, there were also examples where the research question was framed in relation to theory, where the research question was based on particular theories, and the paper is an example of an argumentation in relation to that theory, and as such is a contribution to a theoretical discussion.
마지막으로 논문에서 이론이 도입된 방식에는 차이가 있었다. 이것은 [매우 미묘하거나 암묵적인 이론적 입장]을 도입한 것부터, [이론적 관점에 대한 매우 명확하고 개념적인 설명]에 이르기까지 다양했습니다. 배경[8]에 언급된 이론의 정의로 돌아가자면, 이론을 명시적으로 드러내지 않으면 덜 도움이 됩니다. 일부 저자들이 취한 이론적인 입장의 관점에서 행간을 읽는 것은 가능했지만, 이론을 명백하게 밝힌 논문들은 (어떤 것의 증거를 발견했다고 주장하기 보다는) 특정한 렌즈로 과학적인 대화에 참여하고 있다는 것이 분명해졌다.
Finally there was a difference in the way in which theory was introduced in a paper. This ranged from very subtle or implicit introduction of theoretical stance, to very clear and conceptual explanations of the theoretical perspective. If we go back to the definition of theory referred to in the background [8] it is less helpful when theory is not made explicit. Although it was possible to read between the lines in terms of the theoretical stance taken by some authors of the publications, it became clear that papers where theory was made explicit were participating in a scientific dialogue with a specific lens, rather than claiming to having found proof of something, in a technical sense.
서로 다른 분야나 과학 전통에 있어서 서로 다른 접근법이 필요하고 다른 수준으로 작용하고 있습니다. 의학 교육에 적용해보자면, 비록 사회 과학이기는 하지만, [객관적인 진리를 정립하려는 목표]가 오랫동안 연구를 지배해 온 것으로 보이는데, 이는 여기서 예로 든 (후기) 실증주의 전통의 관점에서 이뤄진 연구로부터 확인할 수 있다. 그러나, 이 연구에 포함된 여러 논문들은 이러한 견해에 이의를 제기하였고, 해석적hermeneutic 지식과 해방적 지식 모두를 포함한 논문들도 포함되었다.
Different approaches are necessary and in play to different degree in different disciplines or scientific tradtions. Adapted to medical education, it seems that although to a large degree being a social science, the aim for establishing objective truths has for a long time dominated the research, something that is also part of our findings as exemplified by studies written in a (post) positivist tradition. However, several of the papers included in this study challenged this view and papers including both hermeneutic and emancipatory knowledge interests were also included.
의학교육연구 분야에 초보자 연구자를 대상으로 한 안내 논문은 이미 다수 존재한다. 그러한 논문 중 하나가 '연구 나침반'[30]인데, 여기서 독자들은 탐구, 실험, 관찰 및 번역 연구의 네 가지 범주를 통해 안내된다. 핵심은, 연구는 [일반화된 지식]으로 이어지고, [실질적으로 관련이 있는 연구 가능한 문제]에 관한 것이어야 한다는 것이다.
간단한 질문을 하고 간단한 방법을 사용함으로써, [면밀한 탐구로서의 이론] 및 [구체적인 관점으로서의 이론] 접근은 교수와 학습의 발전에 대한 학문적 접근(scholarship of teaching and learning)을 제공한다는 점에서 모두 중요한 역할을 한다. 한편 [개괄overview로서의 이론]을 사용될 때에는 더 높은 수준에서 이론의 발전을 위한 기초를 제공합니다.
A number of guiding articles to researchers who are new to the field of medical education research already exist. One such article is ’The research compass’ [30], in which readers are guided through four categories of research approach; explorative, experimental, observational and translational studies. A main point made in that paper is that research should be about researchable problems that lead to generalisable knowledge and are practically relevant. By asking simple questions and use simple methods, the approaches theory as close-up exploration and theory as specific perspective play a crucial role both in terms of providing a scholarly approach to the development of teaching and learning (scholarship of teaching and learning), and in providing the basis for the development of theory at higher level as when theory is used as overview.
마지막으로, Thomas [26]는 교육적 탐구에서 더 많은 'bricolage'가 필요하다고 주장하며, 연구 분야를 탐구하는 데 있어 다양한 이론적 접근 방식을 사용할 수 있는 여지를 제공합니다. 이러한 다양한 관점의 필요성은 최근 의학교육의 증가 [27]로 언급되었으며, 의학교육에서 이론을 특정 관점으로 하는 연구가 증가하고 있다는 우리의 견해와 일치한다.
Finally, Thomas [26] argues for the need for more ’bricolage’ in educational enquiry, giving room for multiple theoretical approaches in exploring the field of research. This need for multiple perspectives was recently commented as increasing in medical education [27] and it is in line with our view that research with theory as a specific perspective is increasing in medical education.
방법론적 고려
Methodological considerations
결론
Conclusion
의료교육 연구를 이론적 근거가 부족한 분야로 지속적으로 비판하는 것은 명분이 낮아질 수밖에 없다. 복수의 학문적, 패러다임적 배경을 가진 연구자들이 진행하는 연구가 특징인 만큼 의학 교육 연구의 이론 문제를 어떻게 다룰지에 대한 가정은 연구에 가져오는 관점에 따라 논쟁이 될 것으로 보인다. 최소한 이론의 사용은 분명히 해야 한다고 우리는 주장한다.
The continuous criticism of medical education research as a field that lacks theoretical basis is subject to decreased justification. As it is an area characterized by research carried out by researchers from multiple disciplinary and paradigmatic backgrounds the assumptions of how to treat the issue of theory in medical education research will probably be contentious depending on the perspective one brings to research. At a minumum, we argue, theory use needs to be made explicit.
BMC Med Educ. 2017 Jan 19;17(1):18.
doi: 10.1186/s12909-016-0848-1.
Making theory explicit - An analysis of how medical education research(ers) describe how they connect to theory
Klara Bolander Laksov 1 2, Tim Dornan 3 4, Pim W Teunissen 4 5
Affiliations collapse
Affiliations
- 1Department of Learning, Informatics, Management and Ethics (LIME), Karolinska Institutet, Stockholm, Sweden. Klara.bolander.laksov@edu.su.se.
- 2Department of Education, Centre for the Advancement of University Teaching, Stockholm University, Stockholm, Sweden. Klara.bolander.laksov@edu.su.se.
- 3Dentistry and Biomedical Sciences, School of Medicine, Queen's University Belfast, Belfast, UK.
- 4School of Health Professions Education (SHE), Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, NL, Netherlands.
- 5Department of Obstetrics & Gynecology, Gynaecologist at VU University Medical Center, Amsterdam, The Netherlands.
- PMID: 28103854
- PMCID: PMC5248446
- DOI: 10.1186/s12909-016-0848-1
Free PMC article
Abstract
Background: As medical education develops into a varied and well-developed field of research, the issue of quality research anchored in or generating theory has gained increasing importance. Medical education researchers have been criticized of not connecting their work to relevant theory. This paper set out to analyse how researchers can connect to theory in medical education. The goal of this paper is to provide an accessible framework for those entering medical education research, regarding how theory may become an integral part of one's work.
Methods: Fifteen purposefully selected researchers in medical education were asked to nominate papers they considered influential in medical education. Through this process 41 papers were identified and included in the study.
Results: The papers were analysed with thematic content analysis, which resulted in three approaches to the use of theory: as close-up exploration; as a specific perspective; and as an overview. The approaches are exemplified by quotes from the papers included in our dataset and further illuminated by a metaphoric story.
Conclusions: We conclude by pointing at the importance of making explicit how theory is used in medical education as a way to collaboratively take responsibility for the quality of medical education research.
'Articles (Medical Education) > 의학교육연구(Research)' 카테고리의 다른 글
통계학개론 (Adv Health Sci Educ Theory Pract. 2019) (0) | 2021.10.22 |
---|---|
모두에게 맞는 사이즈는 없다: 보건전문직교육 연구에서 개인-중심 분석(Perspect Med Educ, 2020) (0) | 2021.08.27 |
문헌고찰: 양질의 의학교육연구를 위한 초석(J Grad Med Educ. 2016) (0) | 2021.08.25 |
The Green Lumber Fallacy, Jingle-Jangle Fallacies (0) | 2021.05.13 |
일반화가능도 이론 간단히: G-studies를 위한 프라이머(J Grad Med Educ, 2019) (0) | 2021.05.06 |