기본간호학회지에 게재된 질적 연구의 분석(기본간호학회지, 2015)
박 형 숙1)․ 김 영 미2)
서 론
연구의 필요성
이에 ‘질적 연구 보고를 위한 통합적 평가기준(COnsolidated criteria for REporting Qualitative research [COREQ])[8]을 사용 하여 기본간호학회지에 게재된 질적 연구를 분석하고자 하는 데, COREQ는 제 1영역의 ‘연구팀과 반영(Research Team and reflexivity)’, 제 2영역의 ‘연구설계(Study design)’, 제 3영 ‘분석과 연구결과(Analysis and findings)’의 3개 영역과 역의 32개 문항으로 구성되어 있으며, 질적 연구를 구체적으로 분 석할 수 있다. 즉 ‘연구팀과 반영’은 연구자의 특성과 참여자 와의 관계를 밝혀 연구결과에 대한 신뢰성을 향상시키기 위 함이고, ‘연구설계’는 전반적인 연구방법과 연구환경, 자료수 집을 밝히며, ‘분석과 연구결과’는 결과와 해석의 투명성과 진 실성을 위한 점검이다. COREQ는 질적 연구 수행 시 권장되 는 평가기준이며[9], 질적 연구를 수행할 때 이 지침을 따르 도록 권하고 있다[10].
기본간호학회지에 게재된 질적 연구는 1996년에 3권 1호에 ‘근거 이론적 접근방법을 적용한 간호학생들의 임상실습 경 험’의 연구[7]가 처음으로 실린 이후, 2014년까지 총 24편으로 연 평균 1∼3편정도 게재되고 있지만 양적 연구에 비해 상대 적으로 논문의 편수가 매우 적다. 그러나 질적 연구 수행이 지속적으로 이루어지고 있다는 것은 양적 연구가 지닌 한계 를 극복하기 위한 질적 연구 활동의 고무적인 결과라고 여겨 진다. 더불어 양적 연구와 비교하여 상대적으로 적은 질적 연 구의 활성화와 질적인 수준 향상을 위한 기초를 마련하기 위 하여 창간 이후 20년 동안 기본간호학회지에 게재된 질적 연 구의 분석이 필요한 시점이라고 본다.
연구 목적
연구 방법
연구 설계
분석 틀
본 연구의 분석 틀은 Tong 등[8]이 개발한 질적 연구 평가 준거인 COREQ로써, 이 분석기준은 ‘연구팀과 반영’, ‘연구설 계’, ‘분석과 연구결과’의 3개의 영역, 32개의 항목으로 구성 되었다.
각 영역별 분석 내용은 다음과 같다.
‘연구팀과 반영’ 영역은
1. 면담자와 진행자,
2. 자격,
3. 직 업,
4. 성,
5. 경험과 훈련 등 연구자의 개인적인 특성과
6. 관 계수립,
7. 면담자에 대한 참여자 지식정도,
8. 면담자의 특성 등 연구 참여자와의 관계를 분석하였다.
‘연구설계’ 영역은
9. 방법론적 틀과 이론을 분석하고,
10. 표집,
11. 접근방법,
12. 표본크기,
13. 탈락자 등의 연구 참여 자 선정 부분과
14. 자료수집의 환경,
15. 불참자의 존재,
16. 표본의 기술 등의 연구환경 부분을 분석하였다. 그리고
17. 인터뷰 지침,
18. 반복적 인터뷰,
19. 청각 또는 시각적 기록,
20. 현장노트,
21. 기간,
22. 자료포화,
23. 전사물의 참여자 점검 등으로 자료수집 부분을 분석하였다.
마지막 ‘분석과 연구결과’ 영역은
24. 자료코딩 참여자 수,
25. 코딩체계의 서술,
26. 주제도출,
27. 소프트웨어,
28. 참여 자들의 피드백 등으로 자료를 분석하고,
29. 인용문 제공,
30. 자료와 결과의 일관성,
31. 주요주제의 명확성,
32. 부수적인 주제의 명확성 등으로 결과 보고부분을 분석하였다.
자료 수집과 방법
연구 결과
연구대상 연구의 일반적 특성
연구팀과 반영 영역
COREQ의 ‘연구팀과 반영’ 영역은 연구자의 특성과 연구 참여자와의 관계를 분석한 것으로 결과는 Table 2와 같다.
연구자의 특성을 분석하기 위한 것으로 문항 1은 “어떤 저 자(저자들)가 인터뷰나 포커스 그룹을 진행하였는가?”이다. 이 는 면담자 및 진행자에 대해 설명하는 것으로, 이에 본 분석 연구 24편 중 54.2%만이 제시되었다. 즉, 9편은 단독 연구자 이었고, 연구자 3인이 자료수집을 하였다고 기록한 연구 1편, 1차 면담은 주연구자와 공동연구자가 같이 인터뷰를 하였지 만 2차 면담은 주연구자 혼자서 인터뷰를 수행한 연구 1편이 었다. 또한 2편의 포커스 그룹 인터뷰는 진행자, 진행보조, 보 조 진행자를 두어 진행하였다고 자세하게 설명하고 있었다.
문항 2는 연구자의 자격(PhD, MD)을 분석하는 항목인데 모 두 제시되지 않았다. 문항 3은 연구자의 직업을 묻는 항목으 로써 분석 결과 대학교수, 대학원 석·박사 학생, 임상실무자 및 보건교사 등이었다. 문항 4는 연구자의 성별에 관한 내용 으로 모두 제시되지 않았다. 문항 5는 “연구자는 어떤 경험이 나 훈련을 받았는가?”이다.
질적 연구 수행의 경험, 면담경험 및 면담술 습 득훈련, 질적 연구 수업의 수강, 질적 연구 학회의 참석 등으 로 자세하게 설명되었다.
연구 참여자의 관계를 분석하기 위한 문항 6은 연구 전 참여자와의 관계수립에 관한 내용을 설명하는 항목으로 연구자가 근무한 병원에서의 라포 형성, 단전호흡 프로그램을 통해 상호 신뢰감과 친밀감 형성 및 연 구자가 매주 1회 건강관리 교육을 하고 있는 시설에서의 연 구진행 등이었다.
문항 7은 문항 6과 같 은 맥락이며, 21편은 연구자와 연구 참여자가 연구를 위해 관 계가 확립되었고, 3편은 연구 시작 전 이미 확립된 관계에서 연구를 수행하였다. 문항 8은 “면담자 혹은 진행자에 대해 어떤 특성이 보고되었는가?”이다. 이는 면담자가 갖고 있는 연구주제에 관한 편견이나 가정, 이유와 관심 등에 관한 것으로 연구대상 24편 중 41.7%에서 제시되었다.
Table 2. Domain 1: Research Team and Reflexivity
연구설계 영역
이론적 틀을 분석하기 위한 문항 9는 “연구를 받침하기 위 해 어떤 방법론적 방향으로 진술하였는가?”이다. 이는 방법론 적 틀과 이론을 분석하기 위함이다. 이에 본 연구대상 총 24편 중 41.7%는 현상학적 방법론에 기초를 두었고, 이 중 7편 은 Colaizzi에 따라 자료수집과 분석을 하였고, Van Kaam, Van Menen, Giorgi가 각각 1편이었다.
연구 참여자 선정에 관한 분석에서 문항 10은 연구 참여자 의 선정과 관련된 내용으로 목적적인 표출 54.2%, 편의적인 표출 33.3%, 그 외 이론적인 표출 2편, 의도적인 표출법 1편 이었다. 문항 11은 연구 참여자의 접근방법에 관한 내용으로 70.8%가 연구자 1:1 형식으로 접근하였고, 그 외는 학과 관계 자 도움, 사회사업가, 보호시설의 기관장 및 질환의 모임 또 는 동호회의 소개 등으로 명단을 받아 접근을 시도하였다. 문 항 12는 표본크기에 관한 내용으로 연구대상 24편의 연구는 최소 6명부터 최대 30명까지 다양하였다. 문항 13은 “연구 중 연구참여를 거절하거나 탈락한 연구 참여자가 있는가?, 그리 고 그에 대한 이유가 명시되어 있는가?”이며, 총 24편 중 1편 (4.2%)만 부정적인 태도로 지속적인 면담이 어려운 자, 연구 참여자의 나이와 손상 기간이 연구 선정기준에서 벗어나 3명 이 탈락되었다고 자세하게 기록되어 있었다.
마지막으로 자료수집에 관한 문항 17은 인터뷰 지침에 관 한 내용으로, ‘연구자가 제공하는 질문, 지시(prompts), 지침이 있는가?, 예비조사를 하였는가?’이다. 이에 70.8%가 제시되었 다. 즉 반구조화된 질문으로 구성된 연구 15편, 포커스 그룹 인터뷰의 연구방법의 절차와 질문의 원칙에 따른 시작질문, 도입질문, 전환질문, 주요질문 및 마무리 질문이 자세하게 기 술된 연구 2편, 비구조화된 질문으로 심층면담을 진행한 연구 가 7편이었다.
문항 18은 반복적인 인터뷰에 관한 것으로 본 연구대상 24편 중 단 1회만 실시한 연구 25.0%를 제외하고 그 외는 2회 이상의 반복적인 인터뷰를 실시하였다. 그리고 면담자료가 부족한 경우, 전화면담이나 이메일로 추가면담을 실시하였다고 설명하였다. 특히 포커스 그룹 인터뷰는 각각 2 그룹, 3그룹으로 나눠 인터뷰를 진행하였고, 2회, 3회가 진행 되었다. 문항 19은 자료 수집 시 녹음/녹화의 기록에 관한 것 으로 20.8%는 녹음과 녹화에 대해 전혀 서술되지 않았고, 4.2%는 녹음과 녹화, 70.5%는 녹음 후 필사하였다고 서술되 었다. 문항 20은 현장노트에 관한 내용으로 41.7%가 현장노 트를 언급하였다. 문항 21은 연구기간에 대한 것으로 이에 대 한 설명이 전혀 없는 연구는 4.2%이었고, 그 외는 최소 30분 에서 최대 5시간으로 매우 다양하였다. 그리고 자료수집 기간은 최소 10일부터 길게는 10개월까지였다. 문항 22는 자료의 포화와 관련된 문항으로 전혀 설명되지 않은 연구가 41.7%이 었다. 반면 58.3%는 자료포화에 대한 기술이 다양하게 서술되 어있었다. 즉 ‘더 이상 새로운 개념, 범주, 차이점 및 새로운 사실 등이 나오지 않는 포화상태가 될 때까지 진행’, ‘면담 진행 또는 면담 내용에 대한 개방부호화 작업 시 이론적 포 화상태에 이를 때까지 진행’, ‘자료수집과 분석이 순환적으로 이루어지는 동안 포화가 형성되도록 표본추출을 실시’, ‘자료 의 포화상태를 확인하기 위하여 두 단계의 면담을 진행’, ‘유 사한 내용이 반복되어 나옴으로써 자료의 포화가 이루어짐’ 등으로 제시되어 있었다. 문항 23은 “의견 및 수정을 위해 전 사물을 연구 참여자에게 점검받았는가?”이다. 이는 전사물 점 검에 대한 질문으로 연구 참여자의 ‘확인’, ‘반복 확인’, ‘재확 인’ 등으로 기술된 연구가 12.5%이었다.
분석과 연구결과 영역
자료분석을 분석하기 위한 문항 24는 자료코딩 참여자 수 를 알아보기 위함이고, 이에 본 분석연구 총 24편 중 50.0% 는 서술되지 않았고, 그 외 50%는 연구자와 간호학 교수, 대 학원생 및 전문가 등과 함께 분석하였다고 다양하게 기술되 었다. 문항 25는 ‘연구자는 코딩트리(tree)의 설명을 제공하였 는가?’이며, 이에 24편의 모든 연구는 각 방법론의 자료분석 방법에 따라 상세히 설명되어 있었다. 문항 26은 주제 도출에 관한 문항으로, 모든 연구는 수집된 자료에 의해 주제가 도출 되었다. 문항 27은 자료분석을 위한 사용된 소프트웨어에 관 한 문항으로 25.0%가 컴퓨터 사용을 언급하였다. 즉, 자료처 리를 위해 ‘NVivo 7 프로그램을 사용하여 연구 목적에 부합 하는 단어, 문장, 단락 등을 분석단위로 뽑아냈다.’라고 서술 한 논문이 1편이었고, 5편은 컴퓨터에 ‘입력’, ‘보관’, ‘저장’ 등으로 서술되어 있었다. 문항 28은 ‘연구 참여자들에게 결과 에 대한 피드백을 제공하였는가?’이다. 이는 연구 참여자 확 인에 관한 문항으로 45.8%가 연구 참여자와의 피드백이 이루 어졌다
연구결과 보고를 분석하기 위한 문항 29는 ‘주제와 결과를 설명하기 위한 연구 참여자들의 인용문이 있는가? 각각의 인 용문이 확인(예; 연구 참여자 번호)되는가?’이다. 이는 인용문 제시에 관한 문항으로, 24편의 연구대상 중 인용문이 제시된 논문은 87.5%이었고, 이 중 6편은 인용문에 대한 연구 참여 자를 알 수 있게 기술되어 있었다. 문항 30은 자료와 결과의 일관성을 분석하기 위한 문항으로 질문은 ‘제시된 자료와 연 구결과가 일치하는가?’이며, 87.5%가 일치하는 것으로 나타났 다. 문항 31은 주요 주제의 명확성을 보는 내용으로 질문은 ‘결과가 주요주제를 명확하게 제시하는가?’이다. 이에 24편의 연구 중 83.3%는 자료로부터 주제와 주제별 범주화 혹은 경 험의 과정을 표와 그림으로 제시하거나 각각의 범주와 패러 다임을 표로 제시하였다. 그 외는 연구의 주요 주제가 하위범 주를 포괄하기에 다소 부족하거나 일치하지 않는 부분이 있 었다. 문항 32은 부수적인 주제(minor themes)의 명확성을 보 는 내용으로 질문은 “다양한 사례 혹은 부수적인 주제의 논 의에 대한 설명이 있는가?”이며, 본 연구대상 24편 모두 찾아 볼 수 없었다.
Table 3. Domain 2: Study Design
Table 4. Domain 3: Analysis and Findings
논 의
지난 1994년 창간호부터 2014년까지 20년간 기본간호학회 지에 게재된 질적 연구를 분석한 결과 가장 두드러지는 특징 은 두 가지로 요약할 수 있었다. 첫째, 질적 연구가 끊임없이 이어져 오고 있는 가운데 질적 연구의 양적증가와 연구방법 론이 다양해지고 있다는 것이다. 즉, 90년대까지는 현상학적 접근 방법론, 근거이론 및 내용분석으로 요약할 수 있었으나, 2000년대부터는 현상학적 접근 방법론 중에서도 자료수집과 분석 시 Colaizzi, Van Kaam, Van Menen 및 Giorgi 등의 방 법이 다양하게 이용되었다. 뿐만 아니라 현상학적 접근 방법 론, 포커스 그룹면담, 어의분석법, 혼종모형의 개념분석법, 주 제 분석법 등 다양한 연구전략들을 사용한 연구결과물이 발 표되었으며, 이는 질적 연구의 질을 높이기 위한 노력임을 알 수 있었다.
둘째, 또 다른 특징은 2000년대 이후 질적 연구의 신뢰도와 타당도를 확보하기 위한 노력이 이루어졌음을 알 수 있었다. 즉 신뢰도를 높이기 위해 연구 방법론을 이해하고 질적 연구 경험이 풍부한 간호학 교수와 연구자의 의견과 합의를 통해 분석하고, 녹음된 자료를 필사하여 연구 참여자에게 결과를 확인시켜주었다. 그리고 타당도를 높이기 위해 자료의 계속적 거쳤고, Meadows와 Morse[15], 인 비교와 질문의 과정을 Morse, Hutchinson과 Penrod[16], Sandelowski[17] 등의 전략을 적용하여, 진실성을 확보하기 위해 Guba와 Lincoln[18]의 과정 을 사용하였다.
연구결과에 대한 신뢰성을 향상시키기 위해 연구자의 특성을 분석한다[8]. 본 분석연구 총 24편에서 면담 자에 대한 설명이 공동연구인 경우, 누가 면담을 하였는지 정 확하게 기술되지 않았고, 15편의 연구는 연구자의 훈련과 교 육 경험에 관한 설명 또한 없었다. 특히 질적 연구의 도구는 연구자 자신인 만큼 연구자의 철저한 준비가 가장 중요하므 로 질적 연구의 질과 신뢰성을 향상시키기 위한 연구자의 방 법론 훈련, 인터뷰 기술에 대한 노력이 필요하다고 본다.
연구 참여자의 관계는 연구자와 연구 참여자의 관계를 정 확하게 서술하기 위한 상호작용 정도로, 연구 참여자와의 사 전관계와 상호작용 정도가 영향을 줄 수 있으므로, 연구자 자 신의 연구능력을 점검해 보는 것이다[8]. 총 24편 중, 연구를 수행하기 전에 연구자와 연구 참여자가 서로 알고 있는 경우 가 3편으로 이 경우 면담 시 신뢰성, 솔직성 및 객관성에 영 향을 주었을 것이라고 생각한다. 그리고 Tong 등이 지적한바 연구자의 선입견은 연구 참여자와 면담을 할 때 연구 현상을 이해함에 있어 큰 영향을 주는데[8], 본 연구의 분석대상 10 편의 연구만 연구자의 ‘편견’, ‘선입견’, ‘주관성 배제’라는 용 어를 사용하였다. 연구자의 편견과 선입견 등에 대해 보고하 는 것이 일반적이지는 않지만, 근거이론 방법이나 현상학적 방법론 등의 방법으로 질적 연구를 수행할 때 연구자의 입장 을 분명히 밝히는 것이 연구결과 해석의 타당성을 확보할 수 있는 방법이므로[5] 향후 질적 연구 수행 시 이 부분을 더욱 명확하게 기술하는 것이 바람직하다고 본다.
연구를 뒷받침하기 위한 ‘방법론적 틀’은 현상학이 가장 많 았고, 근거이론, 내용분석, 포커스 그룹 면담, 그 외 어의분석 법, 혼종모형의 개념분석법, 주제 분석법 등 다양한 연구가 이루어졌지만 문화기술지는 단 1편도 없었다. 문화기술지 연 구 자체가 문화와 문화 공유집단의 맥락 안에서 같은 문화를 공유하고, 집단의 생활방식을 연구하기 위해 현장에서 오랜 시간을 연구자와 참여자가 함께 보내며, 관찰과 면접 등의 다 각적인 자료를 수집하는 특성을 가진 연구방법이므로[19] 실 제 문화기술지 기법으로 연구를 수행하는 어려움이 뒤따랐을 것이라고 여겨진다.
연구 참여자의 선정에서 가장 많이 사용한 표출방법은 목 적적인 표출방법이었다. 그러나 구체적인 표출방법에 대해 설 명이 이루어지지 않은 연구가 대부분이었다. 질적 연구의 의도는 정보를 일반화하는 것이 아니라, 특정적이고 구체적인 사실을 명료하게 드러내는 것이므로 누구 혹은 무엇을 표본 으로 추출 할 것인가에 대한 결정에 대해 고려되어야 한다 [20]. 그리고 연구에 적합한 연구 참여자와의 면담내용은 분 석에 있어 결정적인 역할을 하므로 선정 목적이나 기준이 중 요하게 취급되고 기술되어야 한다[21]. 그러므로 연구자는 자 신의 연구방법에 적합한 표본추출 방법에 대해 탐색하여 자 세하게 기술하기 위한 노력을 해야 한다.
연구환경에 따른 연구 참여자의 반응은 연구결과에 영향을 준다[8]. 그리고 면담 시, 면담자와 연구 참여자 외 제 3자가 있는 경우 연구 참여자는 솔직하게 이야기하기를 꺼려 할 수 있다. 본 연구대상 24편 중 1편을 제외하고, 면담장소에 대해 모두 기술되었고, 연구장소는 연구 참여자가 편하게 생각하여 인터뷰가 원활한 장소를 선택하여 1:1 심층면담과 포커스 그 룹 면담이 이루어졌다. 면담장소가 병실, 인공 신장 실, 관내 보건소, 카페 등인 경우 다른 환자, 보호자, 간호사, 의사 및 일반인 등의 제 3자가 있을 수 있으므로 연구자는 연구 참여자로 하여금 편안한 분위기에서 자신의 경험을 말 할 수 있는 면담장소를 찾는 노력이 필요하다고 본다.
자료수집 시 사용되는 질문과 지시는 독자의 이해를 향상 시키고, 연구 참여자들이 자신의 이야기를 전달할 수 있게 격 려되었는지 평가하기 위해 제공된다[8]. 근거이론 방법론은 실 개발하고, 현상학은 개인의 경험에 초점을 맞추며, 체이론을 문화기술지는 특정 문화 요소의 특성을 이해하는 관점을 기 초로 하여 연구가 진행되기 때문에 연구방법에 따른 연구질 문의 선택은 신중해야 한다[23]. 본 연구의 포커스 그룹 면담 은 연구방법의 절차에 따라 질문의 원칙을 자세하게 설명되 었지만, 근거이론 방법론, 현상학적 방법론, 내용분석, 어의분 석, 혼종모형의 개념분석 및 주제 분석법을 이용한 횡단적 질 적 연구 등은 반구조적 질문 혹은 비구조적 질문으로만 기술 되었을 뿐 연구질문의 초점에 대한 기술은 찾아볼 수 없었다. 그러므로 연구방법에 따른 연구질문에 대한 신중하고 명확한 기술에 대한 보완이 필요하다고 본다.
자료분석을 위한 자료코딩에 다수가 참여하는 것은 현상을 넓고 보다 더 다양하게 이해하도록 해준다[8]. 그러나 본 연 구의 분석연구 중 9편만이 다른 전문가의 도움을 받거나 자 문을 구하였다고 기술되었다. 이에 질적 연구 수행 시 자료코 딩 과정을 좀 더 자세하게 기술하고, 다수의 전문가의 도움을 받거나 자문을 구하되, 특히 단독 연구자일 경우 더욱 자세한 코팅과정과 분석과정을 기술하여 이론에 사용된 개념, 개인의
경험, 특정 문화의 특성을 이해할 수 있도록 노력해야할 것이 다. 코딩과정에서 소프트웨어를 사용한 연구는 1편뿐이었고, 이 연구는 일차분석에서 ‘NVivo 7 프로그램’을 사용하였다. 이처럼 질적 연구에서 자료분석 시 컴퓨터 프로그램을 활용 하는 것은 아직 제한적임을 알 수 있었다. 즉, 수집된 자료를 상징화하고 개념화하기 위해서는 아직 연구자의 판단에 의지 하고 있음을 말해준다. 그러나 컴퓨터 프로그램은 질적 연구 의 500페이지 이상의 데이터베이스일 때 효과적이므로, 방대 한 면담자료를 저장하고 조직화하기 위해[22] 점차 활용이 증 가될 것으로 생각된다.
한편, 연구결과를 연구 참여자들에게 검토 받는 것은 매우 중요하다. 연구자는 결과와 해석에 대한 참여자의 견해를 요청해야 하고, 연구 참여자들에게 되돌아가 놓친 자료를 구 하고 분석하며, 해석하고 결론을 내림으로써 연구 참여자의 이야기에 대한 정확성과 신빙성을 판단할 수 있다[20]. 그러 므로 연구의 적용성과 타당성을 위하여 연구자는 연구 결과 를 연구 참여자에게 검토 받는 과정의 노력이 더 강화되어야 할 것이다.
8. Tong A, Sainsbury P, Craig J. Consolidated criteria for reporting qualitative research (COREQ): A 32-item checklist for interviews and focus groups. International Journal for Quality in Health Care. 2007;19(6):349-357. http://dx.doi.org/ 10.1093/intqhc/mzm042
23. Fossey E, Harvey C, McDermott F, Davidson L. Understanding and evaluating qualitative research. Australian and New Zealand Journal of Psychiatry. 2002;36(6):717-732.
| 1. J Korean Acad Fundam Nurs. 2015 Nov;22(4):442-451. Korean. http://dx.doi.org/10.7739/jkafn.2015.22.4.442 |
Analysis of Qualitative Research Published by Journal of Korean Academy of Fundamentals of Nursing.
Park HS, Kim YM.
College of Nursing, Pusan National University, Korea. a13531@hanmail.net
Abstract
PURPOSE: The purpose of this study was to analyze reports of qualitative research published in Journal of Korean Academy of Fundamentals of Nursing (JKAFN). METHODS: Twenty four qualitative research studies using in-depth interviews and focus group interviews published in JKAFN from 1994 to 2014 were selected for analysis. Chosen reports were analyzed by consolidated criteria for reporting qualitative research (COREQ), which is a reporting guideline for qualitative research. COREQ consists of 32 items and 3 domains. RESULTS: In the 1st domain, the relationship of researchers and research participants, bias and understanding of the researchers on the study phenomenon were analyzed less than other items. In the 2nd domain, methodological research was carried out across various qualitative studies, but the description of the research environment and research questions for the interview guidelines was insufficient. In the 3rd domain, research results and data were consistent, but data showing opposing content and explanations of negative practices were not done at all. CONCLUSION: These results indicate a need for the development of evaluation tools for qualitative research and items should be added to improve the reliability and validity, research should be related to the ethics in the framework of the COREQ.