리뷰어와 에디터를 위한 주제분석 문헌을 평가 가이드(Produced by Victoria Clarke and Virginia Braun (2019))

리뷰어와 에디터를 위한 주제분석 문헌을 평가 가이드(Produced by Victoria Clarke and Virginia Braun (2019))

Guidelines for reviewers and editors evaluating thematic analysis manuscripts

Produced by Victoria Clarke and Virginia Braun (2019)

200408 Thematic Analysis Reading List and Resources for Thematic Analysis April 2019 ## XXX.pdf

방법 및 방법론 평가

Evaluating the methods and methodology

1. TA의 사용은 설명되어 있는가(단순히라도)?

1. Is the use of TA explained (even if only briefly)?

2. 저자가 사용하고 있는 TA의 종류를 명확하게 명시하고 정당화하고 있는가?

2. Do the authors clearly specify and justify which type of TA they are using?

3. 특정 유형의 TA의 사용과 정당성이 연구 질문이나 목적과 일치하는가?

3. Is the use and justification of the specific type of TA consistent with the research questions or aims?

4. 연구의 이론적, 개념적 기초와 TA(개념적 일관성)의 특정 유형 사이에 '적합성'이 좋은가?

4. Is there a good ‘fit’ between the theoretical and conceptual underpinnings of the research and the specific type of TA (conceptual coherence)?

5. 데이터 수집 방법과 TA의 특정 유형 사이에 '적합성'이 좋은가?

5. Is there a good ‘fit’ between the methods of data collection and the specific type of TA?

6. 특정 유형의 TA가 논문 전체에 걸쳐 일관되게 수행enact되고 있는가?

6. Is the specified type of TA consistently enacted throughout the paper?

7. TA에 대해 잘못된 가정을 하고 있지는 않은가? 여기에는 일반적으로 다음이 포함된다.

7. Is there evidence of problematic assumptions about TA? These commonly include:

• TA를 단일의 균질한 실체로 취급하고, 한 세트의 절차에 대해 폭넓게 합의.

• Treating TA as one, homogenous, entity, with one set of – widely agreed on – procedures.

• 근거 이론의 개념 및 절차(예: 포화, 지속적인 비교 분석, 라인별 코딩)가 아무런 설명이나 정당성 없이도 TA에 적용된다고 가정한다.

• Assuming grounded theory concepts and procedures (e.g. saturation, constant comparative analysis, line-by-line coding) apply to TA without any explanation or justification.

• TA가 필수주의자 또는 현실주의자 또는 무신론자라고 가정한다.

• Assuming TA is essentialist or realist, or atheoretical.

• TA가 데이터 감소 또는 설명적 접근일 뿐이므로 다른 목적을 달성하기 위해 다른 방법과 절차로 보완해야 한다고 가정한다.

• Assuming TA is only a data reduction or descriptive approach and thus has to be supplemented with other methods and procedures to achieve other ends.

8. 어떤 보충 절차나 방법이 정당하고 필요한가 아니면 단순히 TA를 더 효과적으로 사용함으로써 동일한 결과를 달성할 수 있었는가?

8. Are any supplementary procedures or methods justified and necessary or could the same results have been achieved simply by using TA more effectively?

9. TA를 귀납적으로 사용할 때조차도, TA의 이용에 대한 이론적 기초가 명확히 규정되어 있는가(예: 온톨로지, 인식론적 가정, 이론적 프레임워크의 안내)? (귀납적 TA는 이론적 진공에서 분석과 동일하지 않음)

9. Are the theoretical underpinnings of the use of TA clearly specified (e.g. ontological, epistemological assumptions, guiding theoretical framework(s)), even when using TA inductively (inductive TA does not equate to analysis in a theoretical vacuum)?

10. 연구자들은 (아주 잠깐이라도) '자신의 관점을 이해하려고' 노력하고 있는가?; 그들의 개인적, 사회적 관점과 위치. (연구자가 사회정의 중심의 연구에 종사하고, 한계 및 취약계층의 '목소리'와 연구자가 소속되지 않은 집단의 '목소리'를 대변할 때 특히 중요하다.)

10. Do the researchers strive to ‘own their perspectives’ (even if only very briefly); their personal and social standpoint and positioning? (This is especially important when the researchers are engaged in social justice-oriented research and when representing the ‘voices’ of marginal and vulnerable groups, and groups to which the researcher does not belong.)

11. 분석절차가 명확히 설명되어 있는가?

11. Are the analytic procedures used clearly outlined?

12. 개념적, 절차적 혼동의 증거가 있는가? 예를 들어 반사적 TA(Braun & Clarke, 2006)를 수행했다고 말하면서 그와 맞지 않는 절차를 기술하고 있지는 않은지? 

• 코드북 또는 코딩 프레임의 사용, 

• 다중 독립 코더 및 컨센서스 코딩 

• 평가자 간 신뢰성 측정 

• 주제가 출력이 아닌 분석 입력으로 개념화되며, 따라서 분석이 (코딩에서 주제 개발이 아니라)주제 식별에서 코딩으로 진행되진 않았는지

12. Is there evidence of conceptual and procedural confusion? For example, reflexive TA (Braun & Clarke, 2006) is the claimed approach but different procedures are outlined such as 

• the use of a codebook or coding frame, 

• multiple independent coders and consensus coding, 

• inter-rater reliability measures, and/or 

• themes are conceptualised as analytic inputs rather than outputs and therefore the analysis progresses from theme identification to coding (rather than coding to theme development).

13. 저자들이 TA에 대한 자신들이 주장하는 접근방식을 충분히 이해했는가?

13. Have the authors fully understood their claimed approach to TA?

 

분석 평가

Evaluating the analysis

14. 주제가 무엇이고 어디에 있는지 분명하니? 원고는 주제 목록, 서술 개요, 주제 표, 주제 지도와 같은 분석의 어떤 종류의 개요로부터 이익을 얻을 수 있을까?

14. Is it clear what and where the themes are in the report? Would the manuscript benefit from some kind of overview of the analysis: listing of themes, narrative overview, table of themes, thematic map?

15. 테마는 완전히 실현된 테마가 아니라 도메인 요약으로 보고되는가?

15. Are themes reported domain summaries rather than fully realised themes?

•     데이터 수집 질문이 테마로 사용되었는가?

• Have the data collection questions been used as themes?

• 도메인 요약이 연구의 목적에 적합한가? (만약 그렇다면, 저자들이 반사적인 TA를 사용하고 있다면, 이 수정은 설명되고 정당화되는 주제 개념화에 있는가?)

• Are domain summaries appropriate to the purpose of the research? (If so, if the authors are using reflexive TA, is this modification in the conceptualisation of themes explained and justified?)

• 원고는 추가 분석을 수행하고 완전히 실현된 주제를 보고함으로써 이익을 얻을 수 있는가?

• Would the manuscript benefit from further analysis being undertaken and the reporting of fully realised themes?

• 또는 저자가 반사적 TA를 사용한다고 주장하는 경우, 다른 유형의 TA(예: 코딩 신뢰성 또는 코드북)를 사용한다고 주장하는 원고가 이득이 되는가?

• Or, if the authors are claiming to use reflexive TA, would the manuscript benefit from claiming to use a different type of TA (e.g. coding reliability or codebook)?

16. 비-주제적 맥락 정보가 주제로서 제시되는가? (예: 첫 번째 테마는 상황별 정보를 제공하는 도메인 요약이지만, 보고된 나머지 테마는 완전히 실현된 테마를 말한다) 이 테마가 아닌 상황별 정보로 제시됨으로써 원고가 이익을 얻을 수 있을까?

16. Is a non-thematic contextualising information presented as a theme? (e.g. the first theme is a domain summary providing contextualising information, but the rest of the themes reported are fully realised themes) Would the manuscript benefit from this being presented as non-thematic contextualising information?

17. 응용연구라면, 보고된 주제는 실행 가능한 결과를 초래하는가?

17. In applied research, do the reported themes give rise to actionable outcomes?

18. 논문에 개념적 충돌과 혼란이 있는가? (예: 코딩 신뢰성에 대한 실증주의적 개념에 대한 우려를 표명하는 동시에 사회 건설론자 접근법을 주장하거나, 참가자의 언어를 경험과 행동에 대한 투명한 반영으로 다루면서 건설론자 접근법을 주장함)

18. Are there conceptual clashes and confusion in the paper? (e.g. claiming a social constructionist approach while also expressing concern for positivist notions of coding reliability, or claiming a constructionist approach while treating participants’ language as a transparent reflection of their experiences and behaviours)

19. 약하거나 납득할 수 없는 분석의 증거가 있는가?

19. Is there evidence of weak or unconvincing analysis?

• 너무 많은 또는 너무 적은 테마?

• Too many or two few themes?

• 테마 레벨이 너무 많으십니까?

• Too many theme levels?

• 코드와 테마 간의 혼동?

• Confusion between codes and themes?

• 데이터 추출물과 분석 주장 간의 불일치?

• Mismatch between data extracts and analytic claims?

• 너무 적은 데이터 추출물 또는 너무 많은 데이터 추출물?

• Too few or too many data extracts?

• 테마 간의 중복?

• Overlap between themes?

20. 저자는 자기 결과의 일반성이 결여된 것에 대해 문제 있는 진술을 하고, 일반성을 통계적 일반성으로 암묵적으로 개념화하고 있는가?

20. Do authors make problematic statements about the lack of generalisability of their results, and implicitly conceptualise generalisability as statistical-generalisability?