질적연구 또는 양적연구를 평가할 때 해야 할 질문들
Questlons to Ask When Evaluatlng a Report of a Quantitatlve or Qualltatlve Research Study
즉, 반대로 말하면, 논문을 작성할 때 아래와 같은 것을 고려해야 한다는 의미이기도 하다.
Introduction
1. 연구 문제, 방법, 관찰결과(findings)가 연구자가 소속된 기관, 신념, 가치, 이론적 지향을 적절하게 반영하고 있는가?
2. 연구자가 연구대상(교육 방법, 프로그램, 교육과정, 사람 등)에 대해서 긍정적 또는 부정적 편향을 드러내고 있는가?
3. 문헌고찰 부분이 충분히 포괄적인가? 해당 문제와 관련된 연구를 포함하고 있는가?
4. 가설, 질문, 목적이 명확하게 기술되었는가?
5. 연구자들이 연구 가설, 질문, 목적의 중요성에 대해서 설득력있게 제시하고 있는가?
6. (양적연구) 각 변수들이 명확히 정의되었는가?
7. (질적연구) 각 변수의 측정방법이 그 변수가 정의된 방식과 일치하는가?
1. Are the research problem, methods, and findings appropriate given the researchers’ institutional affiliation, beliefs, values, and theoretical orientation?
2. Do the researchers express a positive or negative bias in describing the subject of the study (e.g., an instructional method, program, curriculum, person)?
3. Is the literature review section of the report sufficiently comprehensive? Does it include studies that you know to be relevant to the problem?
4. Are hypotheses, questions, or objectives explicitly stated, and if so, are they clear?
5. Do the researchers make a convincing case that each research hypothesis, question, or objective was important to study?
6. (Quantitative) Is each variable in the study clearly defined?
7. (Qualitative) Is the measure of each variable consistent with how the variable was defined?
Research Procedures
8. (양적연구) 표집 과정은 표본의 대표성을 잘 나타내주는가?
9. (양적연구) 관찰된 현상의 이해를 높이기 위해서 세부그룹을 설정하였는가?
10. (질적연구) 표집 과정을 통해 연구자가 관심을 가지는 사례 또는 관심을 가지는 현상에 대해서 잘 보여줄 수 있는 사례가 선택되었는가?
11. (질적연구) 데이터 수집은 충분이 열심히 진행되었는가? (sufficient intensity)
12. 연구의 목적에 비추어 각 측정방법의 타당도는?
13. 연구의 목적에 비추어 각 측정방법의 신뢰도는?
14. 각 측정방법은 표본에 적합한가?
15. 연구 과정이 적절하고 명확하게 기술되어서 다른 사람이 재현할 수 있는가?
8. (Quantitative) Did the sampling procedures produce a sample that is representative of an identifiable population or of your local population?
9. (Quantitative) Did the researchers form subgroups that would increase understanding of the phenomena being studied?
10. (Qualitative) Did the sampling procedure result in a case or cases that were particularly interesting and from whom much could be learned about the phenomena of interest?
11. (Qualitative) Was there sufficient intensity of data collection?
12. Is each measure in the study sufficiently valid for its intended purpose?
13. Is each measure in the study sufficiently reliable for its intended purpose?
14. Is each measure appropriate for the sample?
15. Are the research procedures appropriate and clearly described so that others could replicate them if they wished?
Research Results
16. 적절한 통계적 기법이 사용되었는가? 만약 그렇다면 옳게 사용되었는가?
17. (질적연구) 면담 질문에 응한 개개인들이 어떻게 응답하였고 어떻게 행동하였는지가 생생히 묘사될 만큼 충분한가?
18. (질적연구) 연구자들은 연구 관찰결과(findings)의 타당성(soundness)을 검증하기 위해 데이터원과 데이터 수집 방법을 삼각측량(triangulate)하였는가?
19. (질적연구) 앞서 기술된 가설 또는 개념이 수집된 자료로부터 드러나는가(emerge)?
16. Were appropriate statistical techniques used, and were they used correctly?
17. (Qualitative) Did the report include a thick description that brought to life how the individuals responded to interview questions or how they behaved?
18. (Qualitative) Did the researchers triangulate their data sources and data-collection methods to test the soundness of their findings?
19. (Qualitative) Did clearly stated hypotheses or concepts emerge from the data that were collected?
Discusslon of Results
20. 수집된 자료를 분석한 결과가 연구를 통해서 연구자들이 내린 결론을 지지하는가?
21. 연구자들은 관찰결과에 대한 논리적 설명을 하고 있는가?
22. 연구자들은 관찰결과를 기존의 이론이나 이전 연구와 연결지어 설명하고 있는가?
23. 연구자들은 관찰결과의 일반화가능성을 적절히 보여주고 있는가?
24. 연구자들은 연구 결과에 영향을 줄 수도 있는 그들의 가치와 관점에 대해서 성찰(reflect on)하고, 그 영향을 최소화하고자 노력하였는가?
25. 연구자들은 관찰결과를 기반으로 하는, 또는 관찰결과에 의해서 제기된 질문에 대해 답하기 위한 추가적 연구를 제안하고 있는가?
26. 연구자들은 관찰결과로부터 현실(practice)에 대한 논리적 함의를 이끌어내었는가?
20. Do the results of the data analyses support what the researchers conclude are the findings of the study?
21. Do the researchers provide reasonable explanations of the findings?
22. Do the researchers relate their findings to relevant theory and previous research?
23. Do the researchers appropriately qualify the generalizability of their findings?
24. Do the researchers reflect on their values and perspectives and how these might have influenced
the study outcomes or steps that were taken to minimize their effect?
25. Do the researchers suggest further research to build on their findings or to answer questions that
were raised by their findings?
26. Do the researchers draw reasonable implications for practice from the findings?
Gall, Meredith D & Gall, Joyce P., (author.) & Borg, Walter R, (author.) (2007). Educational research : an introduction (Eighth Edition). Boston Pearson/Allyn & Bacon