고위직을 위한 상황면접질문과 행동묘사면접질문 비교(PERSONNEL PSYCHOLOGY, 2001)

고위직을 위한 상황면접질문과 행동묘사면접질문 비교(PERSONNEL PSYCHOLOGY, 2001)

COMPARISON OF SITUATIONAL AND BEHAVIOR DESCRIPTION INTERVIEW QUESTIONS FOR HIGHER-LEVEL POSITIONS

ALLEN I. HUFFCUlT Department of Psychology Bradley University
JEFF A. WEEKLEY Kenexa

WILL1 H. WIESNER, TIMOTHY G. DEGROOT Department of Psychology McMaster University
CASEY JONES Kenexa

 

 

 

 

 

Pulakos and Schmitt 는 고위직에 있어 SI가 BDI보다 덜 효과적이라는 가설을 내세웠다. 그들의 가설을 평가하기 위해서 우리는 2개의 새로운 구조화된 면접 연구를 수행하였다. 두 연구는 모두 고위직 선발에 대한 것이었고, 동일한 직무특성 평가를 위하여 SI와 BDI 문항을 매칭시켰다. 그 결과는 SI가 이러한 직위에 있어서는 수행능력 예측에 더 떨어진다는 것이다. 더 나아가서 SI와 BDI가 동일한 직무 특성을 평가하고자 매칭되었지만, 상관관계가 매우 낮았고 BDI는 외향성과 관련되어 있었다. 낮은 SI의 효과성을 논의하고자 한다.

Based on a study of federal investigative agents, Pulakos and Schmitt (1995) hypothesized that situational interviews are less effective for higher-level positions than behavior description interviews. To evalu- ate their hypothesis we analyzed data from 2 new structured interview studies. Both of these studies involved higher-level positions, a mili- tary officer and a district manager respectively, and had matching SI and BDI questions written to assess the same job characteristics. Re- sults confirmed that situational interviews are much less predictive of performance in these types of positions. Moreover, results indicated very little correspondence between situational and behavior descrip- tion questions written to assess the same job characteristic, and a link between BDI ratings and the personality trait Extroversion. Possible reasons for the lower situational interview effectiveness are discussed.

 

 

---

 

근대 구조화면접을 이루는 두 가지 가장 유명한 것이 SI와 BDI이다. SI에서 지원자는 가상의 직무상황에 대해서 어떻게 대응할지를 대답해야 한다. SI는 goal-setting theory에 근간을 두고 있어서, 의도(goal)이 행동(action)의 즉각적 전구체(precursor)라고 가정한다.

Situational and behavior description interviews have emerged as the two most popular formats for constructing modern structured interviews (Campion, Palmer, & Campion, 1997; Harris, 1989). In a situational in- terview (SI) applicants are given hypothetical job situations and asked to indicate how they would respond (Latham, Saari, Pursell, & Campion, 1980). Situational interviews are grounded in goal- setting theory, par- ticularly in that intentions (i.e., goals) are the immediate precursor of a person’s actions (Latham, 1989). In a behavior description interview

 

BDI에서 지원자는 과거의 관련된 경험과 관련한 질문을 받는데, BDI는 과거의 행동이 미래의 최고의 예측인자라는 전제에 기반한다.

(BDI) applicants are asked to relate actual incidents from their past rel- evant to the target job (Janz, 1982). Behavior description interviews are grounded in the premise that the past is the best predictor of the future (Janz, 1989).

 

그러나 Pulakos and Schmitt 의 연구는 위의 validity scenario에 잠재 위협을 말한다. 그들은 상당히 복잡한 직무에 대해서 SI와 BDI를 개발하였고, 216개의 샘플에서 수행능력 평가와의 상관관계가 SI에서 -0.02, BDI에서 0.32임을 보여주었다. 이 연구에서 특히 중요한 점은, 그들의 가설, 즉 SI가 고위직에 대해서 효과적이지 않을 것이라는 것, 이며, 만약에 이것이 사실이라면 구조화 면접의 과학과 실행에 대한 상당한 함의가 있다.

However, a study by Pulakos and Schmitt (1995) suggests a possible caveat to the above validity scenario. They developed both situational and behavior description' interviews for a fairly complex position, a In a sample of 216 incumbents (108 for federal investigative agent. each format), the correlations with performance evaluations were -0.02 for the SI and 0.32 for the BDI. What is particularly important about this study is their hypothesis that situational interviews may not be as effective for higher-level positions as they are for lower-level positions. If true, this has very important implications for the science and practice of structured interviewing.

 

---

그렇다면 고위직 면접에서 왜 SI가 BDI보다 덜 효과적일까? 첫 번째 설명은 SI질문이 이들에게 너무 단순하다는 것이다. 그러나 평균과 표준편차를 분석해보면, 이 세 가지 연구에서 이것은 사실이 아니었다. 오히려 문항으로서 SI가 BDI보다 더 나은 편이었다. 두 번째 가능한 설명은 고위직에 있어서는 SI에 대한 대답을 평가하는 것 자체가 어렵기 때문이라는 것이다. 평가자간 신뢰도를 보면, 이 역시 가능성이 낮다. 세 번째 설명은 BDI가 현재, 혹은 최근의 직위와 관련한 직무 수행능력을 타당하게 보여준다는 것이다. Pulakos와 Schmitt의 연구와 우리의 두 번째 실험은이 가설을 뒷받침해주지 않는다. 또 다른 가능성은 SI와 BDI가 서로 다른 구인을 평가한다는 것이다. 우리의 연구 결과를 보면 SI와 BDI가 같은 직무 특성을 평가하고자 하더라도, 적어도 고위직에 대해서는, 그 결과는 잘 일치하지 않는다. 이러한 낮은 일치도는 중요한 결과인데, 다른 면접 관련 문헌에서 다뤄진 바가 없는 것이다. 이 결과의 함의는 SI와 BDI가 서로 대체가능한 측정방법으로 고려되어서는 안된다는 점이다. 그보다는 각각 별개의 검사도구라고 보는 것이 나으며, 서로 다른 구인을 평가하는 것으로 봐야 한다. 두 번째 함의는 BDI로어떤 구인을 보고자 하든, 고위직에 대해서는 SI보다는 우월하다는 것이다.

So why would situational interviews be less effective than behavior description interviews for higher-level ppsitions? The first possible ex- planation is that SI questions are just to8 simple for higher-level posi- tions. Analysis of the means and standard deviations suggest that this was not the case in any of the three studies. Rather, it was not uncom- mon for the SI questions to have slightly better properties than the BDI questions. The second possible explanation is that responses to SI ques- tions are more difficult to rate with higher-level positions. Analysis of interrater reliability data in all three studies again suggests that this was not the case. The third possible explanation is that BDI questions are valid because they capture job performance in either the current or a re- cent position, an explanation which is particularly viable in concurrent designs. Data available in Pulakos and Schmitt (1995) and in our second study (both of which were concurrent) does not support this idea either. Another possible explanation is that SI and BDI ratings tend to cap- ture different constructs. Our results strongly suggest that SI and BDI questions written to assess the same job characteristics do not tend to correspond, at least not for higher-level positions. This lack of corre- spondence is an important finding, one we are unaware of anywhere else in the interview literature. One implication of this finding is that situa- tional and behavior description formats probably should not be consid- ered as alternate methods of measurement. Rather, it might be more appropriate to view them as separate testing devices, ones which for the most part capture different constructs. A second implication is that whatever constructs BDI questions tend to capture for higher-level po- sitions are more predictive of performance than whatever constructs SI questions tend to capture.

 

마지막으로, SI의 타당도에 관해서 언급되어야 할 방법론적 이슈가 있다. Pulakos와 Schmitt의 연구에서, 일부 지원자는 모든 가능한 가능성을 고려하고자 했고, 다른 지원자는 표면적인 응답만을 했다. 후자와 같은 답도 여전히 옳은 답이기에, 더 복잡한 사고를 통해서 답을 한 전자와 같은 지원자가 - 비록 그들이 더 적합한 지원자임을 보였더라도 - 반드시 더 높은 점수를 받은 것은 아니다. Pulakos와 Schmitt 연구의 함의는 SI의 점수체계가 낮은 복잡도의 직무에 더 잘 맞는다 것이다. SI연구의 표본 답안에 대한 연구를 보면, SI 점수체계가 그 지원자가 어떤 행동을 할 것인가에만 엄격하게 초점이 맞춰져 있고, 왜 그러한 행동을 할 것인지, 어떻게 그 행동을 할 것인지에 대해서 맞춰져 있지 않다. 표면적으로 드러난 행동에 초점을 두는 것은 낮은 직위에 대해서는 완벽하게 적합할 수 있다. 그러나 고위직에 대해서는 어떻게 지원자가 특정 행동에 이르렀고, 왜 그 행동을 하기로 했는가가 행동 그 자체보다 중요할 수 있다.

Last, there is a methodological issue related to SI validity in higher- level positions that warrants mention. During the Pulakos and Schmitt (1995) study it was observed that some candidates thought through every possible contingency when answering the SI questions and other appli- cants gave more superficial responses. Because the latter answcrs were still essentially correct, candidates engaging in more complex thought did not necessarily receive higher ratings even though a case could be made that they represented better job candidates. The implication of Pulakos and Schmitt’s (1995) observation is that the standard SI scoring system may be better suited for jobs of lower com- plexity. An examination of the benchmark answers provided as examples in several SI studies illustrates the tendency for SI scoring to be based strictly on what overt action candidates would take (e.g., Campion et al., 1994, Latham & Saari, 1984), not on why they would take that action or how they arrived that action. A focus upon overt actions may be perfectly adequate (and even preferred) for lower-level positions. But for higher- level positions knowing how candidates arrived at a particular action and why they chose that action is often just as important as the action itself. 

또한 SI 질문에 대한 probing이 왜 그 행동을 하게 되었는가와 특히 관련이 있음에도, 면접관이 probe 하지 못하게 되어있다는 점도 중요하다. 아직 SI의 점수체계가 문제라는 것에 대한 직접적 증거는 없다. 연구가 필요하다.

It is also important to point out that interviewers typically are not allowed to probe responses to SI questions, and probing is where information related to why they choose a particular action would be most likely to emerge. Admittedly we do not have direct evidence at the present time that the standard SI scoring system is the culprit. Nonetheless, this is- sue and its implications are important enough to warrant investigation of modifications to the SI scoring system in future research.

 

요약하면, 본 연구의 결과는 다음과 같은 기여가 있다. 가장 중요한 것은 SI가 고위직에 맞지 않는다는 Pulakos and Schmitt의 가설을 지지하는 결과이다. 그들의 원래 연구와 이번 두 개의 새로운 연구를 합해서 보면, 면접 개발자들은 고위직에 SI를 사용할 때 조심해야 한다는 제언을 할 수 있다. 이 제언이 특히 중요한 이유는 모든 세 연구에서 SI와 BDI를 직접적으로 비교했기 때문이다. 또한 SI와 BDI 질문에 대한 평가 결과는 일치도가 매우 낮았다. 또한 흥미로운 것은 SI와 BDI 점수의 일치도가 낮은 직위의 면접에서는 높은 일치도를 보였다는 점이다. 마지막으로, BDI가 외향성 점수와 상관관계가 높은 점은 verbal presentation skill의 영향이 컸을 수 있음을 의미한다.

In summary, results of this investigation contribute to the interview literature in several ways. Probably the most important contribution is they support Pulakos and Schmitt’s (1995) hypothesis that situational in- terviews do not tend to work as well for higher-level positions. Based on the combined results of their original Ftudy and our two new studies, the formal recommendation can now be dade that interview developers should exercise considerable caution when using the standard SI format for higher-level positions. What makes this recommendation particu- larly viable is that all three of these studies involved direct comparison of situational and behavior description interviews for the same position. In addition, out results suggest a strong lack of correspondence between SI and BDI questions written to assess the same job characteristics in higher-level positions. What is interesting is that the one published study which involved a direct comparison of SI and BDI validity for the same lower-level position found a much higher correspondence (Campion et al., 1994). Finally, our results suggest an association between BDI rat- ings and Extroversion scores, which may point to a larger influence from verbal presentation skdls.

 

 

 

 

 

 

---

COMPARISON OF SITUATIONAL AND BEHAVIOR DESCRIPTION INTERVIEW QUESTIONS FOR HIGHER-LEVEL POSITIONS

1. ALLEN I. HUFFCUTT^1,*, 
2. JEFF A. WEEKLEY², 
3. WILLI H. WIESNER³,
4. TIMOTHY G. DEGROOT³ and
5. CASEY JONES²

Article first published online: 7 DEC 2006

DOI: 10.1111/j.1744-6570.2001.tb00225.x

Issue

Personnel Psychology

Volume 54, Issue 3, pages 619–644, September 2001