심리학에서 이론의 위기: 어떻게 나아갈 것인가(Perspect Psychol Sci, 2021)

심리학에서 이론의 위기: 어떻게 나아갈 것인가(Perspect Psychol Sci, 2021)
The Theory Crisis in Psychology: How to Move Forward
Markus I. Eronen1 and Laura F. Bringmann2

 

최근 몇 년 사이 심리학의 이론적 토대가 흔들리고 있다는 사실에 주목해야 하는 저자들이 늘고 있다. 심리학 이론은 일반적으로 질이 나쁘고 심리학은 통계 기술과 관행을 개선하고 더 많은 복제 연구를 수행하는 대신 더 나은 이론을 개발하는 쪽으로 더 많이 전환되어야 한다는 주장이다. 훨씬 많은 관심을 받았던 복제 위기보다 더 근본적인 '이론 위기'를 맞고 있는 셈이다.

In recent years, more and more authors have called attention to the fact that the theoretical foundations of psychology are shaky. The claim is that psychological theories are in general of poor quality and that the focus in psychology should shift more toward developing better theories instead of (just) improving statistical techniques and practices and performing more replication studies. In other words, we are facing a “theory crisis” that is more fundamental than the replication crisis that has received far more attention.

이 점은 물론 새로운 것은 아니지만, 폴 미엘이 그의 경력을 통해 강조하기도 했다(예: 미엘, 1967, 1978, 1990). 멜은 심리학자들은 새로운 이론들을 개발하는 것을 좋아하지만, 이러한 이론들은 누적된 이론적 진보를 낳는 대신 그냥 왔다가 사라지는 경향이 있다고 지적했다. 이론은 결정적으로 반박되거나 확립된 지식의 일부로 받아들여지지 않는다. 그들은 버려지거나 잊혀질 때까지 그저 빈둥거린다. 그는 1930년대와 1960년대에 각각 많은 열정으로 받아들여졌지만 지금은 대부분 잊혀진 '열망의 수준'과 '위험한 변화'의 이론을 예로 든다.

This point is of course not new but notably was also emphasized by Paul Meehl throughout his career (e.g., Meehl, 1967, 1978, 1990). Meehl pointed out that psychological scientists are fond of developing new theories, but instead of resulting in cumulative theoretical progress, these theories tend to just come and go: Theories are neither decisively refuted nor accepted as part of established knowledge; they simply hang around until they are abandoned or forgotten. He mentions as examples theories of “level of aspiration” and “risky shift,” which were received with much enthusiasm in the 1930s and 1960s, respectively, but are now largely forgotten.

미엘(1978)의 고전적 글 이후 40년이 지난 지금까지 심리학에서 이론의 역할은 크게 변하지 않았다. 예를 들어, 행동 변화 이론의 ABC라는 책에는 자기 조절 이론과 자기 효능감 이론에서부터 생태 모델에 이르기까지 [행동 변화 분야에만 83개의 이론]이 나열되어 있다(Michie et al., 2014). 이러한 이론들 중 어느 것도 보편적으로 받아들여지거나 결정적으로 반박되지 않는다고 가정해도 무방하다. 좀 더 구체적인 예로, [자아 고갈 이론]을 떠올려보라. 이 이론은 대단한 열정을 가진 기간 후에, 최근 몇 년 동안 심하게 비판되어 왔으며, 현재 그것에 대한 찬반 양측의 결정적인 증거는 없다.
In the 40 years that have passed since Meehl’s (1978) classic article, the role of theories in psychology has not changed much. For example, the book ABC of Behavior Change Theories lists 83 theories in the field of behavior change alone, ranging from self-regulation and self-efficacy theories to ecological models (Michie et al., 2014).1 It is safe to assume that none of these theories is universally accepted or decisively refuted. As a more specific example, consider ego-depletion theory (Baumeister et al., 1998, 2000). After a period of great enthusiasm, this theory has been heavily criticized in recent years, and currently there is no conclusive evidence either for or against it (Friese et al., 2019).

심리학에서 이론적 진보가 부족한 이유는 심리학 이론이 너무 모호하거나 추상적으로 공식화되는 경향이 있기 때문에 이를 위조하거나 시험하기 어렵다는 것이다(Meehl, 1978, 1990). 더욱이, 이론이 부족하고 일부 현상을 설명할 수 없는 것으로 밝혀진 경우에도, 심리학자들은 종종 그것의 과거의 성공에 초점을 맞추어 그것을 계속 사용한다(예: 고전적 조건화의 레스콜라-바그너 모델; 밀러 외, 1995). 이러한 요인들로 인해 [부족한 것으로 알려져 있지만 결정적으로 잘못된 것은 아닌 공존하고 중복되는 심리학 이론]이 많이 발생한다(Meehl, 1990). 따라서 최근 이론위기에 관한 문헌에서 공통적으로 제기되는 주제는 심리이론을 보다 형식적이고 정밀하게 만들거나 심리학자들에게 더 나은 이론을 구축하는 방법을 가르쳐야 한다는 것이다.
An explanation for the lack of theoretical progress in psychology is that psychological theories tend to be formulated so vaguely or abstractly that it is difficult to falsify or test them (Meehl, 1978, 1990). Moreover, even when a theory is found to be deficient and unable to explain some phenomena, psychological scientists often continue to use it, focusing on its past successes (e.g., the Rescorla-Wagner model of classical conditioning; Miller et al., 1995). These factors result in a plethora of coexisting and overlapping psychological theories that are known to be deficient but have not been decisively falsified (Meehl, 1990). Therefore, a common theme in the recent literature on the theory crisis is that psychological theories should be improved by making them more formal and precise or by teaching psychologists how to build better theories (e.g., Gigerenzer, 2010; Muthukrishna & Henrich, 2019; Oberauer & Lewandowsky, 2019; van Rooij & Baggio, 2021).

우리는 이러한 노력이 중요하고 칭찬받을 만하다고 생각한다. 그러나 이 기사에서는 다른 접근 방식을 취합니다. 우리는 좋은 심리이론을 개발하는 것이 극히 어렵고, 그것이 어려운 이유를 이해하는 것이 이론위기의 진전을 이루는 중요한 첫걸음이라고 주장한다. 즉, 심리학자들이 이론 개발에 충분한 노력을 기울이지 않거나 이론을 세울 줄 모르는 것이 아니라, 주제의 특성상 좋은 심리학 이론을 구축하는 데 큰 장애가 있다는 것이 문제이다. 이러한 장애물을 설명하고 분석하기 위해, 우리는 최근의 과학 철학에서 도출한다.
We find these efforts important and laudable. However, in this article, we take a different approach. We argue that the core of the problem is that developing good psychological theories is extremely difficult and that understanding the reasons why it is so difficult is a crucial first step in making progress in the theory crisis. In other words, the problem is not (just) that psychological scientists do not put enough effort into developing theories or do not know how to build theories but that there are great obstacles to building good psychological theories because of the nature of the subject matter. To explain and analyze these obstacles, we draw from recent philosophy of science.

이러한 접근 방식을 통해 우리는 미엘의 발자취를 따라갑니다. 이 특별호(Meehl, 1978)의 초점인 글에서 그는 인간의 심리를 과학적으로 연구하기 어렵게 만드는 어려움의 목록을 제공했다. 그러나 미엘은 자연히 당대 과학철학에 의존하고 있었고, 그 이후로 특히 자료, 이론, 인과관계를 이해하는 데 있어 이론의 위기와 매우 관련성이 높은 많은 발전이 있었다. 우리는 과학철학의 이러한 발전으로부터 출발하여, 좋은 심리이론을 개발하는 것이 왜 그렇게 어려운지에 대한 세 가지 주요 이유를 논의한다:

• 강력한 현상에 의한 이론에 대한 제약의 부족,
• 심리구조의 타당성의 문제, 
• 심리변수들 사이의 인과관계를 발견하는 것의 장애물

With this approach, we follow in Meehl’s footsteps: In the article that is the focal point of this special issue (https://doi.org/10.1037/0022-006X.46.4.806" data-mce-href="https://journals.sagepub.com/doi/10.1177/1745691620970586#">Meehl, 1978), he provided a list of difficulties that make human psychology hard to study scientifically. However, Meehl was naturally relying on the philosophy of science of the day, and since then there have been many developments that are highly relevant for the theory crisis, especially in understanding the nature of data, theories, and causality. We draw from these developments in philosophy of science and discuss three key reasons for why developing good psychological theories is so hard:

• the lack of constraints on theories by robust phenomena,
• problems of validity of psychological constructs, and
• obstacles to discovering causal relationships between psychological variables.

이론의 제약으로서의 현상
Phenomena as Constraints for Theories

이 절에서 우리는 현상이 과학에서 이론 발전을 제약한다고 주장하지만, 심리학에서는 충분한 제약을 가할 만큼 강력한 현상에 대한 지식이 충분하지 않다. 우선 과학철학에서는 [데이터, 현상, 이론]을 구분하는 것이 일반적이다. [데이터]는 실험 또는 데이터 수집을 기반으로 하는 원시 관측치입니다. 심리학의 경우, 예를 들어 설문지나 행동의 관찰에 대한 반응일 수 있다. [데이터]는 세계의 비교적 안정적인 특징인 현상에 대한 증거로 작용한다. 예를 들어, 서로 다른 Stroop 작업 실험의 데이터는 Stroop 효과에 대한 증거를 제공합니다. 만약 우리가 그 현상들을 설명하고 싶다면, 우리는 그것들이 어떻게 발생하는지 설명하는 이론이 필요하다.
In this section, we argue that phenomena constrain theory development in science, but that in psychological science, there is not enough knowledge of robust phenomena to impose sufficient constraints. To start with, in philosophy of science, it is common to distinguish among data, phenomena, and theories (Bogen & Woodward, 1988; Haig, 2013; Woodward, 1989). Data are the raw observations based on experiments or data collection: In the case of psychological science, they can be, for example, responses to questionnaires or observations of behavior. Data serve as evidence for phenomena, which are relatively stable features of the world: For example, the data from different Stroop task experiments provide evidence for the Stroop effect. If we then want to explain the phenomena, we need theories that describe how they come about.2

이 프레임워크는 잘 확립되었고 심리학에 적용되었다(Borsboom et al., 2021; Haig, 2013). 그러나 [이론과 현상] 사이의 관계는 일반적으로 "일방향 트래픽"으로만 논의된다. [이론]은 [현상]을 설명하기 위해 [공식화formulated]되며, 따라서 [이론]으로부터 관련 [현상]을 [도출derive]하거나 [예측predict]하는 것이 가능해야 한다. 예를 들어, 심리학 이론 논쟁에서 심리학 이론이 너무 모호하게 공식화되어 현상에 대한 정확한 예측을 하지 못한다는 것이 핵심이다. 이 논쟁에서 훨씬 덜 주목받은 것은 이 관계가 양방향이라는 것이다. 현상들은 또한 가능한 이론들에 제약을 가한다. 즉, 이론은 가능한 이론의 공간을 좁히는 현장의 모든 관련 현상과 일치해야 한다.
This framework is well established and has been applied to psychological science (Borsboom et al., 2021; Haig, 2013). However, the relationships between theories and phenomena are usually discussed only as “one-way traffic”: A theory is formulated to explain phenomena, and therefore it should be possible to derive or predict the relevant phenomena from the theory. For example, a central (and, in our view, valid) argument in the theory debate in psychological science is that psychological theories are so vaguely formulated that they do not make precise predictions regarding phenomena (e.g., Oberauer & Lewandowsky, 2019). What has received far less attention in this debate is that this relationship is bidirectional: Phenomena also impose constraints on the possible theories (Bechtel & Richardson, 1993; Craver & Darden, 2013). In other words, a theory has to be consistent with all the relevant phenomena of the field, which narrows the space of possible theories.

이것을 예로 들어 설명하겠습니다. 진화론을 도입하기 전에 찰스 다윈은 엄청난 양의 설명적 증거를 수집했다. 그는 H.M.S. 비글호를 타고 유명한 항해를 하는 동안 (거의 5년 동안 지속되었다) 수많은 관찰을 하고 노트에 기록했는데, 위에서 설명한 프레임워크는 데이터와 일치한다. 이 자료로부터 그는 갈라파고스 섬에 서로 다르지만 매우 유사한 새 종의 분포와 같은 흥미로운 패턴을 도출했다. 다윈은 돌아온 후 몇 년 동안 선택적 번식, 화석 기록, 항해 중에 수집한 표본을 포함한 광범위한 주제를 집중적으로 연구했다. 이 모든 영역에서 그는 종들이 공통의 조상을 가지고 있고 선택적인 번식과 유사한 방식으로 자연에 의해 선택된다는 것을 암시하는 [현상]을 발견했다. 그는 이러한 발견을 바탕으로 다양한 증거의 상세한 설명으로 구성된 종의 기원을 썼다(브라운, 2006; 다윈, 1859).
Let us illustrate this with an example. Before introducing the theory of evolution, Charles Darwin had gathered an immense amount of descriptive evidence (Browne, 2006; Darwin, 1859; Rozin, 2001). During his famous voyage on the H.M.S. Beagle (lasting nearly 5 years), he made numerous observations and wrote them down in his notebooks, which in the framework described above correspond to data. From these data he derived interesting patterns, such as the distribution of different but very similar bird species on the islands of the Galapagos. Over the years after his return, Darwin intensively studied a broad range of topics, including selective breeding, the fossil record, and the samples he had collected during the voyage. In all of these areas, he found phenomena suggesting that species have common ancestors and are selected by nature in a manner analogous to selective breeding. He wrote the Origin of Species, a large part of which consists of detailed descriptions of the various lines of evidence, on the basis of these findings (Browne, 2006; Darwin, 1859).

중요한 것은 이 증거가 다양할 뿐만 아니라 매우 강력하다는 것입니다. 이 [현상]은 몇 가지 독립적인 방법으로 검증 및 탐지 가능하며 특정 이론적 틀이나 관찰 방법에 의존하지 않았다. 예를 들어, 비둘기, 소, 개의 선택적 사육에서 형질의 진화의 패턴을 관찰할 수 있었고, 다른 연구자는 원칙적으로 이러한 패턴을 확인할 수 있었다. 그러므로 이러한 [현상]들은 과학계에서 일반적으로 동의되었고 [가능한 이론possible theories]의 공간에 [매우 강한 제약]을 가했다. 진화론은 이러한 강력한 패턴들 중 한두 개에만 해당되는 것이 아니라, [모든 것]과 일치해야 했습니다.
Importantly, this evidence was not only diverse but also highly robust: The phenomena were verifiable and detectable in several independent ways and not dependent on a specific theoretical framework or observation method (Eronen, 2015, 2019; Kuorikoski & Marchionni, 2016; Munafò & Smith, 2018; Wimsatt, 2007). For example, the patterns of the evolution of traits could be observed in the selective breeding of pigeons, cattle, and dogs, and any other researcher could in principle confirm these patterns. These phenomena were therefore generally agreed on in the scientific community and imposed very strong constraints on the space of possible theories. A theory of evolution had to fit with not just one or two of these robust patterns but with all of them.

천문학의 역사는 [현상이 이론에 강요하는 제약]의 훨씬 더 놀라운 예를 제공한다. 이 경우 관련 [현상]은 천체(가장 중요한 것은 달과 행성)의 운동 패턴이었다. 이러한 패턴은 수세기에 걸친 관찰에 기초했으며 매우 강력했다. 문제는 현상에 의해 부과된 엄격한 제약을 만족시키는 이론을 생각해내고 있었다(호스킨, 1997). 행성들이 복잡한 에피사이클 기반 궤적을 따른다는 프톨레마이오스의 지구중심적 모델은 부분적으로 현상에 더 적합하거나 동등하게 잘 맞을 이론을 내놓기가 매우 어려웠기 때문에 수세기 동안 살아남았다. 그러므로, 코페르니쿠스와 갈릴레오가 그들의 태양 중심 이론을 발전시켰을 때, 가능한 이론의 공간은 현상에 의해 매우 강하게 제약을 받았다. 현대의 [이론 물리학에 대한 제약]은 훨씬 더 극단적이다. 입자 물리학에서 천문학에 이르는 강력하고 논쟁의 여지가 없는 패턴의 방대한 본체가 있으며, 물리학에 대한 새로운 이론은 이 [모든 패턴]과 일치할 필요가 있다.
The history of astronomy provides an even more striking example of the constraints that phenomena impose on theories. In this case, the relevant phenomena were the patterns in the movement of celestial objects (most importantly the moon and the planets). These patterns were based on centuries of observations and highly robust; the problem was coming up with a theory that satisfied the stringent constraint imposed by the phenomena (Hoskin, 1997). Ptolemy’s geocentric model, according to which planets followed complex epicycle-based trajectories, survived for centuries partly because it was extremely difficult to come up with a theory that would have fit the phenomena better or equally well (Hoskin, 1997). Thus, when Copernicus and Galileo developed their heliocentric theories, the space of possible theories was very strongly constrained by the phenomena. The constraints on contemporary theoretical physics are even more extreme: There is a vast body of robust and undisputed patterns ranging from particle physics to astronomy, and any new theory of physics needs to be consistent with all of these patterns.

심리학에서의 상황은 매우 다르다. 이를 보기 위해 데이터와 현상의 구분을 상기해 보자. 심리학에서는 설문지, 웨어러블 기기, 인터넷 행동 등에서 사용할 수 있는 데이터의 양이 증가하고 있다. 그러나 이러한 데이터는 종종 의심스러운 품질(다음 절 참조)이며, 심리 과학의 많은 분야는 여전히 생물학이나 물리학에 필적할 만한 강력한 현상의 큰 본체를 가지고 있지 않다.

The situation in psychological science is very different. To see this, let us recall the distinction between data and phenomena. In psychological science, there is an increasing amount of data available from questionnaires, wearable devices, Internet behavior, and so on. However, these data are often of questionable quality (see the next section), and many areas of psychological science still have no large body of robust phenomena comparable to that of biology or physics.

예를 들어, [자아 고갈 효과]를 고려해보자. 이전에 자제력이 필요한 작업에 참여한 후(예: 쿠키를 먹고 싶은 유혹에 저항하는) 사람들이 자제력이 필요한 작업(예: 어려운 퍼즐 풀기)에서 더 나쁜 성과를 거두는 현상. 이 현상을 설명하는 독창적이고 매우 영향력 있는 이론은 자기 통제의 힘(또는 근육 또는 자원) 모델이며, 이에 따르면 [자기 통제]는 자기 통제가 필요하고 고갈될 수 있는 모든 작업에 사용되는 제한적이고 도메인-일반적인 자원이다.

As an example, consider the ego-depletion effect (Baumeister et al., 1998, 2000): the phenomenon that people perform worse on a task requiring self-control (e.g., solving a difficult puzzle) after having previously engaged in a task requiring self-control (e.g., resisting the temptation to eat cookies). The original and highly influential theory explaining this phenomenon is the strength (or muscle, or resource) model of self-control, according to which self-control is a limited and domain-general resource that is used by any tasks that require self-control and can be depleted (Baumeister et al., 1998, 2000).

이 이론을 지지하는 것으로 보이는 수백 개의 연구가 발표되었다(Inzlicht & Friese, 2019). 그러나 최근 몇 년 동안 자아 고갈 효과 자체와 그 이면에 있는 이론 모두에 의문이 제기되었다. 멀티랩 사전 등록 복제 연구에서 자아 고갈에 대한 증거는 거의 발견되지 않았다. 전체 효과 크기는 작았고(d = 0.04) 대부분의 참여 실험실의 경우 효과 크기의 95% 신뢰 구간이 0을 포함했다. 저자들은 "만약 어떤 효과가 있다면, 그것은 0에 가깝다" 더욱이 효과가 실제적이라 하더라도, 이용 가능한 근거는 자기통제의 강도모델 외에 다른 이론과도 양립할 수 있다는 지적이 있었다(Inzlicht & Friese, 2019). 예를 들어, Inzlicht와 Schmeichel(2012)이 제안한 프로세스 모델에서는 고갈된 일반적인 자원 대신 동기부여 감소와 관심의 이동에 의해 자아 고갈 효과가 설명된다.

Hundreds of studies that seem to support this theory have been published (Inzlicht & Friese, 2019). However, in recent years, both the ego-depletion effect itself and the theory behind it have been called into question (Friese et al., 2019). In a multilab preregistered replication study (Hagger et al., 2016), little evidence for ego depletion was found: The overall effect size was small (d = 0.04), and for most of the participating laboratories, the 95% confidence intervals of the effect size included zero. The authors concluded that “if there is any effect, it is close to zero” (p. 558). Moreover, it has been pointed out that even if the effect is real, the available evidence is compatible with other theories in addition to the strength model of self-control (Inzlicht & Friese, 2019). For example, in the process model proposed by Inzlicht and Schmeichel (2012), the ego-depletion effect is explained by reduced motivation and shifts in attention instead of a generic resource that is depleted.

중요한 것은 이것이 유일한 예가 아니라는 것이다. 심리학에서 발견의 수많은 복제 실패는 [심지어 잘 확립되었다고 생각되었던 현상]들(예: 고정관념 위협, 신생아 모방, 다양한 프라이밍 효과)도 심리학의 다른 영역에서도 상황은 비슷하다는 것을 시사한다. 다시 말해, 심리학 분야에서는 이론에 강한 제약을 가하는 광범위한 강력한 현상이 존재하지 않는다. 이는 가능한 이론들이 증거에 의해 [과소 결정]된다는 것을 의미한다. 즉, 사용 가능한 증거(즉, 관련 현상)는 우리가 어떤 이론을 진실이라고 믿어야 하는지 결정하기에 충분하지 않다(Stanford, 2017). 이런 점에서 [비교적 강력한 현상]이 거의 확립되지 않은 심리학 분야에서 [이론적인 진보]가 거의 이루어지지 않은 것은 놀라운 일이 아니다.

Importantly, this is not an isolated example. The numerous replication failures of findings in psychology, even phenomena that were thought to be well established (e.g., stereotype threat, neonatal imitation, various priming effects; Bird, 2018), suggest that the situation is similar in other areas of psychology (Inzlicht & Friese, 2019). In other words, in many areas of psychology, there is no broad range of robust phenomena that would impose strong constraints on theories. This means that the possible theories are underdetermined by evidence: The available evidence (i.e., the relevant phenomena) is not sufficient to determine which theory we should believe to be true (Stanford, 2017).3 In this light, it is not surprising that little theoretical progress has been made in areas of psychology in which relatively few robust phenomena have been established.

심리적 구조와 인식론적 반복
Psychological Constructs and Epistemic Iteration

심리학에서 좋은 이론이 왜 그렇게 적은지를 설명하는 또 다른 중요한 요소는 심리 구조를 개선하고 검증하는 데 관심이 부족하다는 것이다. 심리학 문헌에서 우리는 점점 더 많은 수의 심리학 구조를 발견한다. 새로운 구조와 그에 상응하는 척도가 지속적으로 도입되고, 오래된 구조처럼 보이는 것에 대해 새로운 용어가 발명되며, 명백히 다른 구조에 대해 동일한 용어가 사용된다(Hagger, 2014). 예를 들어, 엘렌 스키너(1996)는 통제 심리학 문헌의 구조에 대한 리뷰에서 [인식된 통제]와 관련된 구조만 30개 이상 발견했으며, 그 이후로 더 많은 구조물이 소개되었다(Hagger, 2014).
Another important factor explaining why there are so few good theories in psychology is the lack of attention on improving and validating psychological constructs. In the psychological literature, we find a large and increasing number of psychological constructs. New constructs and corresponding scales are constantly introduced, new terms are invented for what seem to be old constructs, the same term is used for apparently different constructs, and so on (Hagger, 2014). For example, in her review of constructs in the psychological literature on control, Ellen Skinner (1996) found more than 30 constructs related to perceived control alone, and since then many more have been introduced (Hagger, 2014).

원칙적으로, 수용 가능한 과학적 구조가 되기 위해서는, 이러한 모든 심리적 구조가 타당성을 가져야 한다. 구인 타당성의 개념은 Cronbach와 Meehl(1955)에 의해 도입되었으며, 그 의미는 그 후 수십 년 동안 크게 진화 및 영향을 받았다. 핵심 아이디어 중 일부는 구조가 [이론적 프레임워크](또는 Cronbach & Meehl의 처음 표현에 따르자면 "노몰로지 네트워크")에 포함되어야 하며, [구인의 측정]은 [측정하려는 것을 측정한다]는 의미에서 타당해야 한다는 것이다.
In principle, to be acceptable scientific constructs, all of these psychological constructs should have construct validity. The notion of construct validity was introduced by Cronbach and Meehl (1955), and its meaning has greatly evolved and ramified in the decades that followed (Newton & Shaw, 2013). Some of the core ideas are that the construct should be embedded in a theoretical framework (or a “nomological network” as originally phrased by Cronbach & Meehl, 1955) and that measurements of the construct should be valid in the sense that they measure what they are intended to measure (Borsboom et al., 2004).

문제는 구인 타당성이 결정적으로 중요하다는 데 널리 동의하지만, 실제로 심리학자들은 신뢰성과 같은 척도에 비교하자면, 구인 타당도에는 거의 주의를 기울이지 않는다는 것이다. 예를 들어, Flake et al(2017)은 Journal of Personality and Social Psychology에 게재된 논문의 무작위 샘플을 검토한 결과, 검토한 논문의 대부분이 사용된 구조에 대한 타당성 증거를 전혀 보고하지 않았다는 것을 발견했다. 증거가 보고되었을 때, 그것은 일반적으로 다른 기사에 대한 인용만으로 구성되었다. 마찬가지로 Zumbo와 Chan(2014)에 수집된 논문은 심리학자들이 상대적으로 타당성 증거를 적게 보고하고 다른 심리측정학적 특성, (가장 주요하게는) [신뢰성에 훨씬 더 집중하는 경향]이 있음을 보여준다. 이에 대한 가장 간단한 설명은 신뢰성 증거를 제공하는 것이 비교적 쉬운 반면, 타당성 증거를 제공하는 것은 매우 어렵다는 것이다. 전자의 경우 크론바흐의 α와 같이 잘 확립되고 정량화된 측정값이 있다. 후자의 경우 단순한 정량적 측정이 없으며, 구성 타당성이 무엇인지 또는 타당성 증거가 어느 정도여야 하는지에 대한 합의조차 이루어지지 않았다(Newton & Shaw, 2013). 구성 타당성이 교과서 및 지침서에 자주 등장하는 "시험은 측정하고자 하는 것을 측정해야 한다"는 문구로 이해된다면, 타당성을 확립하려면 관심 속성의 변동이 실제로 시험 점수의 변동을 야기하고 있음을 보여줄 필요가 있다. 이런 종류의 구조 검증은 거의 이루어지지 않기 때문에, 그 결과 심리학은 타당성을 알 수 없는 수많은 심리 구조들에 의해 스며들고 있다.

The problem is that although it is widely agreed that construct validity is crucially important, in practice psychological scientists give it very little attention compared with measures such as reliability. For example, Flake et al. (2017) reviewed a random sample of articles published in Journal of Personality and Social Psychology and found that most of the articles reviewed reported no validity evidence whatsoever for the constructs used. When evidence was reported, it typically consisted only of a citation to another article. Likewise, the articles collected in Zumbo and Chan (2014) show that psychological scientists tend to report relatively little validity evidence and focus much more on other psychometric properties, most importantly reliability. The simplest explanation for this is that providing reliability evidence is relatively easy, whereas providing validity evidence is very hard. For the former, there are well-established and quantified measures, such as Cronbach’s α. For the latter, there is no simple quantitative measure, and there is not even agreement on what construct validity is or what validity evidence should amount to (Newton & Shaw, 2013). If construct validity is understood in terms of the phrase “the test should measure what it is intended to measure,” which often appears in textbooks and guidelines, then establishing validity requires showing that variation in the attribute of interest is actually causing the variation in the test scores (Bringmann & Eronen, 2016; Borsboom et al., 2004). As construct validation of this kind is hardly ever done, the result is that psychological science is permeated by numerous psychological constructs of unknown validity (Flake et al., 2017; Fried & Flake, 2018).

자아 고갈 연구는 이것의 대표적인 예이다. 루르퀸과 미야케(2017)가 지적하듯이 핵심 개념인 '자기통제'가 명확하게 정의되거나 운용된 적은 없다. 종종 이 통제의 성격을 더 구체적으로 명시하지 않고 생각, 감정 또는 행동에 대한 모든 종류의 (억제적) 통제를 지칭하기 위해 매우 광범위하게 사용된다(Lurquin & Miyake, 2017). 또한 자아 고갈 연구에서 자기 통제를 측정하거나 조작하는 데 사용되는 설정은 검증되지 않았다. 최근 연구에서 윔머 외 연구진(2019)은 자아 고갈을 유도하기 위해 가장 널리 사용되는 작업 중 하나인 [편지 취소 작업]을 체계적으로 테스트했는데, 참가자들은 복잡한 규칙에 따라 문자를 지워야 한다. 그들은 이 작업이 자기 통제나 억제 통제에 영향을 미친다는 어떤 증거도 발견하지 못했다.

Ego-depletion research is a prime example of this. As Lurquin and Miyake (2017) point out, the key concept “self-control” has never been clearly defined or operationalized. It is often used very broadly to refer to any kind of (inhibitory) control over thoughts, emotions, or actions without further specifying the nature of this control (Lurquin & Miyake, 2017). Moreover, the setups that are used to measure or manipulate self-control in ego-depletion studies have never been validated (Inzlicht & Friese, 2019). In a recent study, Wimmer et al. (2019) systematically tested one of the most widely used tasks to induce ego depletion, the letter-cancellation task, in which participants have to cross off letters following complex rules. They did not find any evidence that this task would affect self-control or inhibitory control (Wimmer et al. 2019).

임상심리학에서 예로 주요 우울증(MDD)을 들 수 있다. MDD의 정의는 1970년대부터 시작되었으며, 그 이후로는 근본적으로 바뀌지 않았다. 예를 들어, MDD의 다른 경우에 큰 이질성이 있기 때문이다. (예를 들어, 두 사람이 단일 증상을 공유하지 않고 MDD를 가질 수 있다.) MDD 자체가 잘 정의된 카테고리인지 의심스럽다. 또한, MDD를 측정하는 데 사용되는 수많은 척도는 내용이 중복되지 않는 경우가 많아 실제로 하나의 동일한 구조를 측정하는 것인지 불분명하다.

As an example from clinical psychology, consider major depressive disorder (MDD). The definition of MDD stems from the 1970s and has not essentially changed since then, although it is increasingly clear that the validity of the construct is problematic (De Jonge et al., 2015; Fried, 2017). For example, because there is great heterogeneity in different cases of MDD (e.g., two individuals can have MDD without sharing a single symptom), it is doubtful that MDD in itself is a well-defined category (Fried, 2017). In addition, the numerous scales that are used to measure MDD often have little content overlap, making it unclear whether they are really measuring one and the same construct (Fried, 2017; Fried & Flake, 2018).

이러한 예들을 자연과학과 대조하는 것은 명확하다. 자연과학의 개념이나 분류는 추가 실험과 관찰을 통해 그리고 그것들이 내재된 이론적 틀을 개선함으로써 지속적으로 정제된다. 초기에 거칠고 잘못 정의된 개념(예: 상식적인 개념 "물고기fish")은 정제되고 재개념화된다. (예를 들어, 린네의 전통적인 종 분류법에서 물고기Pisces라는 개념으로, 대략 물 속에서 영원히 사는 지느러미 동물로 정의된다.) 그리고 새로운 버전은 새로운 이론과 증거에 기초하여 다시 테스트되고 조정된다. (예를 들어, 물고기는 더 이상 과학적 범주로 간주되지 않고 진화적 관계에 기초하여 몇 개의 다른 부류로 나뉘었다.)
It is illuminating to contrast these examples with the natural sciences. Concepts or classifications in the natural sciences are constantly refined through further experiments and observations and by improving the theoretical framework in which they are embedded. A concept that is initially rough and poorly defined (e.g., the commonsense notion “fish”) is refined and reconceptualized (e.g., into the concept “Pisces” in the traditional Linnaean taxonomy of species, defined roughly as finned animals perpetually living in water), and then the new version is again tested and adjusted on the basis of new theories and evidence (e.g., “Pisces” is no longer considered a scientific category but has been divided into several distinct classes on the basis of evolutionary relationships).

이것의 예는 과학에 많이 있다. 예를 들어, "전자"라는 개념은 1890년대에 물리학에 도입되었고, 처음에는 전하의 기본 단위를 의미했지만, 그 이후 양자 이론과 같은 실험과 이론적 발전을 통해 그 의미가 진화했고, 현재 "전자"는 페르미온이고, 전하가 -1인 소립자를 가리킨다. 1/2 등등.  Chang(2004, 2016)은 이 과정을 "인식적 반복"이라고 부르며, "특정 인식론적 목표의 달성을 강화하기 위해, 각각에 선행한 것 위에 구축되는, 지식의 연속적인 단계가 만들어지는 과정"이라고 특징짓는다(Chang, 2004, p.224).

Examples of this are abundant in the sciences: For example, the concept “electron” was introduced to physics in the 1890s, and it initially meant an elementary unit of electric charge, but since then its meaning has evolved through experiments and theoretical advances such as the quantum theory, and now “electron” refers to an elementary particle that is a fermion, has a charge of −1, spin of 1/2, and so on. Chang (2004, 2016) calls this process “epistemic iteration” and characterizes it as “a process in which successive stages of knowledge, each building on the preceding one, are created in order to enhance the achievement of certain epistemic goals” (Chang, 2004, p. 224)

이와는 대조적으로 심리학에서는 공식 지침이 검증의 중요성과 진행 중인 프로세스로 어떻게 봐야 하는지를 강조하지만, 이러한 반복은 표준이 아니다(Flake et al., 2017). 그러나 몇 가지 긍정적인 예외가 있다. 예를 들어, 에빙하우스가 1880년대에 기억의 과학적 연구를 개척했을 때, 그는 "기억"을 하나의 상식적인 개념으로 취급하고 있었고, 다른 종류의 기억들을 구별하지 않았다. 이후 연구, 특히 1950년대부터 시작된 [비선언적 기억]과 [선언적 기억]과 같은 많은 종류의 기억들이 도입되었으며, 그 중 [후자(선언적 기억)]는 [에피소드적 기억]과 [의미적 기억]으로 더 나눌 수 있다. 기억의 다른 범주와 종류는 고정되어 있지 않지만 새로운 증거와 주장에 비추어 여전히 정제되고 논의되고 있다(Tulving, 2007).
In contrast, in psychology, this kind of iteration is not the norm, although official guidelines emphasize the importance of validation and how it should be seen as an ongoing process (Flake et al., 2017). There are, however, some positive exceptions (see also Kendler, 2012). For example, when Ebbinghaus pioneered the scientific study of memory in the 1880s, he was treating “memory” as a monolithic commonsense notion and did not distinguish between different kinds of memory (Tulving, 2007). In subsequent research, especially starting from the 1950s, many different kinds of memory have been introduced, such as nondeclarative and declarative memory, the latter of which can be further divided into episodic and semantic memory (Michaelian & Sutton, 2017). The different categories and kinds of memory are not fixed but are still refined and debated in light of new evidence and arguments (Tulving, 2007).

심리학적 구조가 종종 변화에 그렇게 저항하는 실용적인 이유 중 하나는, 윌리엄 윔샛에 의해 만들어지고 개발된 개념인 , "생성적 고착(알박기)"이다. 일단 어떤 개념이 그것에 따라 다른 많은 개념, 이론, 또는 실천을 가지면, 그것은 "고착"이 되고, 그것이 부족하거나 문제가 있다고 알려져도 바꾸기가 매우 어려울 것이다. 개념을 바꾸면 그에 따라 구조가 무너져 재앙이나 혁명으로 이어질 수 있기 때문이다. 심리학적 구조(특히 임상심리학)는 다른 이론과 모델뿐만 아니라 사회 전반에서도 적용되기 때문에 시간이 지남에 따라 깊이 자리 잡게 되는 경우가 많다. 예를 들어, MDD와 같은 구조는 환자를 진단하거나 건강보험에 대한 결정을 내리는 데 중요한 역할을 한다.
One practical reason why psychological constructs are often so resistant to change is “generative entrenchment,” a concept coined and developed by William Wimsatt (1986, 2007). Once a concept has many other concepts, theories, or practices depending on it, it becomes “entrenched” and will be very difficult to change, even if it is known to be deficient or problematic. This is because changing the concept could collapse the structures depending on it, leading either to a disaster or a revolution (Wimsatt, 2007, p. 140). Psychological constructs (especially in clinical psychology) often become deeply entrenched over time, as they have applications not only in other theories and models but also in society at large. For example, constructs such as MDD play an important role in diagnosing patients or in making decisions about health insurance.

그러나 인식론적 반복과 심리적 구조의 검증은 이론의 위기에서 벗어나는 방법을 찾는 데 결정적으로 중요하다. 앞 절에서 주장했듯이 [좋은 이론의 근거]는 [강력한 현상]이다. 결국, 현상은 데이터에서 추론되며, 데이터가 대부분 잘 이해되거나 검증되지 않은 구성과 측정을 기반으로 한다면, 추론된 현상은 강력하지 않을 것이다. 다시 말해, 심리학에서 강력한 현상이 없는 한 가지 원천은 구성 검증 과정에 대한 강조의 부족이다.
However, epistemic iteration and validation of psychological constructs is crucially important for finding a way out of the theory crisis. As we argued in the previous section, the basis for good theories is robust phenomena. Phenomena, in turn, are inferred from data, and if the data are based on constructs and measurements that for the most part have not been well understood or validated, the phenomena that are inferred are unlikely to be robust. In other words, one source for the lack of robust phenomena in psychology is the lack of emphasis on the process of construct validation.

심리학적 이론과 원인 규명의 문제
Psychological Theories and the Problem of Finding Causes

심리학에서 좋은 이론이 그렇게 적은 세 번째 이유는 심리적 원인을 찾는 것이 매우 어렵기 때문이다. 좋은 이론의 주요 특징은 어떤 식으로든 인과관계를 추적해야 한다는 데 널리 동의되고 있다. 예를 들어 다윈의 진화론은 진화의 원인(자연선택)을 기술했고, DNA 이론은 유전의 인과적 메커니즘을 기술했다. 이러한 관점에서, 심리학적 이론들이 정신이 어떻게 작용하는지를 설명하는 것을 목표로 하는 한, 정신의 인과적 메커니즘을 또한 반영해야 한다고 요구하는 것은 타당하다. 즉, 심리적 변수들 간의 인과관계를 포착해야 한다.
The third reason why there are so few good theories in psychology is that finding psychological causes is extremely challenging. It is widely agreed that a key feature of good theories is that they should, in one way or another, track causal relationships (e.g., Craver, 2007; Pearl, 2000; Woodward, 2003). For example, Darwin’s theory of evolution described the causes of evolution (natural selection), and the DNA theory describes the causal mechanism of inheritance. In this light, it is reasonable to require that psychological theories, insofar as they aim to explain how the mind works, should also reflect the causal mechanisms of the mind (Bechtel, 2008; Thomas & Sharp, 2019). In other words, they should capture causal relationships between psychological variables.

그러나 문제는 Eronen(2020)에서 광범위하게 주장되었듯이 심리적 변수들 간의 인과관계를 발견하는 것이 종종 극도로 어렵거나 불가능하다는 것이다. 그 이유를 설명하기 위해 인과관계를 명확하고 일반적인 방법으로 추론할 수 있는 조건을 제시하는 개입주의적 인과관계의 틀에 의존한다. 
The problem, however, is that discovering causal relationships between psychological variables is often extremely difficult or impossible, as extensively argued in Eronen (2020). To explain why, we rely on the framework of the interventionist theory of causation (Woodward, 2003, 2015; see also Pearl, 2000, 2009), which lays out the conditions for inferring causal relationships in a clear and general way.

[인과관계]의 특징은 (상관관계와 달리) 조작과 통제에 이용될 수 있는 관계라는 것이다. [원인에 개입]하는 것은 [효과의 변화]를 가져오는 방법이다. 개입주의 이론은 이것을 출발점으로 삼아 다음과 같이 인과관계를 정의한다. 다른 변수가 해당 값에 고정되어 있을 때 X에 개입하여 Y를 변경할 수 있는 경우에만 X가 Y의 원인입니다. [개입]은 [Y에 대한 X의 교란 없는unconfounded 조작]이어야 한다: 즉, 'X를 조작'했을 때, [X를 거치지 않는 다른 경로]를 통해 Y를 변화시켜서는 안 된다. (더 정확한 정의는 Eronen, 2020; Woodward, 2003 참조). 실제로 개입을 수행할 필요가 항상 있는 것은 아닙니다. 
때때로 예를 들어 관찰 데이터를 기반으로 간접적으로 개입의 효과에 대한 지식을 얻는 것이 가능하다. 또한, 루빈의 인과관계 모델(예: 루빈, 2005)이나 캠벨의 인과관계 모델(예: 샤디쉬 외, 2002)과 같이 심리과학자들에게 더 친숙한 인과관계에 대한 다른 접근법에서도 동일한 생각이 다른 형태로 나타난다.

The characteristic feature of causal relationships is that (unlike correlations) they are relationships that are exploitable for manipulation and control: Intervening on the cause is a way of bringing about a change in the effect. The interventionist theory takes this as the starting point and defines causation (roughly) as follows: X is a cause of Y if (and only if) it is possible to intervene on X to change Y when other variables are held fixed to their values. The intervention should be an unconfounded manipulation of X with respect to Y: The manipulation of X should not change Y via any other route that does not go through X (for more precise definitions, see Eronen, 2020; Woodward, 2003). It is not always necessary to actually perform an intervention; sometimes it is possible to gain knowledge about the effects of interventions indirectly, for example, on the basis of observational data. The same ideas also appear in different forms in other approaches to causation that are more familiar to psychological scientists, such as Rubin’s causal model (e.g., Rubin, 2005) or Campbell’s causal model (e.g., Shadish et al., 2002).

무작위 대조 시험은 일반적으로 인과 추론을 위한 "금본위제"로 간주되며 위의 조건을 만족시킨다. 예를 들어, 약물 실험에서 참가자는 무작위로 치료 및 대조군에 할당되며, 이 무작위화는 원인(약물)과 효과(회복)가 아닌 다른 변수를 "고정"하는 효과를 생성한다. 치료 그룹의 참가자에게 약물을 투여하는 개입은 근거가 없어야 한다. 예를 들어, 알약에는 약물 자체를 순환하는 원인 경로를 통해 회복에 영향을 미치는 다른 성분이 있어서는 안 된다.
Randomized controlled trials are usually taken to be the “gold standard” for causal inference and for satisfying the above conditions. For example, in a drug trial, participants are randomly assigned to treatment and control groups, and this randomization generates the effect of “holding fixed” other variables than the cause (the drug) and the effect (recovery). The intervention of administering the drug to participants in the treatment group should be unconfounded: For example, there should not be other ingredients in the pill that would affect recovery through a causal route that goes around the drug itself.

많은 [심리 실험]은 약물, 교육 자료 또는 시각 및 청각 자극과 같은 비심리적 원인의 조작을 포함한다(Eronen, 2020). 이러한 경우, 올바른 종류의 개입을 수행하는 것은 원칙적으로 다른 분야보다 어렵지 않다. 따라서 다음의 주장은 외적 독립 변수를 조작하고 심리적 영향을 추적하는 빌헬름 분트까지 거슬러 올라가는 오래된 실험 전통과 관련이 없다. 그러나 정신의 [인과적 메커니즘]을 기술하는 [실체적인 심리학 이론substantive psychological theory]을 개발하는 것이 목적이라면, [외부 독립 변수]와 [심리적 변수] 사이의 인과 관계를 확립하는 것만으로는 충분하지 않다. 우리는 또한 [심리적 변수]들 사이의 인과관계를 배울 필요가 있다. 그리고 이것을 하기 위해서, 우리는 개입이 심리적 변수에 미치는 영향에 대해 배울 필요가 있다.

Many psychological experiments involve the manipulation of nonpsychological causes, such as drugs, educational materials, or visual and auditory stimuli (Eronen, 2020). In such cases, performing the right kinds of interventions is in principle not more difficult than in other fields. Therefore, the following arguments do not concern the venerable experimental tradition, going all the way back to Wilhelm Wundt, of manipulating external independent variables and tracking their psychological effects. However, if the aim is to develop substantive psychological theories that describe causal mechanisms of the mind, establishing causal relationships between external independent variables and psychological variables is not enough: We also need to learn causal relationships between psychological variables. And to do this, we need to learn about the effects of interventions on psychological variables.

[심리적 변수]에 대한 개입의 문제는 일반적으로 "뚱뚱한 손"이라는 것이다. 이 variable는 대상 variable 하나만 변경하는 것이 아니라 여러 다른 variable도 바꿔놓습니다. 생각이나 영향 등 심리적 변수를 직접 조작할 방법이 없기 때문이다. 대신, 그들은 구두 지시나 다른 외부 자극을 통해 간접적으로 조작되어야 하며, 그러한 기술은 일반적으로 하나의 변수만 변경할 정도로 정확하지 않다. 예를 들어, (적어도 현재) 동기, 주의 또는 불안감과 같은 다른 심리 상태를 변경하지 않고 [통제력 상실의 감정을 조작하는 것]은 불가능하다. 또한 심리적 변수는 예를 들어 자기 보고서나 행동 대용물을 기반으로 간접적으로만 측정할 수 있다(De Houwer, 2011). 따라서 개입이 정확히 어떤 변수를 변경했는지, 따라서 어느 정도까지 뚱뚱했는지 검증하거나 확인하는 것이 매우 어렵습니다.

The problem with interventions on psychological variables is that they are typically “fat-handed” (Eronen, 2020)4: They do not change just the one variable that is targeted but several other variables as well. This is because there is no direct way of manipulating psychological variables such as thoughts or affects (Chiesa, 1992; Hughes et al., 2016). Instead, they have to be manipulated indirectly via verbal instruction or other external stimuli, and such techniques are typically not precise enough to change just one variable. For example, it is (at least currently) impossible to manipulate feelings of loss of control without changing any other psychological states, such as motivation, attention, or feelings of anxiety. Moreover, psychological variables can be measured only indirectly, for example, on the basis of self-reports or behavioral proxies (De Houwer, 2011). This makes it very difficult to verify or check what variables the intervention precisely changed and therefore to what extent it was fat-handed.

이것은 심리적인 원인을 찾는 데 문제를 일으키는데, 왜냐하면 개입이 뚱뚱할 때, 우리는 그것들이 [인과적 추론]을 할 수 있게 만들어주는 [교란 없는unconfounded 조작manipulation]이라고 가정할 수 없기 때문이다. 보다 구체적으로, 우리는 그것들이 추정 원인 X를 통과하는 경로를 통해서만 추정 효과 Y를 변화시킨다고 가정할 수 없다. 이것을 설명하기 위해, 다시 한번 자아 고갈 연구에 초점을 맞추자. 자아 고갈 실험에서, 자기 통제는 매우 다양한 방식으로 조작된다(예: 참가자가 복잡하거나 좌절하는 작업이나 게임에 참여하게 하거나 맛있는 음식을 먹고 싶은 유혹을 뿌리치게 함으로써). Friese et al., 2019. 두 번째 작업에서 자기 통제가 성능 저하의 원인이라는 결론을 보증하기 위해, 이러한 개입은 추정 효과(즉, 두 번째 작업에서 성능 저하)와 관련하여 근거 없는 자기 통제의 조작이어야 한다. 다시 말해, 그들은 효과의 다른 가능한 원인(예: 동기, 주의, 분노의 감정)에 영향을 미치지 않는 방식으로 자기 통제를 변화시켜야 한다. 그러나 개입의 다소 일반적인 성격과 자기 통제 및 관련 구성(동기, 주의 등)의 인과 구조에 대한 우리의 지식이 부족하다는 점을 고려할 때, 
우리는 현실적으로 이것이 사실이라고 가정할 수 없다. 예를 들어, 쿠키를 먹고 싶은 유혹에 저항하는 것은 또한 동기부여에 영향을 미치거나 분노와 좌절의 감정을 유발시킬 수 있다. 이는 자아 고갈 실험이 감소된 자기 통제 자원이 두 번째 작업에서 성능 저하에 대한 원인이라는 충분한 증거를 제공하지 않는다는 것을 의미하며, 이는 실제로 최근 연구 상태에 대한 검토에서 도달한 결론과 일치한다.

This creates a problem for finding psychological causes because when interventions are fat-handed, we cannot assume that they are unconfounded manipulations that license causal inferences. More specifically, we cannot assume that they change putative effect Y only via a route that goes through the putative cause X. To illustrate this, let us again focus on ego-depletion research. In ego-depletion experiments, self-control is manipulated in very diverse ways (e.g., by letting participants engage in a complex or frustrating task or game or by letting them resist the temptation to eat delicious food; Friese et al., 2019). To warrant the conclusion that self-control is the cause of impaired performance in the second task, these interventions should be unconfounded manipulations of self-control with respect to the putative effect (i.e., impaired performance in the second task). In other words, they should change self-control in such a way that other possible causes of the effect are not affected (e.g., motivation, attention, feelings of anger). However, given the rather general nature of the interventions and our lack of knowledge of the causal structure of self-control and related constructs (motivation, attention, etc.), we cannot realistically assume that this is the case (Friese et al., 2019). For example, resisting the temptation to eat cookies might also affect motivation or induce feelings of anger and frustration. This means that ego-depletion experiments do not provide sufficient evidence that a diminished self-control resource is the cause for the impaired performance in the second task which is indeed in line with the conclusion reached in recent reviews of the state of the research (Friese et al., 2019; Inzlicht & Friese, 2019).

요약하면, [심리 변수에 대한 개입]은 [뚱뚱한 손]일 가능성이 높으며, 그러한 개입은 인과 추론의 [신뢰할 수 있는 근거를 제공하지 못한다]. 심리변수에 대한 개입은 종류가 완전히 다르고 외부변수에 대한 개입보다 훨씬 어렵기 때문에 외부요인을 조작하고 그 심리적 영향을 추적하는 실험적 전통은 단순히 심리변수를 조작하는 것으로 확장될 수 없다(Chiesa, 1992; De Houwer, 2011 참조). 심리학 이론이 인과관계를 추적해야 하는 한, 이는 심리학에서 좋은 이론이 왜 그렇게 적은지, 그리고 왜 그렇게 발전하기 어려운지를 설명하는 데 중요한 요소이다.
In sum, interventions on psychological variables are likely to be fat-handed, and such interventions do not provide a reliable basis for causal inference. The experimental tradition of manipulating external factors and tracking their psychological effects cannot simply be extended to manipulate psychological variables, as interventions on psychological variables are entirely different in kind and far more difficult than interventions on external variables (see also Chiesa, 1992; De Houwer, 2011). Insofar as psychological theories should track causal relationships, this is an important factor in explaining why there are so few good theories in psychology and why they are so difficult to develop.

논의
Discussion

이 글에서는 좋은 심리이론을 개발하는 데 있어 세 가지 근본적인 어려움에 대해 논의하였다. 

• (충분한) 강력한 현상의 부족,
• 심리적 구조에 대한 타당성과 인식론적 반복의 부족,
• 심리적 원인 정립의 문제 등

이러한 문제들은 이론 위기 해결에 진전을 이루기 위해 다루어지고 논의되어야 한다. 우리는 이제 이러한 문제에 기초하여 심리 연구에 대한 몇 가지 권장 사항을 개략적으로 설명한다.

In this article, we have discussed three fundamental difficulties in developing good psychological theories:

• the lack of (sufficient) robust phenomena,
• the lack of validity and epistemic iteration for psychological constructs, and
• the problem of establishing psychological causes.

These issues should be addressed and discussed to make progress in resolving the theory crisis. We now outline several recommendations for psychological research on the basis of these issues.

첫째, 우리의 논의는 심리학에서 최근 더 많은 "현상 감지" 또는 "현상 주도 연구"에 대한 요구를 지지한다. [새로운 현상을 발견]하고, 이미 발견된 것에 대한 보다 강력한 증거를 수집함으로써 가능한 이론의 공간은 제한될 것이다. 

First, our discussion supports the recent calls for more “phenomena detection” or “phenomenon-driven research” in psychology (Borsboom et al., 2021; De Houwer, 2011; Haig, 2013; see also Trafimow & Earp, 2016). By discovering new phenomena and gathering more robust evidence for those already discovered, the space of possible theories will be constrained.

[현상 주도 연구]를 지지하는 또 다른 중요한 이유는 현상이 과학과 사회에 매우 중요할 수 있기 때문이다(Eronen, 2020). 
예를 들어 확증편향과 같이 심리학자들이 발견한 광범위한 인지편향은 대부분 매우 강력한 현상이다(길로비치 외, 2002). 이러한 현상을 설명하기 위해 다양한 이론이 제안되었는데, 예를 들어, 사람들이 간단한 휴리스틱으로 어려운 계산을 대체한다고 보는 [속성-대체 이론]이나, 이것보다 훨씬 일반적인 [이중 시스템 이론](Kaneman & Frederick, 2002) 등이 있다. 그러나 이러한 이론들은 현상 자체보다 훨씬 더 논란이 많다. 더욱이, 이러한 [현상들이 존재한다는 것]을 아는 것은 비록 우리가 그 이면의 이론이나 메커니즘을 알지 못하더라도 과학과 사회에 매우 중요하다. 심리학에서 발견된 광범위한 다른 강력한 현상, 예를 들어, 사람들이 [익숙하지 않은 자극]보다 [익숙한 자극]을 선호하는 경향이 있는 현상도 마찬가지다(즉, 단순한 노출 효과; Bornstein, 1989). 이러한 [현상이 존재한다는 것]을 [아는 것, 그리고 그것을 기술하는 것]은 그것들을 설명할 수 있는 받아들여진 이론이 없는 경우에도 유용하다. 

Another important reason to support phenomenon-driven research is that phenomena can also be extremely important for science and society as such (https://doi.org/10.1016/j.newideapsych.2020.100785" data-mce-href="https://journals.sagepub.com/doi/10.1177/1745691620970586#">Eronen, 2020): Consider, for example, the broad range of cognitive biases that psychologists have discovered, such as confirmation bias, most of which are very robust phenomena (Gilovich et al., 2002). Various theories have been proposed to explain these phenomena, such as the attribute-substitution theory, according to which people substitute difficult computations with simple heuristics, or the more general dual-system theory (Kahneman & Frederick, 2002). However, these theories are far more controversial than the phenomena themselves. Moreover, knowing that these phenomena exist is extremely important for science and society, even if we do not know the theory or mechanism behind them. The same holds for a broad range of other robust phenomena discovered in psychology, for example, the phenomenon that people tend to prefer familiar stimuli to unfamiliar ones (i.e., the mere-exposure effect; Bornstein, 1989). Simply knowing that these phenomena exist and describing them is useful, even in the absence of an accepted theory that would explain them.

발견되고 기술되는 것 외에도, [서로 다른 현상들에서 공유된 추상적 구조]를 찾아냄으로써 현상을 더욱 분석할 수 있다(Hughes et al., 2016). 예를 들어, 추상적 수준에서, [끊임없이 전화기를 확인]하고 [사탕으로 아이들의 좋은 행동을 보상하는 것]이라는 이 두 가지 서로 다른 현상들은 둘 다 (긍정적) 강화의 사례로 볼 수 있다(Hughes et al., 2016). 이러한 모든 이유로, [현상 탐지]는 그 자체로 중요한 목표이자 심리 연구의 중심적인 부분으로 간주되어야 한다(Fiedler, 2017; Haig, 2013; Rozin, 2001 참조).
In addition to being discovered and being described, phenomena can also be further analyzed by looking for shared abstract structures in different phenomena (Hughes et al., 2016). For example, at an abstract level, phenomena as different as constantly checking your phone and rewarding the good behavior of children with candy can both be seen as instances of (positive) reinforcement (Hughes et al., 2016). For all of these reasons, phenomena detection should be seen as an important goal in itself and as a central part of psychological research (see also Fiedler, 2017; Haig, 2013; Rozin, 2001).

그러나 우리는 결코 심리학에서의 이론화가 절망적이거나 자원의 낭비이거나 정신적 과정에 대한 이론이 비과학적이라고 거부되는 일종의 행동주의로 돌아가야 한다고 제안할 생각은 없다. 우리가 제기한 문제는 극복할 수 없는 장애물이 아니라 주어진 영역에서 좋은 심리학 이론이 개발되기 전에 충족되어야 할 도전으로 보아야 한다.
However, we by no means intend to suggest that theorizing in psychology is hopeless or a waste of resources or that we should return to a kind of behaviorism in which theories about mental processes are rejected as unscientific. The issues we have raised should not be seen as insurmountable obstacles but rather as challenges that need to be met before good psychological theories can be developed in a given domain.

이제 다음 사항을 살펴보겠습니다. 최근 문헌에서 공통적으로 다루어지는 주제인 [심리이론을 좀 더 수학적으로, 형식적으로 만드는 것]이 과학으로서 심리학의 상당한 발전으로 이어질지 의문이다.5 우리가 논의한 문제들 중 어떤 것도 심리학 이론을 공식화하는 것으로 해결되지 않는다. (심리 이론을 formalize하더라도) 여전히 [이론을 제약할 강력한 현상]은 많이 나타나지 않을 것이며, 따라서 [사용된 구인]이 더 유효해지지도 않을 것이며, 공식적인 처치formal treatment만으로는 [인과관계와 뚱뚱한 개입의 문제]를 해결할 수 없다. 또한 생명과학에서 많은 성공적이고 매우 중요한 이론들은 형식화되거나 수학적인 이론이 아니다. (예: 발효 이론 또는 시냅스 전달 이론; Bechtel & Richardson, 1993; Machamer, Darden & Craver, 2000) Rozin(2001; Morey et al., 2018 참조)이 지적한 바와 같이, 복잡한 통계 및 계산 모델을 사용한다고 해서 심리학이 더 과학적이지는 않으며, [개념 및 경험적 기초(예: 강력한 현상)]가 아직 견고하지 않다면 오히려 역효과를 낼 수 있다.

This brings us to our next point: It is doubtful whether making psychological theories more mathematical or formal, which is a common theme in the recent literature (e.g., Borsboom et al., 2021; Muthukrishna & Henrich, 2019; Oberauer & Lewandowsky, 2019; van Rooij & Baggio, 2021), will lead to significant advances in psychology as a science.5 None of the problems we have discussed is solved by formalizing psychological theories: There will still be no large body of robust phenomena to constrain the theories, the constructs used do not become more valid, and a formal treatment alone does not solve the problem of causality and fat-handed interventions. Moreover, many successful and extremely important theories in the life sciences are not formalized or mathematical theories (e.g., the fermentation theory or the theory of synaptic transmission; Bechtel & Richardson, 1993; Machamer, Darden & Craver, 2000). As pointed out by Rozin (2001; see also Morey et al., 2018), using complex statistical and computational models does not make psychology more scientific and can be even counterproductive if the conceptual and empirical basis (e.g., robust phenomena) is not yet solid.

마지막으로, [이론의 기초]로서 [명확하고 투명하게 정의된 개념을 갖는 것]의 중요성을 아무리 강조해도 지나치지 않다. 이는 이론의 공식화와는 다르다. 개념은 [정성적으로 공식화된 이론]에서도 잘 정의될 수 있으며(예: 다윈의 진화론), 형식 이론은 제대로 정의되지 않은 개념을 요소로 가질 수 있다(예: 명확한 수학적 구조를 가지고 있지만 중심 개념 "밈"이 잘 정의되지 않은 밈학 모델; Kronfeldner, 2011). [개념적 명확화]와 [구인 타당화construct validation]은 연구의 중요하고 가치 있는 부분으로 간주되어야 하며, validation은 단지 넘어야 할 장애물이 아닌 반복적이고 지속적인 과정으로 간주되어야 한다. 우리가 볼 때, 심리학 이론의 개념적 기초를 강화하는 것은 적어도 심리학 연구에서 통계적 기법과 관행을 향상시키는 것만큼 중요하다.

Finally, it is hard to overemphasize the importance of having clearly and transparently defined concepts as the basis for theories. Note that this is not the same as formalization of theories: Concepts can be well defined in qualitatively formulated theories as well (e.g., Darwin’s theory of evolution), and formal theories can have poorly defined concepts as their elements (e.g., models in memetics that have a clear mathematical structure but for which the central concept “meme” is not well defined; Kronfeldner, 2011). Conceptual clarification and construct validation should be seen as an important and valuable parts of research, and validation should be taken to be an iterative and ongoing process instead of just a hurdle that needs be crossed. In our view, strengthening the conceptual basis of psychological theories is at least as important as improving statistical techniques and practices in psychological research.

장기적으로, 이것은 [명확하게 정의되고, 명확하게 측정 가능한 구인]을 가지게 해줌으로써, [표적 개입]을 수행하고 그 영향을 추적하는 것을 더 쉽게 만들어주고, 궁극적으로 [인과 추론] 문제에 도움이 될 것이다. 충분히 [잘 정의된 구조]와 [타당한 측정]으로, 순수한 [관측 데이터로부터 인과 관계를 추론]할 수도 있다(예: Eronen, 2020; Roher, 2018 참조). 심리학적 원인을 찾는 문제에 대한 또 다른 가능한 반응은, 예를 들어, 현상으로부터 추출된 추상적 기능 원리의 형태로 [비인과 이론noncausal theory]을 개발하는 것이지만, [비인과 이론]이 진정으로 설명될 수 있는지는 현재 진행 중인 논쟁의 문제이다.

In the long run, this will also help with the problem of causal inference, as having clearly defined and clearly measurable constructs makes it easier to perform targeted interventions and to track their effects. With sufficiently well-defined constructs and valid measurements, it may also be possible to eventually infer causal relationships from purely observational data (for more, see, e.g., Eronen, 2020; Rohrer, 2018). Another possible reaction to the problem of finding psychological causes is to develop noncausal theories, for example, in the form of abstract functional principles extracted from phenomena (De Houwer, 2011; Hughes et al., 2016), although whether noncausal theories can be truly explanatory is a matter of ongoing debate (see, e.g., Reutlinger & Saatsi, 2018).

다행히도, 우리가 위에서 설명한 좋은 관행을 예시하는 심리학의 지속적인 연구 프로그램들이 있다. 예를 들어, 최근 [자아 고갈 연구]에서 실망한 이후, [자기 통제 및 관련 개념]과 같은 핵심 구조를 더 잘 정의하고 이를 측정하는 다양한 방법을 검증하려는 노력이 증가하고 있다. 더 넓은 예는 먼저 [환경-행동 관계(강력한 현상)]를 확립한 후 [매개자 역할]을 하는 명확하게 정의된 정신적 구조의 관점에서 이에 대한 설명을 공식화하는 것을 목표로 하는 기능-인지 패러다임이다. 마지막으로, 보다 구체적인 예로서, Robinaugh 외 연구진(2020)은 이러한 특정 장애에 맞춤화되어 현상에 의해 제약을 받는 공황 장애에 대한 이론을 제안하고, 저자들은 또한 핵심 개념을 정의하는 데 명시적으로 초점을 맞추고 있다.
Fortunately, there are ongoing research programs in psychology that exemplify the good practices we have describe above. For example, after the recent disappointments in ego-depletion research, there are now increasing efforts to better define the key constructs, such as self-control and related concepts, and to validate different ways of measuring them (Friese et al., 2019; Inzlicht & Friese, 2019; Lurquin & Miyake, 2017). A broader example is the functional-cognitive paradigm (De Houwer, 2011; Hughes et al., 2016) that aims at first establishing environment-behavior relations (robust phenomena) and then formulating explanations for them in terms of clearly defined mental constructs that act as mediators. Finally, as a more concrete example, Robinaugh et al. (2020) propose a theory for panic disorder that is tailored to this specific disorder and thereby constrained by phenomena (there is robust evidence for many central phenomena related to panic attacks), and the authors also explicitly focus on defining the key concepts.

결론적으로, 우리는 이론 위기의 근저에 있는 가장 근본적인 요인은 주제 그 자체인 심리학이 좋은 이론을 개발하는 것을 매우 어렵게 만든다는 것이라고 믿는다(Meehl, 1978). 현대 과학 철학을 바탕으로, 우리는 심리학적 이론을 발전시키기 위한 세 가지 핵심 과제에 대해 논의했습니다. 이론을 제약할 만큼 [강력한 현상]이 없는 경우가 많고, [구인를 정의하고 검증]하는 데 충분한 주의를 기울이지 않으며, 심리적 [원인을 규명]하는 것은 매우 어렵다. 우리는 이 기사가 이러한 중요한 문제들에 더 많은 관심을 가져옴으로써 심리학의 이론적 토대를 위한 보다 견고한 구성 요소를 제공하는 데 도움이 되기를 바란다.

To conclude, we believe that the most fundamental factor underlying the theory crisis is that the subject matter itself, psychology, makes it very hard to develop good theories (https://doi.org/10.1037/0022-006X.46.4.806" data-mce-href="https://journals.sagepub.com/doi/10.1177/1745691620970586#">Meehl, 1978). Drawing on contemporary philosophy of science, we have discussed three central challenges to developing psychological theories: There are often not enough robust phenomena to constrain theories, not enough attention is paid to defining and validating constructs, and establishing psychological causes is very hard. We hope that this article brings more attention to these crucial issues and thereby helps to provide more solid building blocks for the theoretical foundations of psychology.

 

 

---

Perspect Psychol Sci. 2021 Jul;16(4):779-788. doi: 10.1177/1745691620970586. Epub 2021 Jan 29.

The Theory Crisis in Psychology: How to Move Forward

Markus I Eronen 1, Laura F Bringmann 2

Affiliations collapse

Affiliations

1Department of Theoretical Philosophy.

2Department of Psychometrics and Statistics, University of Groningen.

PMID: 33513314

PMCID: PMC8273366

DOI: 10.1177/1745691620970586

Free PMC article

Abstract

Meehl argued in 1978 that theories in psychology come and go, with little cumulative progress. We believe that this assessment still holds, as also evidenced by increasingly common claims that psychology is facing a "theory crisis" and that psychologists should invest more in theory building. In this article, we argue that the root cause of the theory crisis is that developing good psychological theories is extremely difficult and that understanding the reasons why it is so difficult is crucial for moving forward in the theory crisis. We discuss three key reasons based on philosophy of science for why developing good psychological theories is so hard: the relative lack of robust phenomena that impose constraints on possible theories, problems of validity of psychological constructs, and obstacles to discovering causal relationships between psychological variables. We conclude with recommendations on how to move past the theory crisis.

Keywords: causation; phenomena; robustness; theory; validity.