“연속변수의 확률분포”라는 말의 의미가 와닿나요?

-       빈도가 확률을 나타낸다. 전체 빈도가 있고, 특정한 값을 갖는 빈도가 있을 때 그것이 확률이다.

n  특정 값에서 frequency/Total frequency = 특정 값에서의 확률

Large Sample(N >= 30)의 신뢰구간 구하기.

-       보통 30을 기준으로 이야기한다.

-       s라고 쓰면 표본의 표준편차, 우리는 보통 표본의 표준편차를 쓴다.

n  모집단에서는 표준편차 구할 줄 모르니까.

n  신뢰구간의 폭을 구하는 기본적 공식이다.

-       표본의 크기는 같은데…

n  신뢰수준이 높아지면, è 신뢰구간의 폭이 더 커진다.

n  신뢰수준이 낮아지면 è 신뢰구간의 폭이 더 좁아진다.

t-분포

-       평균값 0을 중심으로 대칭이나 표준편차가 다른 것.

-       표준편차는 1보다는 크고, 실제 t분포의 모양은 표본의 크기나 자유도에 따라서 달라진다.

n  자유도가 얼만큼이냐에 따라서 모양이 달라진다.

n  양쪽이 대칭이니 왜도는 없고…자유도가 떨어지면 첨도가 떨어진다.

-       그런데 t분포는 기본적으로 정규분포와 유사한 분포이고, 표본의 크기가 커지면(=자유도가 커지면) 표준정규분포에 수렴한다.

n  t분포를 활용해서, 자유도가 커지면 표준정규분포와 같아지기 때문에 보통 통계패키지에 built-in 되어있는 분포는 t분포이다.

“Robust” Statistical Method

-       Robust하다는 말이 많이 나온다. 강건하다/굳건하다라는 뜻인데,

-       통계학적인 의미는 따로 있다. 어떤 통계분석을 하려면 assumption이 있어야 한다. 검정을 배우면서 assumption이 있었다. 가장 기초적인 assumption은 표본 추출을 잘 해야한다는 가정. 이러한 가정이 위배되면 분석을 할 수 없다.

-       이러한 assumption이 위반되어도, 쓰려고 하는 통계적 방법이 유용할 때, 그 통계적 방법을 robust하다고 한다.

-       Robust라는 말을 기억해 둘 필요가 있다. “이 결과가 robust한 결과다” 라는 말을 쓰고.

-       “Assumption이 위반되도 이 SE를 적용하면 믿을 수 있다.” 이런 뜻.

-       t분포에서 이 이야기를 하는 이유는, t분포는 모집단이 10000개인데, 30개만 표본을 뽑았을 때 모집단의 분포 모양을 따르리라는 보장이 없다. 그래서 표본 수가 작을 때는 모집단이 정규분포를 따라야 하는데 그렇지 않은 경우가 많다. 이럴 때 t분포를 활용을 해도 검정할 수 있다. 그래서 assumption이 위반되었다는 것이며 그래서 robust라는 표현 쓴다.

표준정규분포는 자유도가 무한대인 t분포와 같다.

-       자유도가 30 이상이면 t점수는 z점수에 비슷하게 수렴한다.

실질적으로는..

-       사례수가 올라가면 z점수가 t점수가 같기 때문에, t값을 쓴다.

-       “t값이 1.96넘었나?” “t값이 얼마야?” 라고 확인하다. t값이 얼마인지.

모집단의 평균에 대한 가설검정

-       Agresti. Statistical Methods for the Social Sciences. 이 분은 categorical data 쪽으로 유명한 분. 수학을 많이 잊어버린 사회과학자들을 위해서 쓰신 책임.

-       검정을 하는 순서..

n  1. Assumption

u  quantitative variable (평균을 낼 수가 있는 변수)

u  Randomization : 표본추출법. 표본이 모집단 잘 반영하는가

u  Normal population : 충분히 n이 크면, 모집단이 반드시 정상분포를 따를 필요가 없다. 표집분포가 정상분포가 되니까.

n  2. Hypothesis

u  등가설이면 양방검증, 부등가설이면 일방검증

u  영가설이 항상 0은 아니다. 하지만 보통 0인지 아닌지를 궁금해한다. 독립적인 것은 관계가 없는 것이고, 의존적인것은 관계가 있는 것.

n  3. Test statistic

u  검정값을 빼주고, SE로 나누고, 평균일 경우는 이런 공식(se = s/sqrt(n))을 쓴다.

l  표준오차공식이 경우마다 다른데, 이건 기억을 해두자

n  4. P-value

u  P value는 검정값이 모집단에서 값이라고 전제했을 때 표본에서 이 값이 얻어질 확률.

u  검정값을(0가설 값을) 전제했을 때, 포본에서 얻어진 관찰값을 얻을 수 있는 확률.

u  P value가 크면, 0가설을 기각할 수 없다. 왜냐하면 0가설을 전제했을 때 관찰값을 얻을 확률이 크면 0가설을 기각할 수 없다.

u  표준오차하고 통계량을 알려준다. 그럼 통계량(test statistics)을 표준오차(SE)로 나눈다. 계수값에 대해서 t값을 알면, 이것이 0가설을 기각할 수 있는지 아닌지 아니까. t값이 2 이상이면 아는 것이죠. 종속변수에 영향이 있구나…라고.

n  5. Conclusion

P value의 두 가지 의미

-       보통은 “0가설이 진실”일 때의 확률이 P value이다. 그래서 이 확률이 충분히 커야 0가설을 기각할 수 없다.

n  0.05보다만 크면 0가설을 기각하지 못한다. 상당히 보수적인 것이다. 그러나 경우에 따라서 0.1보다 작으면, 다음 연구를 기대해 봐야한다든가, 다른 표본을 봐야한다고 한다. 혹은 사례수가 너무 작으면 표준오차값이 크니까, 사례수 늘리면 의미가 있을 것이다. 또는 이미 그 분야에서 확립된 관계인데, 사례수가 작아서 0.05와 0.1사이인 경우가 왕왕 있다.

-       Likelihood of the observed data, if H0 were true. 이것이 사실일 때 관찰된 자료의 확률. 관찰값의 확률.

n  이것이 사실인데, 관찰값의 확률은 0.05보다 작다.

n  관찰값이 모집단에서 0인데, 관찰값이 10, 20 나왔다. 그런데 이 확률이 너무 작다. 그러면 관찰값이 이 전제(0이라는 전제)에서 나왔다고 볼 수가 없는 것.

n  표본을 뽑아서 관찰된 값의 확률이 0.05보다 작으면, 0가설의 값이 사실이라고 받아들일 수 없다.

n  관찰된 자료의 확률 이라는 표현을 기억해두세요. Maximum Likelihood Estimation (최대우도법) 에 가면 이 논리가 다시 적용된다

상관관계(Correlation)

-       연속변수에서 두 변수의 관계를 표현하는 것.

-       상관관계는 관계의 정도를 표현하기도 하고, 방향을 표현하기도 함.

-       -1은 최대 상관관계값. 상관관계의 최소값은 0이지 -1이 아니다.

상관관계 이해하기

-       상관관계는 어떻게 측정하나? 상관관계는 공분산에서 시작한다.

-       (연속)변수 둘의 관계에서 공분산이 나온다.

-       공분산에서 시작한다. 점을 찍어보면 상관관계가 있는 것을 생각할 수 있고. X Y pair의 좌표가 있다. 그 coordination의 값을 보는 것. X가 얼만큼 증가하면 Y도. 증가한다거나.

상관관계 이해하기 : 공분산

-       상관관계는 표준화해서 최소값이 0이고 최대값이 1이다…

-       본질적으로 이해해야 하는 것은 공분산(covariance)이다.

n  Covariate : 연속변수인 독립변수를 covariate이라고 많이 부른다. CoVARIATE. 연속변수가 독립변수인 경우. 뭐하고 covariate한다는 이야기? 종속변수와! (함께 변한다는 이야기)

n  공분산은 x의 개별값을 x의 평균에서 뺀 값, y의 개별값을 y의 평균에서 빼고 곱한 것을 다 더해서 사례수로 나눠주는 것.

n  단위가 다르면 되면 소득-교육의 상관관계가 강한지, 교육-연령 상관관계가 강한지 알 수 없다. 따라서 표준화 하려는 것이다.

n  표준화하는 것은 평균을 빼고, SD로 나누는 것이다. 표준편차로 나누면 상관관계이다.

-       통계에서 괄호안의 이 식을 표현하는 말이 있다. “편차” “Deviation”

n  “편차를 곱한 값”을 더해서 사례수로 나눈 것을 공분산(covariance)라 부른다.

n  여기서는 다른 변수를 곱한 것이지만, 같은 변수 (X-평균)(X-평균)라고 하면 Sum of Square라고 부르고, 이것을 사례수로 나누면 “분산”이다

n  Sigma는 모집단의 표준편차이고 Sigma_xy 라고 되어있으면 공분산이고, Sigma_(x^2)은 분산이다.

-       표본인 경우에 n-1 해주는 것은 배웠다. 표본은 과대추정하므로, 이것을 adjust하기 위해서.

상관관계 이해하기

-       그러고보면, 분산(variance)은 공분산(covariance)의 특별한 케이스이다!!

상관관계 구하기

-       상관관계는 그 핵심에 공분산이 있다. 두 개 변수의 표준편차로 나눠준 것인데, substantially 측정단위를 통제한다는 의미이다. 상관관계의 크기, 상관의 정도, 상관의 강도, 상관의 수준을 비교할 수 있게 해주는 것.

-       상관관계는 공분산을 표준편차로 나눈 것이다.

-       Rho : 모집단의 상관관계를 rho로 표현한다.

상관관계의 범위

-       최대값은 두 개이다. 1과 -1. ‘관계가 없다’는 0일때이다.

-       상관관계의 부호는 관계의 방향을 나타내는 것이지 크기를 말하는 것이 아니다!!

-       회귀계수도 마찬가지다. (-)붙었다고 작은 것이 아니다.

Mean : Center of Gravity for Values

-       아무런 정보가 없을 때, 평균에서 뺀 값이 편차인데, 이 편차를 제곱해서 다 더한 값을 다른 어떤 값으로 빼서 그 편차를 제곱해서 더한 값보다 더 작다.

-       단순평균에서 구해진 Sum of Square를 TSS라고 한다. Regression은 총자승합에서 출발하는 것이다. 총자승합의 값이 있다.

단순회귀분석

회귀분석의 의미

-       사람마다 소득이 다 다르다. R^2 값에 어느 정도 설명을 했는지가 나타나는 것. 소득이 사람마다 차이가 있는데, 교육 년수를 고려해보니, 소득 차이 중 R^2 만큼을 설명해내더라.

-       종속변수가 사례마다 다른 값이 나오는데, 그 이유를 찾으려고 하는 것이 회귀분석 하는 이유이다.

-       독립변수를 어떻게 찾느냐, 이것은 자기분야의 공부를 열심히 해서 찾는 것이다!!!!

최적화된 회귀선(Best Fitting Line)

-       조건평균 : x가 특정한 값의 범위에 있을 때 y값. 회귀분석의 논리는 이것이다. 단순평균에서 조건평균으로 넘어간 것이 회귀분석.

-       Sum of Squared Errors(SSE) : 조건을 고려했음에도 불구하고 남은 것. Prediction이후에 남은 것이므로 Error이다. 모델을 만들었는데 모델이 딱 맞추지 못한 값이니까.

-       회귀분석은 이런 조건평균을 이으면…직선이 될까요? 안된다.

-       Assumption이 있으며, 이것을 100% 충족시키는 자료는 없다. 그래서 robust라는 이야기를 하는 것이다.

-       SSE가 최소로 되도록 하는 직선을 찾는 것.

Regression model with error terms

-       x라는 조건하에서 y의 기대값 그래서 E(YlX)라 하는 것이고, 이것을 Y_hat  이라고 하고, 이것은 다시 a+bX로 표현될 수 있다.

-       x값이 같은 사례가 있다면, 단순평균에서의 거리가 더 큰 것들이 있다. 이것을 줄여나가는 것이 회귀분석의 목적이다.

-       단순평균과 조건평균을 비교하는데, 어떤 것이 error를 최소화하는가를 보려면 전제조건이 있다. 독립변수 x가 종속변수 y와 관계가 있어야 한다.

n  Y_bar는 단순평균 Y_hat은 조건평균.

n  조건평균의 값이 총합을 줄이려면, 즉, 단순평균에서 얻어진 총합(TSS)보다 SSE가 더 작은 값이 되려면 독립변수-종속변수간 상관관계가 있어야 한다. 없으면 줄어들지 않는다.

-       Y=a+bx 한 다음에도 F test 값이 올라온다. F test는 모델을 비교하는 것인데, 그러면 무슨 모델과 비교했다는 것인가? Y=Y_bar와 비교한 것이다. 단순평균과의 비교. 고려한 독립변수 하나의 효과가 Y에 미치는 영향이 유의미한 경우이다.

총자승합

-       TSS. TSS는 단순평균을 중심으로 사람들이 평균 밑에 있고 위에 있고 왔다갔다 한다.

-       n-1, degree of freedom을 말씀드리는 이유는, missing data가 있어서 이 변수를 지워버리게 된다. y 값 혹은 x 값의 missing이 있을 수 있다. 어느 경우든 지워버린다.

-       분석 끝난 후 사례수를 보고 해야하는데, missing된 자료가 포함된 사례 개수보면 안된다.

오차자승합(SSE or ESS)

-       overall mean은 Y=Y_bar는 parameter가 하나니까 1을 빼주는데, 여기서는 a와 b의 두 개니까 n-2를  빼준다. SSE를 보고, 분석에 포함된 사례수에 2를 더해준다.

-       root mean of square error에 이 값이 보고가 된다. 이것을 나눴을 때 SSE...독립변수를 고려한 후의 종속변수의 분산이다. 종속변수의 분산인데 독립변수 고려하기 전의 분산이 있고 후의 분산이 있다.

-       SSE/(n-2)는 독립변수를 고려한 후의 분산. 따라서 root하면 독립변수 고려한 후의 종속변수의 표준편차이다.

-       이 값들이 output에 보고가 된다. 왜 보고되는지를 알아야 하니까.

Relations among Sum of Squares

-       TSS = SSE + Model SS

-       ‘설명된 양’ 이라고 표현한다. .49라면 49%가 설명된 것.

-       (TSS-SSE)/TSS = 0.49 = R^2이다. 종속변수의 값이 다른 값을 취하는...종속변수가 막 다른 값을 취하는데 왜 다른 값을 취하는지, .다른 값을 취하는 이유를 49% 설명해낸 것.

Cf. 제곱합 또는 자승합

-       Proportion reduction in Error. PRE. 이 값이 R^2값으로.

-       분석을 했다면 분석에 사용된 사례수가 몇 개고 설명된 분산의 양이 얼만지 설명해야 한다.

Ordinary Least Square (OLS)

-       단순회귀분석에서는 a와 b. a가 음수가 될 수도 있다. b 값이 x와 y의 관계를 반영하는데,관계가 steep해지면 말이 안되도 음수가 되기도 함.

-       그러나 절편값을 의미있게 만드는 방법이 있고 centering한다고 하는데, 여기서는 안 다룰 것.

-       Yi_hat과 Y_i 사이에는 예측오차가 존재한다. 따라서 error값을 더해주면 개별 사례값이 나온다. error의 절대값의 총합을 최소화시키는 것이 좋은 회귀식이다.

-       왜 절대값을 안 쓰고 제곱을 하는가? 몇 가지 이유가 있다.

분포를 이해하기 두 가지를 알아야 한다. ‘집중경향성’ ‘산포도’. 

예측을 하고도 남는 것을 error라고 부르고, error의 양을 줄여나가는 것이 통계의 목적. 통계는 error에 관한 것. 이것을 어떻게 줄일 것이냐의 것이지, 정답을 찾는 것이 아니다. 독립변수가 종속변수와 상관관계가 있어야 error가 준다. 없으면 안 줄어든다.

그럼 상관관계가 있는 변수는 어떻게 찾나? 이것은 통계학이 알려주는 것이 아니다.

(신념이 없는 과학은 불구, 과학이 없는 신념은 맹목 – 아인슈타인)

평균이 가지고 있는 어마어마한 의미가 무엇인가?!

-      평균은 sum of square를 최소화한다. TSS(total sum of square).      

-      회귀분석은 ‘조건평균’이다. 독립변수를 고려한, 그 조건하에서 평균을 구하는 것.

n  독립변수라는 조건(초졸 중졸 고졸 대졸) 사이의 소득수준을 본다. 그러면 전체 소득수준의 평균과는 다르게 나타날 것.

표본일 경우는 n-1 한다. 표본은 분산을 과소추정하는 경향이 있어서 이것을 adjust하기 위해서 n-1을 하는 것.

본래의 matric으로 돌아가기 위해서(측정단위) 자승을 한 다음 다시 root를 한다.

단순평균을 사용한 경우는 TSS라고 한다.

-       총자승합 = TSS = 단순평균에서. 아무런 조건을 고려하지 않은.

-       ‘조건’ 이라고 하면 ‘독립변수’라는 뜻이다.

1,2,3,4,5 붙여놓은 것을 흔히들 Likert라고 생각하는데, 이 자체가 Likert는 아니다. 

조사방법론 책 읽어보세요 Likert가 무얼 했는지. 순서정해놓은 것이 Likert가 한 것이 아니다!!

정규분포는 이론적인 개념이다.

-       현실을 보기 위해서 표준이 되는 것을 개념적으로 구성하는 것. 현실에서 절대로 발견되지는 않지만, 무용지물은 아니다.

n  “정규분포를 따른다” 라고 해야지 “정규분포 이다” 라고 하면 틀린 것.

표준정규분포

-       어떠한 정규분포도 표준편차로 나눠주면 표준정규분포가 된다.

-       평균은 0이 되고, 표준편차는1이 되니까.

z-score를 우리말로 하면 뭐지? 표준점수!

-       분포안에서 점수의 위치를 묘사하기 위해서 표준점수를 사용하는 것.

-       평균으로부터 표준편차가 얼마나 떨어져있는지를 계산하는 것. 왜냐하면 표준편차로 나눠주니까.

-       Z-score는 평균을 구하고, 개별점수에서 평균을 빼서 표준편차로 나눠준다. 개별점수와 평균 사이의 거리.

-       95% 신뢰도를 기준으로 삼으니까….1.96이 중요하다.

표집분포는 정규분포를 따른다.

-       1000명 표본을 무한히 반복해서, 이것의 평균을 가지고 만든 분포.

-       실질적으로 불가능하다. 그래서 가상적/이론적 분포라고 한다.

-       1번 표본의 평균, 2번 표본의 평균, 3번 표본의 평균… 이 평균값 1000개를 가지고 분포를 그려본다. 그러면 그 분포는 정규분포를 따른다. 이것이 표집분포.

n  이것은 이론적인 분포. 그러나 요즘엔 bootstraping 이라고 해보기도 한다.

-       표본분포의 모양은 모집단 문포의 모양과 같아야 할테지만, 우리는 모집단 분포를 모른다. 단지 표본을 잘 뽑았으니까 모집단 분포가 이럴 것이다..라고 예측하는 것.

-       그렇지만 쌍봉으로 생긴 모집단에서 표본을 뽑고 평균을 구하면, 표본을 잘 뽑았다면 모집단의 평균값의 frequency가 가장 높아야 한다. 그러면 표본집단의 평균은 모집단의 평균이 된다. 이것이 중심극한정리이다.

-       모집단의 평균값이 가장 많이 나와야 하기 때문이다.

-       그러나 개별 표본들은 조금씩 벗어나 있을 것이고, 이것을 sampling error라고 부른다. sampling과정에서 우리의 목표는 표집오차를 최소로 하는 것. 그 방법이 모집단에서 표집단에 추출될 확률을 같게 만든 다음 무작위 추출하는 것.

평균을 맞췄더라도 표준편차까지 딱 맞추기는 어렵다. 표준편차의 오차도 표집오차이다. 평균도 표집오차일 뿐만 아니라. 왜 오차라고 부르냐면 ‘모집단 값에 대해서 이야기하니까’ error, 오차라고 부른다. 편차라고 부르지 않고.

표집분포의 분산은 모집단 분산보다 작을 수 밖에 없다.

-       표집분포의 표준편차는 모집단 표준편차보다 작을 수 밖에 없다.

n  실제 데이터가 흩어져 있는 것이 아니라, (표집분포에 나타난 표준편차는) 평균들 사이의 거리이다.

n  그래서 이것을 adjust해주기 위해서 사례수로 나눈다. 표집분포의 표준편차를 표준오차라고 한다.

n  표준오차도 결국 표준편차이다. 그런데 구태어 표집분포의 표준편차만 표준오차라 부른다.

u  왜? 오차라고 부르는 이유가, 표집분포의 평균은 모집단의 평균에 수렴한다. 우리가 알고자 하는 값은 모집단의 평균이다. 여기서 벗어나 있으니 error인 것. 알고자 하는 값은 모집단의 평균이데 이것을 알면 sample 뽑을 필요 없을 것. 여기서 벗어나 있으니..

u  표준오차는 표집분포의 표준편차.

-       표본의 크기가 커지면 오차의 양은 줄어든다. 1000명 vs 10000명 하면 10000명이 모집단에 가까워질 것. 1000명에서 10배다 더 뽑아보 별로 안 줄어든다. 그래서 error의 양을 줄이기 위해서 표본을 줄이면 되잖아~ 라고 하지만 비용 때문에 표본을 키우는 것은 쉽지 않은 일이다. 한 10만명은 돌려야 하는데.

그래서 sample이 큰 것을 가지고 regression 돌리면 웬만한 것은 다 significant하다.

-       그래서 substantially 봐야지 통계적 유의미성만 보면 안된다. 회귀계수값이 실질적으로 가지는 의미를 봐야 한다.

-       통계적으로 유의미한데, 1년 교육 더 받으면 0.5원 올라간 것이 통계적으로 significant하게 보일 수 있다.

표준오차

-       표본평균들의 표준편차, 표집분포의 표준편차

-       모집단에 대해서 벗어난 것이다. 궁극적으로 알고자 하는 것은 모집단 값이다. 우리의 목표는 표준오차를 줄이는 것!

표집분포

-       표준편차와 표준오차는 다르다.

-       표준오차는 표집분포에서만 나타난다.

모집단분포 – 표본분포 – 표집분포

-       모집단분포와 표본분포는 닮아야 하는데, 그러나 표집분포와 닮을 필요는 없다.

-       t분포, F분포, Chi-square 등등 다 표집분포이다. 모든 분포의 기초는 표준정규분포.

표집분포는 이론적인 확률분포이다.

-       서울에서 1000명을 무작위 표본 뽑는다고 했을 때, 이것은 표본이고, 이것을 반복한다. 그러면 여기서 수많은 평균들을 구한 다음에, 그 평균들을 통계량이라고 부른다. Statistics.

-       그리고 이 평균들을 분포시켜보는 것이다. 그러면 이것이 (평균들의) 표집분포가 되는 것.

점 추정

-       추정하는 것이다. 추정하는 것이니 error가 당연히 있다.

-       그러나 점 추정은 이렇게 ‘평균’ 이렇게 single number로 나오는 것이 점 추정.

구간추정

-       0이 아니라고 결론을 내린 다음에, 교육의 효과가 0이라고 할 수 없어…라고 한 다음에 어느 범위 안에 있는가를 구한다.

-       최소 떨어져봐야 10만원, 최대 30만원 사이에 나타날거야…하는 것이 구간추정

신뢰구간

-       0.05에서…어떻다 하는 것은 95%...이고

-       Alpha level은 error의 확률이다.

n  99%는 신뢰수준이고, alpha level은 그럼에도 불구하고 20만원이 0일 확률.

-       귀무가설을 기각해도 그것이 잘못될 수 있다.

n  100번 중 5번은 영가설이 맞는 확률이다.

Q. 표준화는 왜 하나?

-       측정 단위가 다르니까

-       표준정규분포를 따르게 되는 것은…표준화하면 평균은 다 0이되교 표준편차는 1이 된다.

(출처 : http://www.dineshbakshi.com/igcse-business-studies/marketing/revision-notes/809-designing-a-questionnaire)

통계조사 방법론에 대한 인지심리학적 접근법에 의하면, 

응답자들이 조사표의 내용을 이해하고 응답하는 동안에 거치게 되는 

정보처리 과정에서 발생하는 문제들이 설문의 오류를 만들게 된다. 

본 연구에서는 선택지 순서가 달라짐에 따라 

응답자들의 조사표에 대한 응답 방식이 어떻게 달라지는지 

인지심리학적 연구법을 이용하여 분석하고자 하였다. 

이를 위해서 기존에 사용되는 사회 통계 조사표의 설문 문항들을 선별하여 

선택지의 순서를 원래대로 했을 경우와 역순으로 바꾸었을 때 응답의 변화를 관찰하였다. 

한꺼번에 많은 선택지들을 읽고 평가해야하는 순위 문항의 경우 

선택지의 순서를 바꿈에 따라 응답이 달라지는 확실한 순서효과가 나타났다. 

추가적으로 순서효과를 일으킬 수 있는 선택지 개수를 알아보기 위해

 여러 가지 개수의 선택지 문항을 같은 방법으로 실험한 결과 

선택지가 다섯 개 이상이 되는 문항에서 원래 순서일 때와 역순일 때 

다른 응답 양상이 나타나는 순서효과가 나타났다. 

이런 결과는 통계 조사를 위한 설문지제작 시 

이러한 효과가 응답에 미치는 영향을 최소화하기 위한 방법이 고려되어야 할 것임을 시사한다.

통계 조사 방법에 대한 인지심리학적 접근 : 선택지의 개수와 순서에 따른 응답의 변화

(http://www.sisainlive.com/news/articleView.html?idxno=16336)

(http://www.sisainlive.com/news/articleView.html?idxno=16372)

(http://www.sisainlive.com/news/articleView.html?idxno=16443)

(http://www.sisainlive.com/news/articleView.html?idxno=16518)

(http://www.sisainlive.com/news/articleView.html?idxno=16605)

(http://www.sisainlive.com/news/articleView.html?idxno=16694)

(http://www.sisainlive.com/news/articleView.html?idxno=16732)

(http://www.sisainlive.com/news/articleView.html?idxno=16837)

(출처 : http://berlinstirredup.wordpress.com/2012/02/10/opposites-attract/)

상식의 실패, 그리고 융합의 성공

THE FAILURE OF ‘COMMON SENSE’ AND THE SUCCESS OF MULTIPLE DISCIPLINES

학습

Learning

의학교육의 많은 연구가 학습에 대한 상식적 개념에서 출발했다.

Much research in medical education is driven by commonsense notions about the nature of learning: 

(i) learners have different needs, motivations, aptitudes and abilities; instruction should accommodate these; 

(ii) different instructional methods and formats lead to different outcomes, and 

(iii) the more the instructional method encourages activities that are closer to those carried out in the real world, the better the learning.

실패(The failures)

불행하게도, 많은 연구에서 이러한 상식은 하나도 증명되지 못했다. 학습방법에 맞춘 교육이 더 나은 결과를 가져오지도 않았고, 다양한 교육방식이 다른 결과를 가져올 것이라는 생각도 systematic review에 의해 반박당하고 있다.

Unfortunately, despite multiple studies, none of these commonsense axioms finds much support in the literature. Matching learning styles has never been demonstrated to lead to superior outcomes, in either general8 or medical9,10 education. The idea that different instructional formats lead to consistently different outcomes has been challenged by several systematic reviews of e-learning11 and PBL.4

성공(The successes)

반대로, 인지심리학에서 유래한 이론들은 예측가능하고 일관적성있게 도움이 되는 교육 전략을 제공했다. 

Conversely, theories derived from cognitive psychology point to some general instructional strategies that lead to predictable and consistent benefits.12 

Problem-based learning curricula that are directed at the activation of prior knowledge lead to better transfer.13 

The use of multiple examples and commonsense analogies that direct students to the deep conceptual structure of the problem results in significant gains in transfer.14 

Mixed practice, in which examples from different categories are mixed together, and distributed learning, in which learning is spread over several occasions, are both effective strategies directly related to cognitive theories of learning.15,16 

Cognitive load theory17 provides a strong theoretical basis for effective instructional design, is generally directed to simpler presentations and has consistent and strong effects.

임상 문제해결 기술과 임상 추론

Clinical problem-solving skills and clinical reasoning

실패(The failure)

아마 가장 좋은 사례는 McGuire의 연구일 것이다.

Perhaps the best example of a failure of common sense derives from McGuire’s own work.2

많은 학교들이 급진적으로 PBL과 같은 접근법을 도입했다.

New medical schools pioneered radical approaches such as PBL

문제해결능력을 위한 것이었고, 전문가와 초심자의 차이는 전문가는 뛰어난 문제해결 능력을 가지고 있다는 근거로부터 출발한 것이다.

toward measures of ‘problem-solving skills’. The term had common appeal; it was proposed that the differences between experts and novices derived from the fact that experts had good problem-solving skills and novices had still to acquire them.

이 분야에서 가장 발전한 것은 McGuire와 Babbott의 PMP이다.

The best-developed of these was McGuire and Babbott’s patient management problem (PMP),18

그러나 PMP에 대한 psychometric연구와 임상문제해결에 관한 기초연구 모두 불분명한 결과만을 보였다. 

However, both psychometric study of PMPs and fundamental research around ‘clinical problem solving’ revealed a disquieting finding. However, it was measured, the correlation across problems was 0.1–0.3.19,20

성공(The success)

Content Specificity에 관한 일관된 연구결과는 일반적 기술(general skill)은 손실되기 쉽고, 지식이 전문가에게 있어 핵심적인 것이라는 점이었다. 그러나 이것은 지식은 전문성과 관련이 없고, 5년마다 근본적으로 바뀐다는 인식이 널리 퍼져있던 시절에는 직관에 반하는 결론이었다.

The consistent finding of content specificity led inexorably to the conclusion that general skills are evanescent and that knowledge plays a central role in expertise; this represented a counter-intuitive result at a time when proclamations that knowledge was irrelevant and fundamentally changed every 5 years were rife.

이는 약간의 패러다임의 변화를 가져와서, 지식의 이론을 바탕으로 한 연구의 새로운 세대의 시작이 되었다.

This led to a small paradigm shift within the domain and the birth of a new generation of research strongly driven by theories of knowledge

비록 각각의 연구는 임상추론에 관해서 조금씩만 기여할 뿐이지만, 그것들이 합해져서 더 풍부하고, 더 강력한 설명을 제공한다.

Although each theory provides at best only a partial representation of the phenomenon of clinical reasoning, the collective provides a far richer, and more powerful, explanation of the phenomenon that is frequently at variance with common sense.

평가

Assessment

실패(The failure)

학습에 대한 상식이 그랬던 것처럼, 평가에 대한 것도 그럴듯하지만 틀린 것들이 많았다. 첫 번째는 평가의 포멧이 다르면 다른 능력을 평가할 것이라는 상식이었다.

Parallel to commonsense views of learning, assessment research has been driven by some plausible but incorrect views about assessment. First is that different assessment formats necessarily assess different abilities

두 번째 가정은 평가 방식이 실제상황과 비슷할수록, 더 나은 평가라는 것이다.

A second assumption is that the closer the assessment resembles reality (and the higher up the Miller31 pyramid it goes), the better the assessment.

'의학적 역량에 대한 평가를 디자인 할 때는 얼마나 현실과 가까운가(authenticity)가 우선되어야 한다. 이는, 평가를 하는 상황이 실제로 그 역량이 활용되는 환경과 비슷해야 한다는 것이다.'

‘Authenticity should have high priority when programmes for the assessment of medical competence are being designed. This means that the situations in which a candidate’s competence is assessed should resemble the situation in which the competence will actually have to be used.’32

그러나, 아쉽게도 이런 가설은 연구에 의해 뒷받침되지 못했다.

Regrettably, again, the research evidence does not support either assumption

성공(The success)

일찍부터 의학교육은 최신의 psychometric 방법을 도입하기 시작했다. 이러한 변화는 미국과 캐나다의 면허기관에서 주로 도입되었다. 그 결과는 summative assessment(총괄평가)의 방법을 바꾸어놓았고, 현재 사용되는 generalizability theory와 IRT를 분석에 사용하여 의학교육의 방법론이 보통교육(general education) 방법론의 엄격함을 능가할 정도였다.

Quite early in its history, medical education began to adopt state of-the-art psychometric methods. These changes were primarily driven by the national licensing bodies in the USA and Canada. The consequence was sweeping changes in approaches to summative assessment, with the adoption of contemporary methods like generalisability theory and IRT for analysis, to the extent that medical education overtook general education in its methodological rigour.37

시험의 효율성이 높아졌을 뿐만 아니라, 더 높은 예측타당도도 가진다는 것이 증명되었다.

Not only has the efficiency of testing been improved by the application of methods like IRT, but the latter has also been accompanied by consistent evidence of high predictive validity.34,38,39

학제간 융합의 유용성

THE USEFULNESS OF MULTIPLE DISCIPLINES

위의 예들이 보여주는 바와 같이 MER의 강점은, 마치 영어와 같이, 특별한 노력을 기울이지 않고도 다양한 학문의 언어를 흡수할 수 있다는 것이다.

As these examples illustrate, one great strength of MER derives from its ability, like the English language, to effortlessly absorb other disciplinary languages

어떻게 그럴 수 있을까?

What makes this possible? 

첫 번째로, 의학교육은 다양한 관점을 증명할 수 있는 바탕이 되며, 관심의 영역이 수술실에서의 전문가간 의사소통부터, 영상의학에서의 패턴 인식과 인지까지 다양하다.

Firstly, medical education is a rich proving ground for different perspectives, whether the issue of concern relates to factors in interprofessional communication in the operating theatre or a study of pattern recognition and perception in radiology

두 번째로, 더 중요한 것은, Buffalo에서 시작할 때부터 교육환경을 더 풍요롭게 만들고 싶어하는 다양한 보건의료인력을 끌어당겼다는 것이다.

Secondly, and most importantly, from its humble origins in Buffalo, MER has always attracted a coterie of dedicated health professionals with an interest in enriching the teaching environment.

마지막으로, 가장 중요한 것은 MER이 지속적으로 다양한 분야의 학자들의 마음을 끌고 있다는 점이다.

Finally and, in my view, most critically, MER has attracted and continues to attract scholars from multiple disciplines in the behavioural and social sciences. 

실제로, 교육 과학을 흥미롭게 만드는 것은 상식에 의해서 증명되지 않는 것들이 있고, 오히려 직관에 반하기도 한다는 점이다.

Indeed, what makes education science, like all science, such an exhilarating voyage of discovery is that findings so often turn out to be not predictable by common sense, but instead appear to be counter-intuitive,

이 리뷰에서 말하고자 하는 두 번째 것은, 최근 몇몇 commentaries에서 언급된 허무주의적인 태도에 대한 것이다. 교육은 너무 복잡해서 잘 정의되지 않고, 일반화하려는 시도는 빈번히 실패한다는 주장은, 내가 인용한 많은 사례들은 현실적인 문제들과 환경에서 성공적이었을 뿐만 아니라 그 효과도 컸다.

A second insight to emerge from this review refers to the fact that the examples I have chosen provide, I believe, a strong antidote to somewhat nihilistic recent commentaries,6,41 the thesis of which appears to be that education is so complex and ill defined that any attempt to find generalisable truths is bound to fail. Many of the studies I have cited on the ‘success’ side are based on realistic tasks and environments – such as diagnosis of electrocardiograms or learning from resident half-days – yet show large effects.

의학교육연구의 미래

THE FUTURE OF MER

‘Rigorous and relevant research requires a combination of well-trained educationalists and researchers with good practical knowledge of medicine and teaching. One conclusion from all of these is that a close collaboration between doctors and educationalists is indispensable for good medical education and development of better education. Any monodisciplinary endeavour will lead to a suboptimal result.’32

Fifty years of medical education research: waves of migration.

The Stemmler Fund was established in 1995 and subsequently named in honor of Dr. Edward J. Stemmler, who was largely responsible for the conception of the program while chair of the NBME. Dr. Stemmler served as the first chair of the Fund's Steering Committee.

(출처 : http://www.nbme.org/research/stemmler.html)

1960년대에 각 기관으로 흩어진 사람들(Miller, Abrahamson, Jason)은 의학교육실(offices of medical education)을 만들고 교수를 모집했다. 그 세대의 교수들을 MER의 1세대라고 할 수 있다.

1990년대에 새로운 세대(2세대)가 유입되기 시작했고, MER를 전공하지는 않았지만, 관련있는 다른 분야(인지심리학, 인류학, 역학)를 공부한 사람들이었다.

이제는 3세대에 들어섰다. 이들은 다른 분야의 언어는 어설프게밖에 하지 못한다. 그들의 모국어는 MER이다.

다양한 학문이 결합되었을 때 존재하던 의학교육의 강점이 있다고 생각한다. 지속적으로 학문적 모자이크를 유지할 수 있다면, 그래서 용광로처럼 될 수 있다면 이론과 방법론적 지식은 넓어질 것이지만, 다른 분야에서의 유입이 감소한다면 우리는 중요한 자산을 잃게 될 것이다.

의학교육연구(이하 MER)분야는 1950년대에 SUNY at Buffalo의 George Miller에 의해서 탄생했다.

The field we now call medical education research (MER) was born in the 1950s, with George Miller at the State University of New York at Buffalo, New York.1

1960년대에 각 기관으로 흩어진 사람들(Miller, Abrahamson, Jason)은 의학교육실(offices of medical education)을 만들고 교수를 모집했다. 그 세대의 교수들을 MER의 1세대라고 할 수 있다. 이 사람들은 배경이 다양했다.

In the 1960s these individuals moved on to other institutions – Miller to Illinois, Abrahamson to Los Angeles and Jason to Michigan State – where they founded the first research-intensive (and PhD-intensive) offices of medical education and began to employ new faculty members. It is that generation of faculty, myself included, who can be seen as first generation immigrants – people who migrated into MER more or less through a process of random wandering. Our backgrounds were diverse: 

(이 당시 유럽은 조금 사정이 달랐다. 유럽에서는 1970년대에 1세대 연구자들이 생겼다.)

(The European situation was somewhat different; MER came a little later to Europe and many of its first-generation researchers in the 1970s – individuals such as Chris McManus and Colin Coles in the UK, and Wijnand Wijnen, Henk Schmidt and Cees van Boven in the Netherlands – had undergone formal postgraduate training in psychology.)

1990년대에 새로운 세대(2세대)가 유입되기 시작했고, MER를 전공하지는 않았지만, 관련있는 다른 분야(인지심리학, 인류학, 역학)를 공부한 사람들이었다.

The 1990s saw a new generation of researchers enter the field in North America. Although they may not have been trained in MER, they were, nevertheless, like the Europeans, actively recruited from relevant fields, including those of cognitive psychology, anthropology and epidemiology.

이 세대는 이주민 2세대와 비슷하다. 그들은 그들의 원래 국가(원래 전공)과 새로운 국가(의학교육학)에 모두 속해있다. 이들은 MER의 언어를 쓸 수 있으면서, 원래의 언어를 잃지 않았다.

This generation can be likened to the children of immigrants. They belong to both the old country – their host discipline – and the new – MER. They can converse in the new language of MER, but they also retain the mothertongue of their host discipline.

Item Response Theory(IRT)이나 Structural Equation Modelling(SEM)과 같은 Multivariate Statistical Method를 사용할 줄 알았다. 복잡하고 기민하게 실험을 수행했다.

They use multivariate statistical methods like item response theory (IRT) and structural equation modelling (SEM). They do complex and clever experiments.

이 세대의 개개인들은 각자의 분야에서 심도있게 훈련을 받고 나왔기 때문에 그들이 모이면 각자의 전공을 살려서 넓은 범위에서 복잡한 기술을 발휘하여 MER을 더 풍부하게 만들어 줄 수 있었다.

that each individual in this second generation has undergone in-depth training in a particular discipline in the social or behavioural sciences and that collectively they enrich the field with a wide variety of sophisticated skills rooted in their host disciplines.

1세대와의 결정적인 차이는 초반의 생산성(논문 생산성)이었다.

One index of the difference between the two generations is initial productivity. 

이제는 3세대에 들어섰다. 이들은 다른 분야의 언어는 어설프게밖에 하지 못한다. 그들의 모국어는 MER이다.

We are now into a third generation. They speak the languages of other disciplines only haltingly; their disciplinary mothertongue is that of MER.

더이상 다른 전공에서 전문가를 모셔올 필요는 없게 되었다. 우리는 필요한 만큼 충분한 수를 양성하고 있다. 하지만 이에 동반되는 위험도 있다.

No longer need we import specialists from other lands; we are producing sufficient of our own number to be independent. Perhaps, but my central thesis is that this assimilation and maturation carries with it some potential dangers. 

'교육의 연구방법론이 재미있는 이유는, 교육은 그 자체가 학문이 아니기 때문입니다. 교육은 연구의 '분야'라고 할 수 있습니다. 현상과, 사건과, 조직, 문제, 사람, 과정을 포함한, 그래서 그 하나하나가 많은 종류의 연구 재료가 됩니다. 많은 학문의 다양한 관점과 절차들이 연구의 분야로서의 교육에 질문을 던져줍니다.'

‘A major reason why research methodology in education is such an exciting area is that education is not itself a discipline. Indeed, education is a field of study [his italics], a locus containing phenomena, events, institutions, problems, persons, and processes, which themselves constitute the raw material for inquiries of many kinds. The perspectives and procedures of many disciplines can be brought to bear on the questions arising from and inherent in education as a field of study.'

다양한 학문이 결합되었을 때 존재하던 의학교육의 강점이 있다고 생각한다. 지속적으로 학문적 모자이크를 유지할 수 있다면, 그래서 용광로처럼 될 수 있다면 이론과 방법론적 지식은 넓어질 것이지만, 다른 분야에서의 유입이 감소한다면 우리는 중요한 자산을 잃게 될 것이다.

I am concerned that the strength of medical education resides in the bringing together of various disciplinary perspectives. If we succeed in moving from a disciplinary mosaic, in which diversity is recognised and celebrated, to a melting pot, in which practitioners become homogenised, the range of theoretical and methodological knowledge is broad, but immigration from other disciplines is reduced, we may lose a major asset.

그러면 구체적으로 어떻게 다양한 학문이 MER에 기여했을까? 한 가지는 방법론적인 것이다. 단순히 여러 학문의 방법이 MER을 풍부하게 만들었다는 것이 아니라, 관점이나 프로그램, 이론, 그리고 인식론적인 것을 다 포괄하는 것이다.

What, specifically, do these diverse disciplines bring to MER? One contribution is methodology. It is not simply their methods that enrich MER; it is their perspectives, their programmes, their theories and their epistemologies.

Fifty years of medical education research: waves of migration.

(출처 : http://www.royalcollege.ca/portal/page/portal/rc/resources/aboutcanmeds)

INTRODUCTION

지난 100년간 서양의 의학교육은 의학을 의생명과학으로 만들었다. 진료(=의학의 수행)는 가장 최신의 의학지식을 객관적으로 적용하는 것이 되었다.

For the last 100 years, Western medical education has constructed medicine as biomedical science. Over that time, scientific discoveries and medical breakthroughs have changed the face of medical practice. Biomedical research has flourished within medical schools, and non-clinical bench science in particular has become a major part of many of their missions.1–3 The practice of medicine has come to be understood as the objective application of the most advanced medical sciences to patient care; such medical sciences, in turn, have been limited to those which produced bioscientific knowledge. 

이에 따라 의학교육도 진료에 필요한 생명과학을 학습하는 것 위주로 구성되었다. 많은 사람들이 의학에는 'art'적 측면도 있다고 말했지만, 그럼에도 불구하고 의사가 된다는 것은 거의 전적으로 방대한 양의 생명과학 지식을 학습하는 과정이 되어갔다.

Medical education thus has become a predominantly bioscientifically oriented preparation for practice, with medical schools assuming the tasks of both producing biomedical knowledge and creating a curriculum to teach future doctors to practise within this bioscientific framework. Although many recognise that there is also an ‘art’ to the practice of clinical medicine, becoming a doctor continues to entail, almost exclusively, the acquisition of large amounts of bioscientific knowledge. 

생명과학지식이 의료에 많은 이득을 가져다 준 것은 분명하지만, 이것만이 의학교육의 유일무이한 기초는 아니다. 플렉스너는 물론이고, 최근에도 과학 지식을 강조하는 것과 미래에 의사를 키워내는 것의 연관성에 의문을 제기하는 보고서가 나오고 있다. 

Certainly scientific knowledge has brought large benefits to patients in clinical practice, but it is not the only foundation necessary for medical education. Flexner himself, often cited in defence of scientism, did not think scientific knowledge on its own constituted adequate medical training.2,4–6 More recently, reports7,8 and academic publications2,6,9–11 have questioned the exclusivity of the link between the emphasis on scientific knowledge in medical schools and teaching future doctors what they will actually need to know in order to practise medicine. The history of medical education also reminds us that the current generic medical curriculum is not the inevitable result of perfect understanding of how to train future doctors. 

역사적으로 사회적, 정치적, 경제적 힘이 의학교육에 작용해왔고 교육과정을 만들고 변화시켰다. 의학 커리큘럼은 "어떤 것이 되어야 하는 것"이 아니라 "현재 요구되는 것"이다.

Rather, it is the historically mediated result of the social, political and economic forces acting on medical education and its institutions over the time the curriculum was created and modified.12 This realisation that the medical curriculum is not ‘what must be’, but only ‘what is currently’, means that the structure and contents of the curriculum can change to concur with changing conceptions of its goals and objectives. 

현재 역량있는 의사에게 요구되는 다양한 영역은 무엇인가?

We are therefore obliged to ensure that the medical curriculum contains the appropriate kinds of knowledge doctors-in-training need to achieve what is currently believed to be competence. Implications of competency frameworks It is now widely accepted that there are multiple domains in which doctors are required to be competent. 

이러한 역량은 의사가 갖춰야 할 자질에 대한 의학교육자의 의견일 뿐만 아니라, 사회가, 대중이, 환자가, 가족이 요구하는 것이다.

It is not sufficient for doctors to have biomedical knowledge and technical skills. They must also, for example, be able to communicate well, to act in a professional manner and to work effectively with doctor and non-doctor colleagues. These competencies not only represent what medical educators and the medical profession as a whole believe to be important; they also reflect what the public, including patients and their families, want their doctors to be.

CanMEDS 역량은 이러한 것 중 하나이다. EFPO프로젝트로 만들어졌다. 

For example, the CanMEDS competencies (Fig. 1),13 one of the earliest and perhaps best known of the national competency frameworks, arose out of a series of public consultations in Ontario (the most populous Canadian province) in the 1980s.14 That public process and subsequent professional stakeholder consultations, all part of the Educating Future Physicians for Ontario (EFPO) project, identified the doctor roles which then became the CanMEDS competencies unveiled in 2000.15 

Other English language competency frameworks have similar claims to professional and public consultation or support.16–18 The societal expectations of doctors identified and drawn upon in such documents are, of course, as much the historically mediated outcomes of social, political and economic forces as the medical curricula with which they interact. Nonetheless, these frameworks can be seen to be (and are often presented as) surrogates for the current shared understanding between medical professionals, educators and patients about what doctors should be by the end of their training.

RESULTS 

Students educated in the foundational knowledge necessary for competence in all doctor roles would need to be exposed to ideas and ways of thinking from a wide array of disciplines outside the traditional biomedical sciences. These would need to be introduced in context and in ways that would support future medical practice. They would also broaden students’ understanding of the nature of legitimate medical knowledge.

CONCLUSIONS 

There are currently major gaps between the goals and objectives of competency frameworks such as CanMEDS and the actual contents of medical curricula. Addressing these will require curricular transformation to add knowledges, in context and in ways that positively affect practice, from disciplines not currently present within the medical school. In order to accomplish this, we will need to engage with colleagues throughout the university

Rethinking the basis of medical knowledge.

(출처 : http://www.doceo.co.uk/tools/p-c_s-s.htm)

첫 번째는 의학교육이 근본적으로 서로 양립할 수 없는 두 개의 패러다임(자연과학과 사회과학) 사이의 껄끄러우면서도 미약한 파트너쉽을 형성하게 되었다는 것이다.

두 번째로 지적할 것은, 의학교육의 '재민주화'이다. '재민주화'라는 단어는 사회-정치적 의미로 사용된 것이 아니라, 의학교육 외부의 비전문가에게 문호를 열거나 그들을 초대해서 더 나은 관점을 도입하고자 하는 것이다.

세 번째 측면은 의학계가 더 넓은 사회로 나가고자 하는 것이다. 많은 책과 글들이 전문직인 내부인의 관점을 외부로 알리고 있으며, 실패과 불확실성에 대해 생각해보는 장으로서의 역할을 하고 있다.

마지막 측면은 자기분석(self- analysis)의 노력이다

20세기 미국의 의학교육 혁명에 앞장선 그 누구도 의학을 전공하지 않았다. Abraham Flexner는 고등교육을 전공했고, Henry Pritchett는 수학자이자 천문학자였으며, Andrew Carnegie는 경영주면서 자선가였고, John D Rockefeller는 석유왕이면서 은행가였다.

None of the primary managers of early 20th century medical education reform in the USA were trained in medicine: Abraham Flexner came from higher education; Henry Pritchett was a mathematician and astronomer; Andrew Carnegie was an industrialist and philanthropist, and John D Rockefeller an oil magnate and banker.

외부인은 사회학자들이 소위 이미크적 관점(emic perspective)에는 약하다. 기능적인 면을 보는 능력이나, 문화적 신념과 현실이 가지는 의미와 중요성에 대한 지식, 그리고 사람들이 어떤 것에 관심을 가지고 어떤 것을 무시하는지에 대한 미묘한 이해가 부족하다.

Outsiders can possess little of what social scientists term the emic perspective, the knowledge of significances and meanings attached to cultural beliefs and practices and the nuanced understanding of what to pay attention to and what to ignore. 

반대로 불편한 사실들을 다 벗어던지고 마구 덤벼드는 외부인들은, 현재의 모습은 무엇이고, 과거의 모습은 어땠어야 했는지에 대한 관찰을 통해 질문을 던질 수 있다. 다른 관념과 가능성을 가지고 이해를 할 수 있으며, 사회과학자들은 이를 에티크적 관점(etic perspective)라고 부른다.

On the other hand, unencumbered by the inconvenience of facts, the outsider wades in, making observations and asking questions about what might be, or what could have been, drawing on perspectives from a different universe of possibilities. This, in part, is what social scientists refer to as an etic perspective.

Pritchett는 의학 외부인중에서 변화를 일으킬 수 있는 영향을 줄 만한 사람을 심사숙고해서 골랐고, 그 사람이 바로 Flexner였다. 이제 이런 사람이 필요할 때가 다시 온 듯 하다. 의학교육은 내부의 원동력, 내부의 훈련, 내부의 사고방식에서 벗어난, 진정한 외부의 관점이 부족다. 

Pritchett’s deliberate selection of a medical outsider made explicit his view that medical schools did not have within themselves the tools necessary to effect the changes he sought, a perspective with which Flexner,3 apparently after his very first medical college inspection, fully agreed. Such may be the case today; medical education may be struggling for the lack of truly outside perspectives from sources that are uninitiated, untrained and unsophisticated in the ways of the insider.

물론, 생산적인 대화가 이루어지기 위해서는 외부의 etic과 내부의 emic 관점이 모두 어우러져야 할 것이다.

Nevertheless, it is at the precise juncture of the outsider’s etic perspective and the insider’s emic understanding that fruitful conversations may begin.

OBSERVATIONS

첫 번째는 의학교육이 근본적으로 서로 양립할 수 없는 두 개의 패러다임(자연과학과 사회과학) 사이의 껄끄러우면서도 미약한 파트너쉽을 형성하게 되었다는 것이다.

The first observation is that medical education involves an inherently strained and tenuous ‘partnership’ between the natural sciences and the social sciences, two potentially incompatible paradigms.

위험을 무릅쓰고 두 패러다임의 공통점을 설명하기보다는, 여기서는 논의를 위해서 Kuhn의 주장을 따르고자 한다. Kuhn은 자연과학은 하나의 지배적인 관념이 있고, 그 관념이 무너지기 전까지는 그 아래서 작동한다. 이는 사회과학과는 다른데, 어느 이론이 보편적으로 공유되고 적용되지 않으며, 조금씩 변형되고 재활용되며, 논쟁과 조정을 거치지만, 통째로 폐기되는 경우는 거의 드물다.

At the risk of overstating the homogeneity of the two paradigms, we may, for the sake of discussion, follow Kuhn’s assertion that the natural sciences operate under a single dominant vision of what can be investigated and how (what he calls ‘normal science’), and work that paradigm until it collapses of its own inconsistencies and a new one takes over sole dominance.4 This is not so in the social sciences, where theory, not universally shared to begin with, is modified and recycled, debated and adjusted, but rarely discarded altogether.

노벨상 수상자인 Rotblat은 자연과학의 지식의 성장은 사회과학의 지식의 성장에 비해서 과급(supercharged)되었다고 했다.

Nobel Prize laureate Rotblat6 refers to knowledge growth in the natural sciences as ‘supercharged’ relative to the growth in the social sciences.

이러한 현상은 좋게 말하면 문제적 불균형이고, 나쁘게 보면 학문적 마비 또는 자기파괴를 앞둔 비옥한 토양이다.

A problematic imbalance at best, and fertile soil for disciplinary paralysis or self-destruction at worst 

의학교육은 생의학적 진료를 치료의 인간적인 면으로부터 분리시키고자 하는 초기의 충동으로 인해 고생하고 있다. '의학과 질병의 비사회화'라고 불리는 이것은, 의학을 지원해준 사회구성원이 받아들이기 힘든 방향으로 의생명과학이 발전하면서 많은 사람에게 실망을 안겨줬다.

Medical education suffered the initial impulses of a decoupling of biomedical practice from the humanity of healing, which has been termed the ‘desocialisation of sickness and medicine’.8 To the consternation of many, the advances of biomedicine continue to outstrip our abilities to administer them in ways acceptable to the societies that are their beneficiaries.

두 번째로 지적할 것은, 의학교육의 '재민주화'이다. '재민주화'라는 단어는 사회-정치적 의미로 사용된 것이 아니라, 의학교육 외부의 비전문가에게 문호를 열거나 그들을 초대해서 더 나은 관점을 도입하고자 하는 것이다.

The second observation notes what appears to be a ‘re-democratisation’ of medical education. The term ‘re-democratisation’ is employed here without regard to its technical socio-political connotations, but rather to denote an ‘opening up’ to or ‘inviting’ of non-specialists to obtain a better view inside the world of medical education.

플렉스너 이전의 의학교육은 포퓰리즘(민주주의)적이었다. 사회적 지위나 지적인 수준이나 학위나 성별, 인종 등 모든 것과 상관없이 하고자 하는 사람을 막지 않았다.

The pre-Flexner world of medical education in the USA was a populist (democratic?) one, for it invited all comers, irrespective of social standing, intellectual acumen, scholarship, resources, race or gender, to participate.

플렉스너는 그 당시 상황을 모든 가능한 면에서 공격했다.

Flexner attacked that status quo at every conceivable level

그 결과로 의과대학의 수가 크게 감소하여, 대중의 접근성을 떨어뜨렸으며 - 예상하지는 못했겠지만 - 엘리트 계급만이 '힘들고 비싼 의학교육'을 감당할 수 있었다.

The resulting reduction in the number of medical schools severely limited the hitherto broad public access to the system and resulted in the creation, probably unanticipated, of an elite class of people who had the requisite preparation and resources to undertake the ‘uniformly arduous and expensive medical education’.9,10

현재의 의학교육의 재민주화는 다양한 측면이 있는데, 한 가지는 위에서 설명한 플렉스너의 개혁 직후 나타난 결과를 수정하려는 것이다.

The current re-democratisation of medical education has multiple dimensions, one of which is a corrective to an immediate outcome of Flexner’s reforms: 

의학교육자들과 학생들은 대학의 두 가지 역할 - 연구기간과 사회에 대한 봉사기관 - 을 해야 한다.

Medical educators and their students are left to negotiate the interstices between the university’s twin roles as research cloister and utilitarian service organ to society.5

'재민주화'의 두 번째 측면은 외부에서 동력과 에너지를 얻으려는 것이다. 1980년 Katz의 논문에서 환자의 자율권을 인정하고 의료와 관련한 더 많은 결정권을 주고자 하는 것과 관련이 있다.

A second dimension to re-democratisation appears to find its impulses and energy outside, and occasionally in opposition to, the institution. Its way was probably paved by the move in the 1980s (following Katz’s work11) to acknowledge and grant greater patient autonomy with regard to health care decisions.

무수한 정보가 집약된 많은 사이트들이 등장했다. WebMed, Google Health, My Health Info 등등. 그러나 사람들은 점차 이것이 너무 좁은 범위만을 다루고 있다고 생각했고, 글로벌 네트워크인 'e-patient'를 만들기에 이르렀다. 여기서는 자신의 의료정보를 올리고 지식과 경험을 공유한다. 의료기관의 관리나 제한, 내용제한에서 벗어난 것이다.

Increasingly sophisticated and information-dense sites such as WebMed, Google Health, My Health Info and others have fed a voracious public appetite for raw and unfiltered medical information, options, warnings, trends and recommendations. However, society has found even this access too narrow, as evidenced by the explosive emergence of a global network of ‘e-patients’,13 who blog and share their own medical information, knowledge and experiences with one another online, quite outside the medical establishment’s ability to monitor, restrict or filter the contents

세 번째 측면은 의학계가 더 넓은 사회로 나가고자 하는 것이다. 많은 책과 글들이 전문직인 내부인의 관점을 외부로 알리고 있으며, 실패과 불확실성에 대해 생각해보는 장으로서의 역할을 하고 있다.

A third dimension to re-democratisation can be seen quite simply in medicine’s ‘reaching out’ to wider society. A plethora of books and popular articles such as the award-winning works by Gawade14 offer readers an insider’s view into the medical profession and a platform from which to ponder its failings and uncertainties.

이 세 번째 측면은 의학과 의료를 인간답게 만들기 위한 노력의 일부이다.

The third observation concerns this re-democratisation as part of a broader call for the humanising of medicine and medical training.

다루기 힘들고, 비효율적이고, 개인화된 멘토-도제식 모델과 지역사회 중심의, 전인적인, 인간적 요소들은 새로운 생의학적 교육이 요구하는 것(효율적이고, 표준화되어있고, 최점단의, 근거중심의) 과 공존하기가 쉽지 않다.

The cumbersome, gently inefficient, individualised mentor–apprentice model and the community-oriented, holistic, hightouch and human-paced elements became increasingly difficult to maintain on an equal footing with the efficient, standardised, evidence-based, state-of-the-art, student-production demands of the new biomedical education.

이 애매함이 의사에 대해서만 요구되는 것은 아니다. 사회의 거의 모든 측면에 걸쳐서 인간미를 갈망하면서도, 이에 필수적으로 동반될 수 밖에 없는 편견은 매도한다.

This ambiguity is not unique to society’s demands on its doctors; in all areas of society we crave the personal touch while decrying the accompanying problems that form an integral part of the human equation.

하지만 인간이 가진 특징은, 좋든 나쁘든, 적당히 적응하는 것으로 만족하지 못한다는 것이다. 우리가 프로토콜에 얼마나 집착하는지를 보면 알 수 있다.

An indelible attribute of human nature, however, whether it be for good or ill, is our refusal simply to cope, evidenced in our society by an addiction to the protocol

프로토콜을 어설프게 손봐가면서 우리는 그럭저럭 해 나간다. Edgerton이 말했던 것처럼, 우리는 가끔 뒤죽박죽(muddle)으로 하다가 처음 상태로 돌아가버리기도 한다.

This constant tinkering with cultural and social circumstances often finds us ‘muddling through’, as Edgerton1 puts it, although sometimes we ‘muddle’ back to an earlier starting point, spiralling back to what we may once have rejected

이런식으로 순환하면서 PBL을 도입하거나 호스피탈리스트(hospitalist)를 양성하고자 하는 움직임이 플렉스너 이전 시대의 모습을 재현하고 있다.

Such cyclicity, evident in educational and health care initiatives like problem-based learning and the hospitalist movement,17–19 reintroduces several features of pre-Flexner medical practice

사례를 하나하나 해가면서 문제해결을 배우는 것, 도제식 관계, 제너럴리스트, 멘토에 의한 추가 학습 등등이 예전의 시대가 가지고 있던 모습이며, 그 시절에는 치유의 예술이 과학과 쉽게 조화를 이뤘다.

Case-by-case problem solving, the apprentice–preceptor relationship, the generalist, the extra time involved on the part of mentors9 all hark back to an earlier era, during which – we imagine – the art of healing partnered easily with science

의학교육에 인간적인 측면을 더 담으려는 노력은 플렉스너가 말한 그 유명항 '골고루 더 힘들고 비싼'것이 될지도 모른다. 그리고 그 비용은 아마 금전적인 것 많은 아닐 것이다.

Injecting more humanity into medical education may force us to reconsider Flexner’s famous ‘more uniformly arduous and expensive’ claim; perhaps the expense is not exclusively financial. (Time and Vulnerability)

마지막 측면은 자기분석(self- analysis)의 노력이다

The final observation concerns medical education’s attempts at self-analysis, attempts which may flounder from the density of the discipline’s own complexities.

플렉스너는 그의 보고서에서 많은 의과대학의 집행부들이 스스로 외부에서 인정받는 것 만큼 잘 하고 있지 않다는 것을 인정했다고 서술하고 있다.

Flexner’s account of his reform work indicates that administrators of a number of medical schools agreed that their business was less than reputable

최근의 의학교육을 살짝만봐도, 비판이 그렇게 강하지도 않고 의학교육 내부의 요구나 사회적 요구를 담을만큼 넓거나 깊지도 않다.

Even a cursory review of today’s medical education literature and conference proceedings offers a sobering verdict: the critique is never intense, broad or deep enough to satisfy either the demands medical education places on itself or those placed on it by society at large

앞서 언급된 모습에 대한 지칠 줄 모르는 자기성찰이 의학교육 내부에서 이루어지고 있다. 최신의 지식을 갖추면서 환자를 편안하게 돌보고 작은 마을의 의사와 같은 인내심을 가질 것을 요구하는 외부의 요구도 동시에 존재한다. 이 시스템에 대한 분석은 철저하고, 복잡하고, 약해질 줄을 모른다.

Internal to medical education is its unflagging introspection as it contends with the tensions outlined in the observations above. External are the twin societal demands that doctors suffer no gaps in the currency of their knowledge yet treat their patients with the ease and patience of small-town physicians. The examination of this system is exhaustive, intricate and unabating.

CONCLUSIONS

의학교육과 같이 복잡한 분야에서 꼬여있는 상황을 변화시킬 수 있는 힘은 아마도 외부적 힘이나 상황이 가지고 있는 특별한 재능에 있을지도 모른다.

In a complex field like that of medical education, where does one begin to ‘disentangle the conditions of its history from the density of discourse’?16 For all its unnerving prospects, that disentanglement, that change, may find part of its genius residing in another ‘external event or circumstance’.

Outside looking in: Observations on medical education since the Flexner Report.

(출처 : http://clinicalcreativity.squarespace.com/about-us/)

첫번째로, '능숙한 의사소통'이 목적이더라도 '의사소통의 기술'이 필요한 상황이 있다. 

두 번째로, 교육의 목적은 의사소통을 둘러싼 내재적인 불확실성을 항상 고려해야 한다.

마지막으로, 교육 방법에 변화가 필요하다. 예측하기 어려운 상황, 맥락에 따라 변하는 결과, 학습의 초점이 불확실한 경우 등등이 더 강조되어야 한다.

평가는 의사소통의 창의적이고 전인적인 면을 평가해야 한다.

전문가는 '감정사'가 되어야 한다. 평가의 타당성에 대한 권위는, 평가가 이뤄지는 상황에 공감하는 능력에서 나오며, 그 상황을 판단할 수 있는 능력에서 나온다. 기술적으로 이미 정의된 기술이 발휘되는지가 아니라 실제로 의사소통이 '효과가 있었는지'를 미학적으로 판단하는 것이다.

의학과 의료는 도덕적 사업이며, 고객의 만족을 넘어서 환자와 공공의 이익을 우선해야 한다. 본말이 전도되어 의사소통기술에 대한 과도한 충성이 의학의 '도덕'을 왜곡시키지 않도록 해야 하며, 창의성 그 자체가 목적이 되어서는 안된다.

IMPLICATIONS FOR TEACHING AND EVALUATING COMMUNICATION

많은 교육자들은 기술중심의 의사소통 교육의 대안을 연구하고 있다.

Many educationists are already exploring alternatives to skill-based communication teaching

그러나 이러한 연구만으로 교육적 진보가 이뤄질 수는 없다.

However, continuing to cast these and future developments in the language of communication skills will stymie pedagogical development.

의사소통을 연구하는 교육자들은 창의력을 중요시하는 영역, 특히 창의적 예술 영역으로부터 배워야 한다.

Educationists in communication might therefore learn from pedagogy in explicitly creative disciplines, particularly the creative arts.

첫번째로, '능숙한 의사소통'이 목적이더라도 '의사소통의 기술'이 필요한 상황이 있다. 어떤 의사소통의 기술은 그 효과가 보편성을 지니거나(환자의 ID 확인하기), 특정 상황에 따라서는 구체적인 목표 달성에 어떤 기술이 필요한 경우도 있다.

Firstly, at a conceptual level, although educators aim for ‘skilled communication’, the term ‘communication skills’ could be reserved for the rare instances in which consistent meaning lies in behaviours themselves, either because of the universality of their effect (such as in checking a patient’s identity) or because they achieve specific ends in a constrained situation.62 

두 번째로, 교육의 목적은 의사소통을 둘러싼 내재적인 불확실성을 항상 고려해야 한다. 이미 나와있는 기술을 권장하기보다는 교육자들은 학습자들이 '옳은 판단'을 할 수 있도록 도와야 하며, 개개인의 성향에 맞는 스타일을 만들어나갈 수 있도록 도와줘야 한다. 또한 비슷한 상황을 제공하기보다는 새로운 환경을 다룰 수 있도록 가르쳐야 하며, 의사소통을 둘러싼 불확실성을 기민하게 알아챌 수 있도록 가르쳐야 한다.

Secondly, education aims need to recognise the inherent uncertainty around communication, which will require humility for educators and learners alike. Instead of encouraging the deployment of predetermined skills, educators will aim for learners to make good judgements, to develop a style tailored to their individual characteristics,50 to develop the capacity to handle novel situations rather than simply delivering consistency, and to appreciate keenly the uncertainty surrounding their communication.63

또한 학습자의 '동기'에 더 신경을 쓸 필요가 있다.

There will be more explicit focus on learners’ motivation, too including curiosity, forming more personal connections with patients or, simply, being more effective practitioners.

마지막으로 교육 방법에 변화가 필요하다. 예측하기 어려운 상황, 맥락에 따라 변하는 결과, 학습의 초점이 불확실한 경우 등등이 더 강조되어야 한다.

Finally, there will be changed emphases in teaching methods.52 There will be additional emphasis on learning experiences and outcomes that are less predictable, on making contextual variability and ambiguity explicit foci of learning and on the tentative and conditional nature of the judgements of learners and educators alike.51,63

따라서 교육자들은 학생들을 가르칠 때 환자가 제공할 수 있는 다양한 자원을 더 활용할 것을 고려해보아야 한다.

Educators therefore might consider how to harness the resource of diversity of patient contact for students’ learning.

일부 연구자들은 물론 학생들 역시 임상 상황의 다양성에 대비하기 위해서 도제식 교육과 실제 환자를 보는 것의 가치를 강조한다. 

some theorists66 and, indeed, students67 emphasise the value of apprenticeship and ‘real patient learning’ in preparing for the diversity of clinical care, as well as for being more veridical, motivating and memorable than other forms of learning.

평가의 측면에서는, 객관적인 구조화된 임상 시험이 중요하다.

Turning to assessment, the objective structured clinical examination will probably remain central to undergraduate assessment,68,69 

세팅이 어떻든, 평가는 의사소통의 창의적이고 전인적인 면을 평가해야 한다.

Regardless of setting, assessment needs to be appropriate to the creative and holistic nature of communication.

많은 체크리스트들은 행동의 수행능력보다 의사소통의 '적절성'을 평가하게 해서 창의성과 관련된 부분을 다루고자 하고 있다. 실제로 SEGUE는 특정한 의사소통 임무를 달성하기 위해서 유연하게 대처할 것을 분명히 인정하고 있다.

By requiring ratings of ‘appropriateness’ of communication, or the achievement of tasks rather than performance of behaviours, many existing checklists already have the potential to accommodate creativity. Indeed, the SEGUE framework explicitly allows learners flexibility in achieving 32 specified communication tasks.16

많은 의사소통 교육자들은 전체적 평가(global rating)을 활용하고 있다. 비록 이러한 방법이 주관적이라는 비판은 받지만, 표면적으로는 객관적이라고 하는 체크리스트도 대개 주관적인 판단에 의존하고 있다.

Many communication educators already use global ratings,18,71 with psychometric properties as good as, or better than, those of checklists.72 Although such ratings might be criticised as subjective, we have seen that ostensibly objective checklist items usually require subjective judgements.14

전체적 평가와 관련해서 예술 분야의 평가에서 배울 점이 있다.

In developing the use of global ratings, there are potentially important lessons about assessment to be learned from creative, artistic disciplines. 

Eisner는 이러한 맥락에서 전문가는 '감정사'가 되어야 한다고 한다. 전문가도 물론 오류에 빠질 수 있고, 주관적인 편견에 따라 평가를 하곤 하지만, 비전문가보다는 낫다.

Eisner46,75 described experts in this context as ‘connoisseurs’ who derive their authority from personal familiarity with their field. Experts are, of course, fallible and their assessments are subject to biases,76 albeit less than those of non-experts.77

그들의 권위는, 즉 평가의 타당성에 대한 권위는, 평가가 이뤄지는 상황에 공감하는 능력에서 나오며, 그 상황을 판단할 수 있는 능력에서 나온다. 기술적으로 이미 정의된 기술이 발휘되는지가 아니라 실제로 의사소통이 '효과가 있었는지'를 미학적으로 판단하는 것이다. 실제로 의사소통의 의미가 있었는가를 보기 위해서는 평가에 있어 환자의 관점도 포함시켜야 한다는 주장도 있다. 

Their authority – that is, the validity of their judgements – would depend on their ability to empathise with the situation in which the assessment is taking place, and their resulting ability to judge, not, technically, whether predefined skills were displayed, but, aesthetically, whether the communication ‘worked’. It is argued that assessment should include patient perspectives because it is their subjective experience that defines the meaning of communication.13

예술가들에게도 자신의 '도구상자'가 필요한 것처럼, 기술적인 면을 무시해서는 안된다.

It will be important not to neglect skills. Just as creative artists need their ‘toolboxes’ of skills and techniques, so do practitioners.12

교육자들은 의사의 '기술'이 아니라 결과가 지니는 가치와 창의성에 더 초점을 두어야 한다.

Therefore, educators need to shift the primary focus of their gaze from the ‘skills’ that practitioners use to the value and creativity of the result.

RESEARCH IMPLICATIONS

Clearly, practitioners need to continue to learn from communication educators and researchers because communication is too important to be left to personal habits and prejudices. Therefore, researchers need to find out more about how flexibility can be taught and assessed, and how internal motivation can be identified and fostered.

LIMITATIONS OF VIEWING COMMUNICATION AS A CREATIVE ART

예술에서의 창의성과 의사환자대화에서의 창의성에는 분명한 차이가 있다.

There are, of course, fundamental differences between the creative arts and imaginative clinical communication.

의학과 의료는 도덕적 사업이며, 고객의 만족을 넘어서 환자와 공공의 이익을 우선해야 한다. 본말이 전도되어 의사소통기술에 대한 과도한 충성이 의학의 '도덕'을 왜곡시키지 않도록 해야 하며, 창의성 그 자체가 목적이 되어서는 안된다.

Health care is a moral enterprise with obligations to patients and the population that transcend consumer satisfaction. Given that upholding an exclusive allegiance to the concept of communication skills risks distorting the morality of health care by putting means before ends,12 it is important not to elevate creativity to an end in itself.

환자의 역할 역시 예술과는 다르다.

The role of patients also differs from that of an audience in terms of their active contribution to the creative product. 

Haidet은 의사환자대화를 재즈와 비교하면서, 환자와 함께 즉흥성을 발휘할 때 의사소통이 중요하다고 하였다.

Indeed, Haidet compared clinical communication with jazz, arguing that the important business of communication comes about when practitioners improvise with patients.81

사실 예술에서도 즉흥연주는 미리 공지되어야 하며, 원칙이 있어야 한다고 말한다. 창의성을 위한 창의성만으로는 충분하지 않다.

Even in the arts, it is acknowledged that improvisation needs to be informed and disciplined82 and that creativity for creativity’s sake is not enough.64

Creativity in clinical communication: from communication skills to skilled communication.

(출처 : www.cpso.on.ca)

의사소통은 근본적으로 창의적인 것이다. (Communication is inherently creative)

의사소통은 전인적이어야 한다. (Communication is holistic)

PRINCIPLES FOR FUTURE COMMUNICATION TEACHING

좋은 의사환자대화란 단순한 기술로 분해될 수 없지만 고도로 기술적이어야 한다

Good clinical communication is clearly highly skilled, although it defies reduction into elements that can be called skills. 

의사소통이 직관적이고 창의적이어야 한다고 해서, 이것이 훈련이 필요하지 않다는 것은 아니다. 의사소통기술이 교육과정으로 들어 온 것은 무엇보다도 단순히 의사의 직관에 의존할 경우 환자에게 해를 가할 수 있기 때문이다.

Observing that communication is intuitive and imaginative does not mean that it should be undisciplined by training. After all, communication skills teaching won its place in curricula because communication that depends solely on the intuition of practitioners may be hurtful or damaging,

대신 우리는 의사환자대화를 새롭게 개념화함으로서 교육과 현장을 조화시킬 수 있어야 한다. 두 개의 원칙을 언급하고자 한다.

Instead, we need new ways to conceptualise clinical communication that reconcile pedagogy and practice. These will need to incorporate two principles that the concept of communication skills cannot.

의사소통은 근본적으로 창의적인 것이다.

Communication is inherently creative

매우 일반적인 한 가지 원칙을 지키는 것 만으로도, 의사환자대화에서는 독창성이 항상 존재할 수 밖에 없다. '환자의 이름을 부르며 인사하고' '환자의 독특한 임상상을 설명해주는 것' 만으로도 그 전에 어떤 의사도 하지 않았던 것이 이뤄지는 것이다.

At one level, originality is always present, simply as a result of following general rules. Greeting a patient by his or her name or explaining a unique and complex clinical picture may mean saying something that no practitioner has said before

그러나 여기서 독창성이 '규칙'으로 환원될 수는 없다. 창의성이 중요한 교육분야, 특히 예술 영역에서는 독창성과 연결된 복잡성을 교육 목표로 만들 수 밖에 없었다.

However, we are concerned here with originality that cannot be reduced to rules. Pedagogy concerned with creativity, particularly in the creative arts, has had to confront the complexities associated with originality as an education objective.46,50–52 

의학에서의 창의성은 '불확실성'과 밀접한 관련이 있다.

In this field, it is recognised that creativity is intimately associated with uncertainty.

불확실성은 예술가가 창의력을 발휘하여 즉흥적 작업을 하고, 실험을 할 수 있는 여지를 준다.

This inherent uncertainty creates the space within which creative artists improvise and experiment.

이것이 Reed가 말한 "전문가에 의해서 구성된 간접적인 지식을, 자신의 경험을 통해서 직접 습득한 지식으로 보완하는 것"의 중요성이다. 창의적인 작업은 규칙을 잘 따르는 것이 아니라 어떠한 판단을 내리는가에 달려있다.

This points to the importance of what Reed characterised as the ‘first-hand’ knowledge of learners’ own experience to complement the ‘second-hand’ knowledge shaped and selected by experts;54 that is, creative work depends on judgement rather than on following rules,50,52

의사소통은 전인적이어야 한다.

Communication is holistic

의사소통기술과 관련한 어떤 구체적인 행동도 모든 상황에 들어맞지는 않는다. 의사소통이 이루어지고 있는 상황을 둘러싼 모든 환경에 따라 그 행동의 가치가 달라질 수 있다. 실제로 환자는 세세한 의사소통기술보다는 전반적인 상황에 더 관심을 갖는다.

it is implausible to regard any specific behavioural communication skill as desirable in all possible contexts. Its quality only exists in the context of the whole situation, including the communication surrounding it. Indeed, patients can be more concerned with the whole picture – their impression of the practitioner’s character and caring – than with specific communication skills.27,55

Creativity in clinical communication: from communication skills to skilled communication.

(출처 : http://www.securedgenetworks.com/secure-edge-networks-blog/bid/55492/5-Top-Applications-for-Hospital-Wireless-Networks)

- 의사소통은 '기술'이라는 것들로 분해될 수 없다.

- 의사소통에 있어서 일반화된 원칙이라는 것은 현실적으로 한계가 있다.

- 의사소통의 의미는 객관적 기술이 아니라 주관적 경험에 달려있다.

- 의사소통의 결과에 대한 연구에서 완벽한 원칙을 찾을 수 없다.

- 기술과 진정성은 일치하는 개념이 아니다.

- 가치와 가치전도 : '의사소통 기술'에 의해 '좋은 의사소통'이 무엇인가가 정의되다.

INTRODUCTION

의사환자대화는 진료를 전달하는 매개체일 뿐만 아니라, 그 자체로서도 하나의 치료이다.

Clinical communication is the vehicle for most patient care and can represent a treatment in its own right.1,2

따라서 의사소통을 가르치는 것은 임상 교육과정 전, 후로 중요한 요소가 되었다. 이 교육과정은 흔히 '의사소통기술'을 가르치는 과정으로 묘사된다. 즉, 이론적인 뼈대를 다루면서 의사소통을 각각의 요소, 또는 기술로 분해하여 가르치고 평가하게 된다. 이 요소에는 '행동기능(eg. 눈맞춤)' 또는 '목표(eg. 환자의 입장 이해하기)' 등이 있다.

Communication teaching has therefore become an established component of pre- and post-qualification clinical curricula. This area of the curriculum is typically described as ‘communication skills’, indicating an underpinning theoretical framework in which communication can be divided into discrete elements, or skills, that can be taught and assessed alongside clinical skills.3,4 These elements are variously defined as behavioural actions (e.g. maintaining eye contact) or as goals (e.g. understanding patients’ perspectives). 5 

이들 기술을 활용할 수 있도록 가르치는 원리라든가 가이드라인이 있지만, 교육을 하는 입장에서 궁극적인 목표는 뛰어난 의사소통의 기술을 갖추는 것 만큼이나, 그러한 기술을 활용해서 좋은 환자의사관계를 쌓아갈 수 있게 하는 데에 있다.

Principles and guidelines are available to guide practitioners in drawing on these skills.6 The ultimate aim of educators is that, just as good clinical care is delivered through the deploying of clinical skills, practitioners are equipped to build good clinical relationships by deploying communication skills.3,7

그럼에도 불구하고 의사소통 교육은 학생들을 이 이슈에 대해서 시니컬하게 만들거나, 의사소통 능력에 대한 자신감을 떨어뜨리고, 복잡한 임상 환경에 제대로 대비하지 못하게 한다. 또한 의사소통을 가르치는 선생님들도 창학생들의 회의적인 태도를 반적으로 접하게 된다.

Nevertheless, communication teaching can leave students cynical about the issue, less confident in their communication abilities or poorly prepared for the complexities of clinical settings,8,9 and an undercurrent of criticism among practitioners occasionally emerges in print.10 Communication teachers continue to encounter scepticism in learners who argue that communication is imaginative and individual or is ‘caught by example’11 and cannot be taught formally. 

의사소통 교육이 더 발전하기 위해서는 이러한 목소리에 귀를 기울이고, 새로운 원칙이나 교육방법을 도입해야 한다. 의사소통의 기술은 지난 30년간 인간적 측면(humanistic), 언어적 측면(linguistic), 임상적 측면(clinical perspective)에서 연구되어왔다. 또한 일부 교육자들은 의사소통업무(관계 형성하기, 관심 표현하기)가 세세한 의사소통 기술보다 중요하다고 주장해왔다.

The future strength of communication teaching depends on hearing these voices and being ready to question and renew the principles and practices involved. The concept of communication skills has been criticised over three decades from humanistic, linguistic and clinical perspectives,12–15 and some educationists have prioritised communication tasks (such as ‘forming a connection’, ‘expressing caring’) over specific behavioural skills.16

그렇지만 이 영역에서는 여전히 '기술'이라는 것의 개념이 중요하게 자리잡고 있다. 따라서 우리는 이 개념을 비판적으로 보라보고, 교육적 발전을 위한 실질적, 철할적, 도덕적 관점 제시하고자 한다.

Nevertheless, the concept and language of ‘skills’ still dominate the field. Therefore, we critically re-examine the concept, drawing from empirical, philosophical and moral perspectives to show how it continues to constrain pedagogical development.

SOME DIFFICULTIES WITH THE CONCEPT OF COMMUNICATION SKILLS

행동을 변화시키려면, 먼저 그 행동에 대해 스스로 성찰할 수 있어야 한다. 의사소통을 구성하는 하나의 요소로서 '기술'이라는 개념을 활용하는 것은 이와 같은 '성찰'을 도와주는 좋은 방법으로서 활용되어 왔다.

Before people can improve behaviour, they need to be able to reflect on it. Using the concept of skills to help practitioners label and distinguish different elements of communication has been a powerful way to promote this reflection.14 

의사소통을 '기술'의 모음으로 바라보는 것은 교육과정에 도입하기 위한 목적으로는 유용한 방법이긴 하다. 그러나 이러한 강점이 있다고 단점을 무시해서는 안된다.

Conceptualising communication as skills has been politically effective, too, in introducing communication into curricula that are widely regarded as skills-based. However, these strengths should not blind us to weaknesses

의사소통은 '기술'이라는 것들로 분해될 수 없다.

Communication cannot be atomised into skills

의사소통기술 이라는 개념은 자문을 구하거나, 관계를 형성하는 것과 같은 복잡한 행동들을 기술 요소로 분해하려는 환원주의적 접근이다. 그러나 이는 타당하지 않다.

The concept of communication skills is inherently reductionist inasmuch as it proposes that complex behaviour such as conducting a consultation or building a relationship can be atomised into component skills. This is questionable.

의사소통에 있어서 일반화된 원칙이라는 것은 현실적으로 한계가 있다.

Generalised principles for guiding communication are practically limited

환자들은 의사들에게 복잡한 것, 맥락에 맞는 것, 때로는 일관되지 않은 것들을 요구한다.

As patients, our demands on practitioners prove more complex, context-dependent and inconsistent than general principles for deploying skills can allow for.

예를 들면 암환자를 대상으로 한 연구에서 100%의 환자가 자신의 의사가 정직하기를 바라면서도 91%의 환자는 동시에 낙관적이기를 바란다.

However, practitioners need considerable ingenuity here, as a survey of cancer patients illustrated: 100% of respondents wanted practitioners to be honest, but 91% also wanted them to be optimistic.23

또한 환자들은 자신이 치료과정에 더 참여하길 원하면서 자신의 의사가 가부장적이기를 바라지 않으면서, 또 동시에 치료 선택에 대한 책임은 의사가 지기를 바란다.

Similarly, although patients generally do want to feel involved and not to feel that practitioners are paternalistic, they often need practitioners to take responsibility for treatment decisions.20

그래서 Skelton은 14명의 의사소통을 교육하는 사람들의 체크리스트를 분석한 결과, '옳은 행동'을 주관적인 용어, 예를 들면 적절한, 적합한, 등의 단어로 정의한다는 것을 확인했다. 비슷하게 SEGUE 프레임워크는 어떻게 목표에 도달하였는가가 아니라 '실제로 의사소통의 목표를 달성했는가'를 강조한다.

Therefore, as Skelton observed,14 educators’ checklists often define correct behaviour using subjective terms, such as ‘appropriate’ or ‘proper’. Similarly, the influential SEGUE (Set the stage, Elicit information, Give information, Understand the patient’s perspective, and End the encounter) framework emphasises the attainment of communication goals, leaving learners to decide how to reach them.16

의사소통의 의미는 객관적 기술이 아니라 주관적 경험에 달려있다.

The meaning of communication lies in subjective experience, not objective skills

환자에 따라서 같은 의사소통을 두고도 의사가 관심을 보였다고 하기도 하고, 보이지 않았다고 하기도 한다.

Similarly, different patients may experience the same piece of communication as caring or uncaring.29,30 

어떤 행동들을 '기술'이라고 할 것인가 라는 문제는 이와 같은 주관성을 무시한 것이다.

Designating some behaviours as ‘skills’, implying that they have a constant meaning or value, neglects this subjectivity.12

실제로 환자들의 관점은 전문가들의 관점과는 또 달라서, 의사소통 기술이 향상되었다고 해서 반드시 환자에게 도움이 되는 것도 아니다. 반대로 환자들은 전문가가 좋지 않다고 생각한 의사소통을 더 좋다고 판단하기도 한다.

Indeed, patients’ views can diverge from those of experts27,30 and communication that displays improved ‘skills’ does not necessarily help patients.34  Conversely, patients can value communication that experts think is poor.13

의사소통의 결과에 대한 연구에서 완벽한 원칙을 찾을 수 없다.

Communication outcome research cannot deliver exhaustive principles

그러나 어떻게 정의를 하더라도 의사소통의 요소에 원천적으로 내재된 '주관성'과 '상황 의존성'은 여전히 범접할 수 없는 영역으로 남는다.

However, the inherent subjectivity and context-dependence – and consequent individual differences – in the meaning of a given element of communication will remain inaccessible to any design that averages groups of people or communication instances, however narrowly defined. 

실제로, Stiles는 원천적으로 내재된 다양성과 개개 환자들의 의사소통 요구 때문에 의사소통 과정에 대한 평가를 하는 것을 (질병 치료) 결과로 연결시킬 수 없다고 말한다.

Indeed, Stiles warned that the inherent variability in individual patients’ communication needs and practices means that we should not expect measurements of communication processes to correlate with outcomes,37

또 다른 한계점은, 어떤 말도 항상 동일한 결과로 이어지지 않아서, 한 결과에 따르면 부적절했던 의사소통이 다른 결과에 따라서는 적절한 것이 될 수도 있다.

A second constraint on the potential for outcome research is that there is rarely a single outcome for any utterance, so communication that is inappropriate for one outcome (e.g. because it distresses the patient) may be appropriate for another (e.g. because it challenges denial).1

또한 결과라는 것이 국소적으로, 일시적으로 나타날 때는 어떤 결과가 어떤 의사소통과 관련이 있는지 알 수가 없다.

Moreover, outcomes exist locally and transiently in dialogue40 and it will often be impossible to know which outcomes were relevant to any specific utterance.

기술과 진정성은 일치하는 개념이 아니다.

Skills and sincerity are inimical concepts

감정을 묻는 간호사의 질문에 별로 감명을 받지 못한 한 환자는 '아마도 방금 의사소통 수업을 듣고 왔나봐요' 라고 했다. 적어도 일반인의 입장에서는, 공감이나 관심을 표현하는 기술을 배우는 것은 오히려 진정성에 반하는 것일 수 있다.

Unimpressed at a nurse’s enquiries about her emotional feelings, a patient explained that the nurse had probably ‘just been on a course’.41 To the public gaze, at least, learning skills in appearing empathic or caring is potentially inimical to authenticity42

Alexander에 따르면 여기서 딜레마가 생긴다. 학생들에게 미리 학습목표를 정해주는 것은, 그 목표를 달성해서 나타나는 행동의 변화가 자기 스스로의 결정에 따른 것(self-determined)이 아닌데, '자기결정'이 진정성 있는 의사소통에는 반드시 필요한 것이기 때문이다.

According to Alexander, educationists therefore face a dilemma: predetermining objectives for students means that, when students deliver those objectives, the students’ behavioural change cannot be regarded as selfdetermined, whereas assuming self-determination is essential to viewing students’ communication as authentic.45

가치와 가치전도 : '의사소통 기술'에 의해 '좋은 의사소통'이 무엇인가가 정의되다.

Values and ‘value-creep’: communication skills define ‘good’ communication

의사환자대화는 기본적으로 도덕적 사업이다. 의사는 좋은 의사소통 기술을 갖춤으로서 환자의 이익을 돌봐줄 수 있어야 한다. 의사소통 '기술'의 최종적인 문제는 교유자나 의사가 가진 개념을 뒤틀어놓아서 의사소통의 도덕적 목적을 뒤틀게 되는 것이다. Eisner는 Winston Churchill의 말(우리는 건물을 만들고, 건물은 우리를 만든다)을 빌어 '우리는 커리큘럼을 만들고, 커리큘럼은 우리를 만든다' 라고 했다.

Clinical communication is fundamentally a moral enterprise. Practitioners need to communicate well in order to look after patients’ interests. The final problem with the concept of skills concerns the way that it can distort the values held by educators and practitioners and thereby distort the moral aims of communication. Eisner echoed Winston Churchill’s statement that ‘we make our buildings and then our buildings make us’ in warning that ‘we make our curriculum and then our curriculum makes us’.46

무엇보다 환자에게 도움이 된다는 근거가 부족한데, 의사소통기술을 어떻게 가르칠 것인가에 대한 연구는 무수히 많으나, 실제로 이것이 환자에게 도움이 되었는가에 대한 연구결과는 부족한다. 기술을 갖추는 것이 성공적인 수련의 충분조건으로 인식되고 있다.

There is no evidence of benefit for patients. For example, there has been extensive research into how to teach communication skills to ‘break bad news’, but little has examined whether patients benefit.47 Acquisition of skills is regarded as sufficient evidence of successful training

기술을 정의하고 가르치는 것에 있어서 의사가 아니라 연구자들과 교육자들이 관여하면서 '의사소통의 가치가 무엇인지'의 관리인(custodian)격 역할을 하고 있다.

Through their involvement in defining and teaching skills, researchers and educators, rather than practitioners, become custodians of what is valued in communication.

연구와 교육의 영역에서 '좋은' 의사소통이 무엇인가에 대한 개념을 바꿈으로써 '환자가 된다는 것' 또는 '의사가 된다는 것'의 의미까지 바꾸어놓고 있다.

By changing what is regarded as ‘good’ communication, research and teaching change what it means to be a patient or practitioner

Creativity in clinical communication: from communication skills to skilled communication.

(출처 : http://www.einstein.yu.edu/features/stories/711/the-sworn-identity-einsteins-first-years-create-their-own-oath/)

정체성은 고정된 스키마가 아니다. '무슨 행동을 하는가'가 곧 정체성이다. 

정체성은 끊임없는 상호작용을 통해서 나타난다. 

정체성은 우리가 다른 사람에게 우리의 이야기를 전할 때에도 드러난다.

어렵더라도 적절한 관계-중심적 교육이 필요하다. 

다른 사람들과의 상호작용 과정에서 linguistic ritual을 학습하게 된다.

우리 모두는 나름의 이야기를 가지고 있다. 

이 이야기를 이해하고, 발전시키는 것은 전문직업적 정체성을 성공적으로 발전시키는 핵심 요소이다. 

교육학적 공간(pedagogical space)를 제공하여 학생들이 스스로와 동료의 이야기를 통해서 의사로서의 정체성을 개발할 수 있게 해주는 것이 필요하다. 

"어느 조직이 하고 있는 것이 무엇이든, 그것은 구성원의 정체성을 만든다."

따라서 의과대학 학생들의 정체성확립 과정에서 중요하게 이해해야 할 것은, 

그 기관에서 학생들이 마주치게 될 '어떻게 일들이 이뤄지는가'의 모습이다. 

즉 의과대학학생을 전문직의 합당한 일원으로 받아주지 않는 것("너는 .... 할 때 까지는 진짜 의사라고 할 수 없어")은 심각한 결과를 가져올 수 있다.

(출처 : http://izquotes.com/quote/277180)

"정체성이란 그것을 가지고 있느냐 그렇지 않느냐의 문제가 아니라, 어떠한 행동을 하느냐의 문제이다" 

정체성확립은 스스로의 세계관을 형성해나가는 인지적, 사회적 과정이다. 또한 이것은 양방향 과정이다.

즉, 스스로 생각하는 자신의 모습과 다른 사람에 의해서 정의되는 자신의 모습을 합병해나가는 과정이다.

어릴 적에 외부에 의해 결정된 정체성은 더 영향력이 강하고 내적인 저항이 적기 때문에, 

후에 그것이 없어지거나 변화되는 경우가 적다. 

(출처 : http://blog.affiliatetip.com/archives/affiliate-marketing-is-not-rocket-science/)

우리가 지금 가지고 있는 이론이 일반적으로 '참'일수는 있지만, 특정한 상황에 대해 일반화시킬 만큼 실용적인 가치를 가지지는 못한다. 비록 그것이 참이라고 하더라도 구체적인 교육현장에서, 교육과정 개발을 위해서 무엇을 해야 하는지에 대해서는 확실한 도움이 되지 않는다는 것이다.

따라서 우리의 과학적 논의(논문 등)의 가치는 일반적인 해답을 찾는 것이 아니라 각자가 가진 문제에 대해서 더 나은 사고를 하는데 도움이 되어야 한다. 마찬가지로 논문을 읽는 것은 나와있는 해답을 맹목적으로 가져다 쓰기 위한 것이 아니라, 다른 사람이 문제를 해결한 방식을 나의 문제에 어떻게 적용할 것이며, 그러기 위해서는 무엇이 필요하며, 왜 그렇게 해야 하는지를 생각할 수 있는 과정이어야 한다.

Richard Shillington의 데이터 분석에 대한 묘사를 빌리자면, 교육에 대한 논문은 '생각을 도와주는 것'이지 '생각을 대체하는 것'이어서는 안된다.

이 문제에 대한 또 다른 관점을 하나 더 언급하고자 한다. 인지심리학에서 다루는 '약한'문제해결법와 '강한'문제해결법에 대한 것이다. 인지심리학에서의 정의에 따르면 '약한'문제해결법은 다양한 상황에 광범위하게 일반화가 가능한 대신, 특정 상황에 대한 적용가치는 떨어진다.

In order to provide another perspective on these issues, I would like to invoke a construct from cognitive psychology: the distinction between ‘weak’ and ‘strong’ problem-solving routines.25 As defined in cognitive psychology, weak problem-solving routines are those processes that are broadly generalisable to many situations, but are of limited applicable value in any particular situation.

이런 종류의 문제해결법은 많은 문제상황에 일반화시켜 적용할 수 있을지 몰라도, 특정 상황에서 무얼 해야하는지에 대해서는 크게 도움이 되지 않는다. 반대로 '강한'문제해결법은 매우 구체적인 상황과 맥락에 특정되어있다.

Although it is true that this problem-solving routine is generalisable to pretty much every problem-solving situation we might encounter, from the perspective of application, it is of no practical value in helping us decide what to do next in a particular situation. By contrast, strong problem-solving routines are routines that have become highly specialised to a very specific type of problem in a very specific context

강한 문제해결법은 비록 경험에 의존하여 편견이 있을 수 있어 이로 인해 사고의 폭을 제한하며, 전문가들의 '한정된 해결방법 세트'라든가, 한 문제를 다른 문제에 대해 유사하게 적용하지 못한다 라는 이유 등으로 폄하되기도 하지만, 최근 들어서는 전문가의 특징으로서 인정받고 있다. 

These strong problem-solving routines are now recognised and celebrated as a hallmark of expertise, 25 although they are also identified and denigrated as ‘limits’ to human thinking in the form of ‘heuristics and biases’,26 the ‘restricted solution sets’ of experts,27 and ‘failures of analogical transfer’ from one problem to the next.28

우리가 지금 가지고 있는 이론이 일반적으로 '참'일수는 있지만, 구체적 상황에 대해 일반화시킬 만큼 실용적인 가치를 가지지는 못한다. 비록 그것이 참이라고 하더라도 일상 교육현장에서, 교육과정 개발을 위해서 무엇을 해야 하는지에 대해서는 확실한 도움이 되지 않는다는 것이다.

Our current theories may be generally ‘true’, but they are too generalisable to be of practical local value: even if we choose to acknowledge their ‘truth’, we still do not have a clear sense of what to do with this ‘truth’ in terms of improving the daily practice of teaching and curricular development.

또한 실용적이고 임상적으로 가치있는 결과를 내기 위한 연구를 해야 한다는 요구가 생기고 있다. 개개의 상황과 맥락마다 효과적으로 적용되어질 수 있는, 보여질 수 있는 가장 성공적인 개입방법이 가장 좋은 '강한'문제해결법일 수 있겠지만, 개개의 상황에 맞는 방법들은 잘 일반화되기가 쉽지 않다.

At the same time, relevant to the second set of debates regarding the call for research with practical, clinically valuable outcomes, it may be that the most demonstrably successful interventions can best be understood as strong problem-solving routines in that they are effectively adapted to local constraints and contexts, but, as a result, they are too deeply embedded in the local curricular context to be of much general value

이 두 가지 문제를 종합해보면, 일반화할 수 있는 교육 이론은 개개 상황에 대한 실용적인 가치를 가지기에는 너무 약하고, 너무 국소화된 문제해결법은 일반화하기가 어렵다고 할 때, 교육 문제에 대해 종합적으로 일반화된 해결법을 내놓는 것은 불가능하다는 결론에 다다르게 된다.

Combining these two constructions of the problem of education research has serious implications for the field. If generalisable education theories are too weakly generalisable to be of local practical value, and if localised solutions are too strongly embedded in the local context to be of general practical value, we must conclude that there may be no generalisable solutions to our collective education problems

Norcini는 상황이 가진 특수함은 '의학교육에 대한 한 가지 사실'이라고 말했다.

Norcini has been credited with suggesting that context specificity is ‘the one fact of medical education’. 8

그러나 아마 이제는 상황 특수성을 의학교육연구의 핵심적 사실로 생각해야 할 때가 된 것 같다. 만약 그렇다면 우리 분야에 맞는 '과학'을 정의하고 구성할 필요가 있다. 즉, 만약 구체적 상황이 '줄일 수 없는 공변량'이라면 '복제 가능한 교육 프로그램'은 도달할 수 없는 목표이다. 따라서 의미있는 수준에서 일반화할 수 있는 해결책이 없다면 과학, 그리고 과학적 논의의 목적과 가치는 무엇이 되어야 할까?

Perhaps the time has also come to consider the possibility that context specificity is also a core ‘fact’ of medical education research. If so, we as a research community must begin grappling with the definition and construction of ‘science’ for our field. That is, if local context is the ‘irreducible covariate’, if the search for ‘replicable educational programmes’ is an implausible goal, if there are no meaningfully generalisable solutions in health professional education, then what is the purpose and value of science and scientific discourse in the health professional education field?

이 문제에 대한 답을 하기 위해서는 교육의 과학이라는 것은 흔히 부딪치는 문제에 대한 일반화가능한 해결책을 찾는 것이 아니라, 문제를 바라보는 더 바람직한 방법을 공유하는 것이 되어야 한다고 생각한다.

As a start towards addressing this question, I would like to suggest that the science of education is not about creating and sharing better generalisable solutions to common problems, but about creating and sharing better ways of thinking about the problems we face.

따라서 우리의 과학적 논의(논문 등)의 가치는 일반적인 해답을 찾는 것이 아니라 각자가 가진 문제에 대해서 더 나은 사고를 하는데 도움이 되어야 한다. 마찬가지로 논문을 읽는 것은 나와있는 해답을 맹목적으로 가져다 쓰기 위한 것이 아니라, 다른 사람이 문제를 해결한 방식을 나의 문제에 어떻게 적용할 것이며, 그러기 위해서는 무엇이 필요하며, 왜 그렇게 해야 하는지를 생각할 수 있는 과정이어야 한다.

Thus, the value of our scientific discourse (our talks and papers) will arise not from our ability to create a general solution that will apply to everyone’s problems or even our ability to solve each other’s problems, but rather from our ability to help each other think better about our own versions of the problems. Likewise, the value of reading the literature will not depend on our finding a solution that we can blindly adopt, but, rather, on reflecting on how to incorporate others’ interpretations of a problem into our own context, on what needs to be adapted to make those interpretations relevant to our context, and on why that adaptation is necessary.

Richard Shillington의 데이터 분석에 대한 묘사를 빌리자면, 교육에 대한 논문은 '생각을 도와주는 것'이지 '생각을 대체하는 것'이어서는 안된다.

To borrow Richard Shillington’s description of data analysis, the education literature should be ‘an aid to thinking, not a replacement for’.30

따라서 논문이나 학회 발표 등은 어떤 방식을 맹목적으로 도입하기 위한 것이 아니어야 한다. 문제에 대한 새로운 이해방식을 드러내고, 기존의 이해방식의 한계를 밝힐 수 있어야 한다.

Thus, we should not construct our papers and talks around the idea that we have an answer to some problem that others can blindly adopt. Our scientific discourse should not focus on the answers at all. Rather, it should focus on expressing a new understanding of the problem or on the flaws in traditional understandings of the problem.

교육은 이론만 만들어가는 학문이 아니며, 교육은 실천의 학문이다. 

Of course, education is not only a theory-building discipline; it is also a field of practice and, by focusing this discussion on a movement towards understanding, I do not suggest that we ignore the goal of positively affecting education practice.

교육에 대한 연구는 로켓을 만드는, 공식을 잘 만들어서 대입하기만 하면 확실하게 정의된 결과가 나오는 구조화된, 선형의 시스템이 아니다. 교육에 대한 연구는 물리학과의 유사점을 찾는다면 양자역학이나 카오스이론에 더 가까운 것이라고 할 수 있다.

Education research is not rocket science, which is built on a structured, linear system with a straightforward set of factors which we can stick into a well-articulated formula to predict a clearly defined outcome. Rather, if we must make analogies to the physical sciences, we might do better to look to quantum mechanics and chaos theory

It's NOT rocket science: rethinking our metaphors for research in health professions education.

(출처 : http://www.mikethearchitect.com/2012/02/its-not-about-complexity-its-about-simplicity.html)

19세기 물리학에서 다뤘던 고전적인 단순성과 예측가능성의 모델보다 근래에 나온 더 복잡한 구조들이 교육학적 맥락을 더 잘 묘사한다. 모든 것을 단순화시키려는 노력은, 모든 것이 서로 상호작용할 때 그 어떤 것도 '단순하지 않다'라는 문제가 있다.

현실적인 관점에서, 이 복잡성은 교육학에서의 흔한 문제를 해결하기 위한 의미있고 단순하며 일반화가능한 해결책은 근본적으로 불가능하다는 것을 말해준다. 한 교육적 영역과 다른 영역은 환경이 다르고, 맥락이 다르고, 교수-학생 관계가 다르고, 간섭하는 요소들도 달라서 서로 다른 맥락에서 예측을 한다는 것 자체가 의미가 없다.

"우리는 서로 비슷하거나 다른 아홉 개의 학교에서 이 연구를 환자 중심적 학습 환경에 대한 연구를 하고자 했다. 연구 결과는 우리가 던진 질문보다 더 복잡한 현실만을 보여줬다." 현실은 복잡하다. 19세기 물리학을 따라서 복잡한 세계를 단순하게 만들려고 하다가는 다양성의 아름다움을 놓치게 될 것이다.

교육 커뮤니티가 암암리에 받아들인 두 번째 과학의 필수요소는 '단순함'이다.

A second, equally important imperative that our community has implicitly adopted in its model of science is the imperative of simplicity.

이러한 특징은 Bryson이 "물리는 궁극적인 단순함에 대한 연구다"라고 했던 것처럼, 초기 물리학 모델에서 가장 두드러지게 나타난다.

This process is nowhere more deeply systematised than it is in the early models of science in physics. As Bryson commented: ‘…physics is really nothing more than the search for ultimate simplicity.’10

그러나 물리학조차 '단순함'의 계속 따르지는 못했다. 20세기에 원자보다 작은 수준으로 사고의 전환이 이뤄지는 과정에서 특히 그러했으며 Gino Segre는 이를 "물리학의 혼의 투쟁"이라고 불렀다.

It is worth noting, however, that physics itself has not necessarily followed this path of simplicity for some time. During the 20th century, there occurred a major shift in thinking within physics that evolved with the developing field of subatomic physics. It was a shift so fundamental that Gino Segre` dubbed it ‘a struggle for the soul of physics’.20

이러한 과정에서 물리학의 기본적인 요구사항은 단순함으로부터 불확실성으로 옮겨갔다. 리차드 파인만의 말에서 잘 드러난다. "한 철학자가 "과학이란 같은 조건에서 같은 결과를 내는 것이다" 라고 말한 적이 있다. 하지만 사실 그렇지 않다. 매번 같은 조건을 구성해두어도 어느 구멍에서 전자를 발견할지 예측하는 것은 불가능하다."

Through the discovery of these and other phenomena, the basic imperative of physics shifted from the construct of simplicity to a construct of uncertainty. This new understanding of physics was perhaps best captured by Richard Feynman, who wrote: ‘A philosopher once said, ‘‘It is necessary for the very existence of science that the same conditions always produce the same results.’’ Well, they do not. You set up the circumstances, with the same conditions every time, and you cannot predict behind which hole you will see the electron.’21

이러는 동안 거시 물리학의 세계에서는 카오스 이론이 등장하기 시작한다. 초기 상태에서 매우 짧은 거리만 벗어나도 대단히 예측불가능하다는 것이다. 이러한 카오스 시스템은 기본적으로 불안정하고 초기 상태에 대단히 민감해서 '동요(perturbation)의 기하급수적 증가'로 나타난다. 

Meanwhile, in the world of macro physics, the concept of chaos theory was being evolved to explain how certain dynamic systems can be highly deterministic (i.e. they have a clear and simple set of rules to describe their behaviour), but still be highly unpredictable just a short distance out from their initial state.22 These chaotic systems are inherently unstable because of their extreme sensitivity to initial conditions, which manifest as an ‘exponential growth of perturbations’. In short, for such systems, the simplifying assumption that ‘error’ cancels out simply does not hold. Rather ‘error’ multiplies, so the most minute deviations at the initial state manifest as massive deviations in a very short time.

이러한 '최근의' 물리학의 움직임은 교육학 영역과 유사성 갖는다.

The discoveries and descriptions found in these more ‘recent’ movements in physics have a ring of familiarity in the education domain.

19세기 물리학에서 다뤘던 고전적인 단순성과 예측가능성의 모델보다 근래에 나온 더 복잡한 구조들이 교육학적 맥락을 더 잘 묘사한다. 모든 것을 단순화시키려는 노력은 모든 것이 서로 상호작용할 때, 그 어떤 것도 '단순하지 않다'라는 문제가 있다.

These more complex constructs may be better descriptions of education contexts than the classic models of simplicity and predictability that were the organising principles of 19th century physics. The problem with trying to define everything simply is that when everything interacts, nothing is simple. 

따라서 '가정을 단순화'하고자 하는 환원주의의 목적은 달성할 수 없는 목표이다. 대신 Bryson은 '우리가 가질 수 있는건 기껏해바야 우아한 혼란일 뿐이다' 라고 했다. 아마 이것이 우리가 기대할 수 있는 최선일 것이다.

So the goal of reductionism by way of ‘simplifying assumptions’ may be a chimera. Instead, as Bryson concluded about physics, ‘…so far all we have is a kind of elegant messiness’.10 And perhaps this elegant messiness is the best we can hope for

현실적인 관점에서, 이 복잡성은 교육학에서의 흔한 문제를 해결하기 위한 의미있고 단순하며 일반화가능한 해결책은 근본적으로 불가능하다는 것을 말해준다. 한 교육적 영역과 다른 영역은 환경이 다르고, 맥락이 다르고, 교수-학생 관계가 다르고, 간섭하는 요소들도 달라서 서로 다른 맥락에서 예측을 한다는 것 자체가 의미가 없다.

From a practical perspective, this complexity probably indicates that meaningful, simple, generalisable findings that address common problems in education are fundamentally unachievable.14 Environmental differences between one education domain and the next, between one education context and the next, between one student–teacher dyad and the next, and even between one interaction in a student–teacher dyad and the next may involve a set of unique perturbations sufficient to render cross-context predictions meaningless.

Howell은 'Context는 줄일 수 없는 공변량이다' 라고 했다. 이는 Haidet 등의 논문에서 잘 강조되어 있다. "우리는 서로 비슷하거나 다른 아홉 개의 학교에서 이 연구를 환자 중심적 학습 환경에 대한 연구를 하고자 했다. 연구 결과는 우리가 던진 질문보다 더 복잡한 현실만을 보여줬다." 현실은 복잡하다. 19세기 물리학을 따라서 복잡한 세계를 단순하게 만들려고 하다가는 다양성의 아름다움을 놓치게 될 것이다.

Howell suggested that ‘context is the irreducible covariate’.23 This was highlighted wonderfully in the conclusions of a paper by Haidet and colleagues, who wrote: ‘We conducted this study to ask whether patient-centred learning environments at nine schools were substantially similar or different, both in strength and character. Our results indicate a more complex reality than the question would suggest.’24 The world is a complex and complicated place. By adopting the imperative of representing this complex and complicated world simply, in an emulation of 19th century physics, we have failed to represent the beauty and richness of variation and context.

우리가 단순하고 일반화가 가능한 해답을 얻기 위해 이 복잡함을 무시한다면, 복잡성을 잘 설명할 수 있는 방법을 만들어 낼 기회도 놓치는 것이다.

And we have missed the opportunity to evolve methods by which we can represent this complexity well, choosing instead to dismiss it as noise in our eagerness to achieve simple, generalisable solutions.

It's NOT rocket science: rethinking our metaphors for research in health professions education.

(출처 : http://aveneca.com/yesno.html)

과도하게 근거만을 추구하게 되면 결과 중심적인 연구에만 집착하게 될 수 있다. 왜 그렇게 되었는가에 대한 질문은 건너뛰고, 효과가 있는지 없는지만 보려고 하게 된다. '아니오'라는 답이 나오면 자꾸 이것저것 수정만 해보고, '예'라는 답을 얻자마자 그걸로 만족해버린다.

이렇게 되면 결국 교육 연구 커뮤니티에서 우리가 공유하게 되는 정보는 마치 "각자 물건 하나씩 가져와 발표하기"처럼 되어버리며, 학습 과정과 교육 방법에 관한 범커뮤니티적 이해에는 아무런 도움이 되지 못한다.

이러한 관점에서 보면 '효과가 있었는가?' 라는 질문보다 더 나은 질문은 언제나 존재하며, 단순히 '효과가 있다'라는 답보다 더 나은 답도 항상 존재한다. 

교육을 연구하는 사람들에게 '가설 검증 패러다임'은 대단히 실용적인 방향으로 발전해서, 연구의 목적이 '노출(exposure)과 결과(outcomes) 사이에 타당한 연결고리를 만드는 것'이 되었다. 특히 큰 범위에서 '근거중심의학'의 범주 안에 들어있다고도 볼 수 있는 의학교육에 있어서는, 이와 같은 목적은 어떤 교육학적 개입 방법의 효과에 대한 근거를 요구하는 방향으로 더 나아갔다. Eva의 말을 빌리자면 "효과가 있다는 근거"를 찾는 것이라고도 할 수 있다.

Yet, in the hands of education researchers, the hypothesis-testing paradigm developed in a highly practical direction,13 and the approach came to be defined less by the epistemology (the elaboration of causal theories through hypothesis testing) and more by the methodology by which the epistemology was enacted (the randomised control trial).14 With this shift, the goal of research in this tradition was reinvented as a much more practical desire ‘to establish credible links between exposures and outcomes’.15 Particularly in medical education, which has been functioning for some time in the larger context of the evidence-based medicine movement, this goal evolved further into a demand for evidence of the efficacy for education interventions, which, again as Eva has suggested, has been equated with ‘proof that something works’.9 

많은 교육 프로그램 개발자들에게 있어서, 이렇게 증거를 요구하는 것은 프로그램 평가를 '총괄평가'의 특성을 갖도록 했을 뿐만 아니라, 그 개입방법이 실제로 효과가 있었는가(worked)에 대해서만 집중을 하게 만들었다. '총괄평가'를 하는 전형적인 접근 방법은 아래와 같다.

For many programme developers, this imperative of proof has led to summative models of programme evaluation and to an almost exclusive focus on the question of whether the intervention ‘worked’16 (i.e. whether those who received the intervention improved on a predetermined outcome measure). One implication of this summative approach to programme evaluation is that a typical process of education innovation looks something like this:

1 identify a content area that needs to be taught;

2 develop a teaching module to match the content and implement the module;

3 test to see if it ‘works’;

4 try to figure out what went wrong;

5 tweak the design and delivery;

6 test to see if it works now (if it does not, go back to step 4 or, eventually, give up), and

7 publish the success as demonstrating that the content area can be taught in this way.

프로그램 개발에 대한 이와 같은 접근 방법의 결과는 프로그램 수정이 총체적인 데이터 수집을 기반으로 이뤄지는 것이 아니라, 우선 도입한 후 사후 짐작을 바탕으로 이뤄진다는 것이다. 따라서 프로그램은 기껏해봐야 차선의 수준에서 개선이 이뤄지며, 더 흔하게는 종합적이고 지속적인 개선이 이뤄지기도 전에 폐기되기 일쑤이다.

The result of such an approach to programme development is that any iterative modifications made to the programme are based on post hoc guesses rather than on systematically collected data. Thus, programmes are, at best, improved in a suboptimal way and, more often, are abandoned before they have a chance to mature effectively through systematic and sustained innovation.17 

더 심각한 것은 프로그램이 '효과가 있든' 아니면 버려졌든, 우리는 효과가 있는지에만 집중을 했기 때문에 그 결과로부터 아무것도 배우지 못한다. 

More importantly for the science of education, regardless of whether the programme ultimately ‘works’ or is abandoned, we don’t learn anything meaningful from these efforts because we are more focused on whether a programme works than on why it does or doesn’t and the implications of its ‘success’ or ‘failure’ both for our  understanding of learning and, through this understanding, for future education practices.

교육 프로그램 개발자만이 이렇게 증거를 따지고 드는 것이 아니다. '가설 검증'의 전통을 바탕으로 이론을 연구하는  연구자들도 이론이 일반화될 수 있고 적용가능한지에 대한 검증을 하는 대신 증거만 만들어내고자 한다. 이러한 식으로 이론적 연구를 하는 사람들은 안타깝게도 앞서 프로그램 개발자들이 밟았던 전철을 그대로 밟는다. 

Interestingly, the limitations of having adopted an imperative of proof are not restricted to the developers. Even for those who focus on the study of theory in the hypothesis-testing tradition, there has been some gravitational pull towards producing proof of a theory rather than a test of its applicability and generalisability. Thus, for many who attempt to engage in theoretical work in the context of this imperative, a distressingly similar road to theory ‘development’ can be travelled:

1 identify a data pattern expected from the theory;

2 develop a study to demonstrate that result;

3 run the pilot subjects to see if the experimental manipulation ‘works’;

4 if it does not, try to figure out what went wrong;

5 tweak the materials and instructions;

6 test to see if it works now (if not, go back to step 4 or, eventually, give up), and

7 publish the success as demonstrating that the theory is plausible.

이 과정에서, 우리는 종종 확증편향에 빠지게 되고, 가지고 있는 데이터를 설명할 수 있는 다른 요소를 찾거나, 더 시간을 들여서 깊이 들여다보고자 하지 않는다. 다시 한번, 우리는 그 이론이 작동하는 조건만을 찾으려고 들기 때문에 아무것도 배우지 못한다. 그 이론이 언제 작동하고 언제 작동하지 않는지, 또는 더 넓은 이해를 바탕으로 성공 / 실패에 담긴 함의가 무엇인지를 알아내는 것에는 관심을 갖지 않았기 때문이다.

In the process, we often fall prey to the confirmation bias (i.e. if our results are predicted by our theory, then our theory must be right)13 and spend little time looking deeper into what else might explain our data or what else might be going on in our dataset. But again, importantly for the science of education, we don’t learn anything meaningful from the ultimate result because we are more focused on finding the conditions that prove our theories than we are on when they do or don’t work and the implications of the ‘success’ or ‘failure’ of our studies for our broader understanding of the theories we are exploring.

따라서 과도하게 근거만을 추구할 때에 지나치게 결과 중심적인 연구에만 집착하게 될 수 있다. 왜 그렇게 되었는가에 대한 질문은 건너뛰고, 효과가 있는지 없는지만 보려고 하게 된다. '아니오'라는 답이 나오면 자꾸 이것저것 수정만 해보고, '예'라는 답을 얻자마자 그걸로 만족해버린다.

Thus, by having adopted too completely the imperative of proof for determining the quality and value of our research efforts, we have brought about a general movement towards a ‘decision-oriented’ model of education research.17 Rather than dwelling on the questions of what is going on, we jump straight to the issue of whether it worked. We keep tweaking when the answer is ‘No’, but are satisfied as soon as the answer is ‘Yes’.

그 결과로 교육 연구 커뮤니티에서 우리가 공유하게 되는 정보는 마치 "각자 물건 하나씩 가져와 발표하기"처럼 되어버려서 학습 과정과 교육 방법에 관한 범커뮤니티적 이해에는 아무런 도움이 되지 못한다.

As a result, the information we share with the larger education research community through the talks we give and the studies we publish tends to feel more like a ‘show-and-tell’ exercise than an engaging and challenging contribution to the community’s understanding of learning processes and education practices.

이러한 관점에서 보면 '효과가 있었는가?' 라는 질문보다 나은 질문은 언제나 존재하며, 단순히 '효과가 있다'라는 답보다 더 나은 답도 항상 존재한다. 다만 증거에 대한 요구가 알게 모르게 우리를 통과/실패의 이분법적인 가치만을 가장 좋은 '근거'로 생각하도록 만드는 것이다. 

From the perspective of improving our education science, therefore, there is always a better question than ‘Did it work?’ and there is always a better answer than ‘Yes’. Yet the imperative of proof that underlies much of this work implicitly and explicitly values these dichotomous pass ⁄ fail questions as representing the highest form of ‘evidence’, creating one of the gravitational pulls that shape much of the work carried out in the field.

It's NOT rocket science: rethinking our metaphors for research in health professions education.