차이점수 분석과 공분산분석

차이점수 분석 모형은 식 (1)과 같이 나타낼 수 있다. 이 식은 동일한 측정 단위를 사용하여 얻은 사전점수(X_1i)와 사후점수(X_2i)의 차이값을 종속변수로 하고, 집단을 나타내는 더미변수(Z_i; 통제집단 Z_i = 0, 처치집단 Z_i = 1)를 독립변수로 하는 단순회귀모형이다. 이 모형에서 절편 γ₀는 Z_i = 0일 때 기대되는 차이점수 즉, 통제집단에서의 평균 차이점수를 나타내고, 기울기 γ₁은 Z_i가 1단위 증가할 때 기대되는 차이점수의 변화량 즉, 통제집단에 비해 처치집단의 차이점수가 평균적으로 얼마나 다른지를 나타낸다. e_1i는 모형의 잔차이다.

이 식에서 집단변수의 기울기 γ₁이 바로 변화의 집단차를 나타낸다. 따라서, γ₁의 추정치가 곧 처치효과 추정치를 나타내고, 이 값의 유의성을 검증하면 처치효과가 유의한지 검증할 수 있다.

참고로, 본 논문에서는 식 (1)과 같이 회귀모형에 기반하여 차이점수 분석을 제시하였지만, 차이점수를 종속변수로 하여 독립집단 t-검정(혹은 ANOVA)을 실시하면 동일한 처치효과 유의성 검증 결과를 얻을 수 있다.

이와 달리, 공분산분석은 사후점수(X_2i)를 종속변수로 하고, 사전점수(X_1i)를 공변인, 집단(Z_i)을 독립변수로 하는 다중회귀모형에 기반하며, 이를 식 (2)와 같이 나타낼 수 있다. 여기서 β₀는 절편, β₁과 β₂는 각각 사전점수와 집단변수의 기울기, 그리고 e_2i는 잔차를 나타낸다. 공분산분석 모형에서는 β₂가 변화의 집단차 혹은 처치효과를 나타내며, β₂의 유의성을 검증하면 처치효과가 유의한지 검증할 수 있다. 이 때의 처치효과는 사전점수로 예측할 수 있는 것 이상으로 사후점수가 변화한 정도를 가리킨다.

만약 동일한 자료를 식 (1)과 (2)를 사용하여 각각 분석했을 때, 식 (1)의 γ₁과 식 (2)의 β₂가 동일하게 추정되고 표준오차 또한 동일하게 추정된다면, 차이점수 분석과 공분산분석은 처치효과에 대한 동일한 결론을 산출하게 될 것이다. 그러나, 아래 제시된 것과 같이, 다양한 요인들에 따라 γ₁과 β₂ 추정에 차이가 발생할 수 있다.

차이점수 분석과 공분산분석의 결과 차이를 가져오는 요인들

선행 연구에 따르면, 점수의 신뢰도, 사전-사후 점수 간 상관, 사전점수에서의 집단차 등에 따라 차이점수 분석과 공분산분석 간에 결과 차이가 발생할 수 있다(Castro-Schilo & Grimm, 2018; Gollwitzer et al., 2014; Van Breukelen, 2013). 이를 좀 더 명확히 이해하기 위해, 공분산분석 모형 식 (2)의 양 변에서 X_1i를 빼서 식 (3)과 같이 나타내보자.

식 (1)에 제시된 차이점수 분석 모형과 식 (3)에 제시된 공분산분석 모형을 비교해보면, 두 모형은 차이점수가 종속변수 역할을 하고 집단변수가 예측변수 역할을 한다는 점에서 동일하지만, 공분산분석 모형에는 사전점수가 추가적인 예측변수로 포함되어 있다는 점에서 다르다고 할 수 있다(Castro-Schilo & Grimm, 2018).

또한, 다음 두 가지 조건 중 하나라도 만족하면 γ₁과 β₂가 동일한 값을 갖게 되어 Lord의 역설이 발생하지 않음을 알 수 있다(Castro-Schilo & Grimm, 2018). 첫째, 식 (3)에서 β₁이 1의 값을 갖는다면 식 (3)과 식 (1)은 동일해지고, Lord의 역설은 발생하지 않는다. 식 (3)에서 β₁은 사전-사후점수 간 안정성을 나타내는데(Kisbu-Sakarya et al., 2013), 안정성은 사전-사후 진점수 간 상관, 사전 및 사후점수의 신뢰도, 사전 및 사후점수의 집단차, 그리고 사전 및 사후점수 분산의 비율에 의해 결정된다¹⁾. 만약 사전-사후 점수 간에 완벽한 안정성이 존재한다면 즉, 사전-사후 점수 진점수 간 상관이 1이고, 사전 및 사후점수에서 집단차가 동일하게 유지되고, 사전 및 사후 점수의 분산이 동일하며, 사전 및 사후점수가 완벽하게 신뢰롭다면, β₁ = 1이 되어 Lord의 역설이 발생하지 않는다.

둘째, 만약 β₁ ≠ 1이더라도(즉, 사전-사후 점수 간 완벽한 안정성이 존재하지 않더라도), 사전점수 X_1i와 집단변수 Zi가 서로 상관을 갖지 않는 경우(즉, 두 집단 간 사전점수에 평균적으로 차이가 없는 경우)에는 Lord의 역설이 발생하지 않는다. 사전점수와 집단변수 간에 상관이 없으면, 집단변수 기울기 β₂는 사전점수가 모형에 포함되었는지의 여부에 따라 영향을 받지 않기 때문이다.

무선할당(random assignment) 설계의 경우, 처치집단과 통제집단에 무선적으로 참여자를 할당하므로, 사전점수에 체계적인 집단차가 존재하지 않으리라 기대할 수 있고 Lord의 역설이 발생하지 않을 것으로 예상할 수 있다. 선행 연구에 따르면, 실제로 무선할당 설계에서는 차이점수 분석과 공분산분석 모두 편향없이 처치효과를 정확히 추정함을 알 수 있다(Van Breukelen, 2006, 2013; Jennings & Cribbie, 2016). 다만, 공분산분석과 차이점수 분석은 서로 다른 잔차 분산과 자유도를 갖는데, 이로 인해 공분산분석이 차이점수 분석에 비해 더 높은 검정력을 나타내는 것으로 알려져 있다(Huck & McLean, 1975; Jennings & Cribbie, 2016; Kisbu-Sakarya et al., 2013; Petscher & Schatschneider, 2011; Van Breukelen, 2013).

지금까지 Lord의 역설이 발생하지 않는 두 조건에 대해 살펴보았는데, 이 두 조건이 모두 만족되지 않는다면(즉, β₁이 1과 다르고, 사전점수와 집단변수 간 상관 또한 존재한다면), 차이점수 분석과 공분산분석이 상이한 처치효과 추정치를 산출하는 Lord의 역설이 발생한다(Gollwitzer et al., 2014). 실제 자료에서 점수가 완벽하게 안정적인 경우는 거의 없기 때문에, Lord의 역설이 드물지 않게 발생하리라고 예상할 수 있다. 또한, 윤리적, 현실적 이유로 무선할당이 가능하지 않아서 비무선할당(non-random assignment) 설계를 사용할 수밖에 없는 상황이 종종 발생하는데, 이 경우 사전점수에 체계적인 집단 차이가 존재할 수 있고, 이로 인해 사전점수와 집단변수 간 상관이 존재하여 Lord의 역설이 발생할 수 있다.

그렇다면, Lord의 역설이 발생했을 때 차이점수 분석과 공분산분석의 결과 중 어느 것이 정확한가? 이에 대한 답은 인과추론 맥락에서 두 방법을 비교한 연구들을 통해 찾을 수 있다. 이 연구들은 인과추론에 대해 상당히 방대한 내용을 다루고 있지만, 핵심은 비무선할당 중 구체적으로 어떤 집단 할당 방법을 사용했는가에 따라 인과추론의 정확성이 달라진다는 것이다(인과 추론에 대한 보다 자세한 논의는 Maris(1998) 그리고 Lee와 Suk (2024)에서 찾아볼 수 있다).

차이점수 분석과 공분산분석은 서로 다른 가정에 기반하여 인과추론 즉, 처치효과를 추정하며(Maris, 1998), 이로 인해 영가설이 참일 때(즉, 처치효과가 존재하지 않을 때) 예측하는 결과 패턴에 차이를 보인다²⁾(Castro-Schilo & Grimm, 2018; Van Breukelen, 2013). 차이점수 분석은 처치효과가 없다면, 사전점수에서 나타난 집단 간 차이가 사후점수에서도 그대로 유지될 것으로 예측한다. 반면, 공분산분석은 처치효과가 없다면, 사전점수에 존재하는 집단 차이가 사후에는 더 줄어들 것으로 예측한다. 예를 들어, 처치집단의 평균 사전점수가 통제집단보다 3점 더 높았다면, 차이점수 분석은 사후에도 두 집단 간 평균 차이가 동일하게 3점으로 유지될 것으로 예측한다. 반면, 공분산분석은 사후 시점에 이 차이가 3점보다는 줄어들 것으로 예측한다.

공분산분석이 예측하는 이러한 결과 패턴은 다음과 같은 가정을 반영한다. 공분산분석은 처치집단과 통제집단의 참여자들이 원래 하나의 동일한 모집단에 속하며, 집단 할당이 사전점수에 영향을 미치지 않는다고 가정한다. 즉, 모든 참여자가 원래 동일한 모집단에 속해 있었고, 어느 집단에 할당되었는가가 사전점수에 아무런 영향을 미치지 않았다면, 사전점수에서의 두 집단 간 표본 평균에 차이가 관찰되었을 때 이것이 모집단 평균 차이로 인해 발생한 것은 아니라고 할 수 있다. 따라서, 처치 효과가 없다면, 두 집단에 속한 개인들의 점수는 동일한 하나의 모집단 평균으로 회귀하게 되고, 이로 인해 사후 시점에는 두 집단의 평균 값이 서로 더 유사해지면서 차이가 줄어들게 된다(Castro-Schilo & Grimm, 2018; Van Breukelen, 2013).

이와 같은 맥락에서, Maris(1998)는 회귀불연속 설계를 사용할 경우 공분산분석이 처치효과를 정확히 추정함을 이론적으로 설명한 바 있다. 회귀불연속 설계는 집단 할당 이전에 사전점수를 측정하며, 관찰된 사전점수에 기반하여 집단을 할당한다. 따라서, 회귀불연속 설계는 두 집단에 속한 모든 참여자가 원래 동일한 하나의 모집단에 속하고(사전점수를 측정하기 전에는 참여자들을 두 집단으로 구분할 수 없으므로), 집단 할당이 사전점수에 영향을 미치지 않는다(집단 할당은 사전점수 측정 이후에만 가능하므로)는 공분산분석의 가정을 충족하고, 이로 인해 공분산분석이 정확하게 처치효과를 추정한다고 할 수 있다.

이와 달리, 차이점수 분석은 처치효과가 존재하지 않을 때 사전점수의 집단 간 평균 차이가 사후점수에도 그대로 유지될 것으로 예측한다(Castro-Schilo & Grimm, 2018). 이는 처치집단과 통제집단이 이질적인 모집단에 속한다는 가정을 내포하는데(Van Breukelen, 2013), 이러한 가정은 회귀불연속 설계에 부합하지 않는다. 따라서, 회귀불연속 설계에서 차이점수 분석은 처치효과를 정확하게 추정하지 못한다.

반면, 이미 존재하는 서로 다른 집단을 비교(예: 결혼의 효과를 검증하기 위해 기혼 집단과 미혼 집단을 비교)하는 비동질적 집단 설계(nonequivalent groups design)에서는 공분산분석의 가정을 만족시키기가 어렵다. 두 집단이 동일한 하나의 모집단에서 나온 것이 아니라 서로 다른 특징을 갖는 이질적인 모집단에서 나왔다면, 처치효과가 존재하지 않을 때 사후시점에 두 집단의 평균 점수가 동일한 모집단 평균으로 회귀할 이유가 전혀 없으며, 공분산분석이 예측하는 결과 패턴을 따르지 않게 된다. 따라서, 비동질적 집단 설계에서 공분산분석을 사용하여 처치효과를 추정하면 편향된 결과를 얻게 된다(Castro-Schilo & Grimm, 2018; Van Breukelen, 2013).

만약, 비동질적 집단 설계에서, 처치효과가 존재하지 않을 때 사후점수에서의 두 집단 간 평균 차이가 사전점수에서의 집단 간 평균 차이와 동일하게 유지된다면, 이는 차이점수 분석이 예측하는 결과 패턴에 부합하며, 이 경우 차이점수 분석을 사용하면 처치효과를 정확하게 추정할 수 있다(Castro-Schilo & Grimm, 2018). 그러나, 이 조건 또한 성립하지 않는다면, 두 분석 방법 모두 편향된 결과를 산출하게 된다.

정리하면, 비무선할당 설계에서는 Lord의 역설이 발생할 수 있으며, 비무선할당 중 구체적으로 어떤 집단 할당 방법을 사용했는가에 따라 각 분석 방법이 산출하는 처치효과 추정 결과의 정확성이 달라진다. 비무선할당 중 회귀불연속 설계를 사용한 경우 공분산분석의 결과는 정확하지만 차이점수 분석의 결과는 그렇지 않다. 반면, 비동질적 집단 설계를 사용한 경우에는 상황에 따라 차이점수 분석이 정확할 수도 있지만, 두 분석 방법 모두 부정확한 결과를 산출할 수도 있다.

선행 시뮬레이션 연구 개관

차이점수 분석과 공분산분석의 수행을 비교한 시뮬레이션 연구들은 Lord의 역설이 발생할 수 있는 다양한 조건 하에서 두 분석 방법의 수행을 비교하고자 하였다.

Wright(2006)는 비무선할당 설계에서 두 방법의 수행을 비교하기 위해, 사전점수에 기반하여 집단 할당한 경우(조건 1)와, 사전점수에 기반한 집단 할당은 아니지만 사전점수가 집단과 상관관계를 보이는 경우 즉, 집단 할당이 사전점수가 아닌 사전 진점수(true score)에 따라 확률적으로 이루어지는 상황(조건 2)을 고려하였다. Wright(2006)는 집단 할당 방법과 함께 평균 처치효과 크기와 점수의 신뢰도를 달리하여 다양한 조건을 생성하고, 각 조건에서 생성한 자료를 두 방법으로 분석하여 처치효과 추정 편향에서의 차이를 살펴보았다. 그 결과, 집단 할당 조건 1에서는 공분산분석이 편향되지 않은 추정치를 산출한 반면, 차이점수 분석은 신뢰도가 완벽한 경우에만 편향되지 않은 추정치를 산출하였고 신뢰도가 낮아질수록 더 크게 편향된 결과를 산출하였다. 이와 달리, 집단 할당 조건 2에서는 차이점수 분석이 편향되지 않은 추정치를 산출한 반면, 공분산분석은 편향된 추정치를 산출하였고 신뢰도가 낮아질수록 더 큰 편향을 나타냈다.

Petscher와 Schatschneider(2011)는 이와 달리 무선할당 설계만을 고려하여 시뮬레이션 연구를 수행하였다. 무선할당의 경우 두 방법 모두 편향되지 않은 결과를 산출하기 때문에, 편향은 고려하지 않고 제1종 오류율과 검정력에 초점을 두고 두 방법을 비교하였다. 보다 구체적으로, 이들은 자료의 안정성이 달라짐에 따라 두 분석 방법 결과에 어떠한 영향을 미치는지 살펴보았는데, 안정성의 정도를 조작하기 위해 사전-사후점수 간 상관 및 사전점수-변화 간 상관³⁾을 체계적으로 변화시켰다. 그리고, 추가적으로 자료가 편포된 정도를 조작하여, 자료가 정규분포를 따르지 않을 경우 검정력이 어떻게 달라지는지도 함께 살펴보았다. 그 결과, 제1종 오류율은 모든 조건에서 .05 수준을 유지하였고, 분석 방법 간 차이도 없었다. 검정력의 경우, 자료 분포에 따른 차이는 거의 없었고, 사전-사후점수 간 상관이 낮으면 공분산분석이 차이점수 분석에 비해 다소 높은 검정력을 보였으나, 상관이 높아질수록 두 방법 간 차이가 줄어들었다. 사전점수-변화 간 상관이 정적인 경우(확산 성장)에는 공분산분석이 차이점수 분석에 비해 더 높은 검정력을 보였으나, 사전점수-변화 간 상관이 0인 경우(평행 성장)와 부적인 경우(숙달 학습)에는 두 방법 간 검정력 차이가 거의 없었다.

Kisbu-Sakarya와 동료들(2013)은 점수의 안정성, 신뢰도, 사전점수의 집단차, 표본 크기, 그리고 처치효과 크기에 따라 두 방법⁴⁾이 수행에 어떠한 차이를 보이는지 살펴보았다. 이때 처치효과에 대한 편향은 살펴보지 않았고, 제1종 오류율과 검정력에만 초점을 두었다. 이들은 공분산분석 모형을 참모형으로 하고, 사전점수가 사후점수를 예측할 때의 기울기를 조작함으로써 점수의 안정성을 변화시켰다. 무선할당, 사전점수에 의한 할당 등과 같은 집단 할당 메커니즘을 조작하지는 않았으며, 사전점수에 나타나는 집단 간 평균 차이의 크기만을 변화시켰다. 시뮬레이션 결과, 제1종 오류율에는 분석 방법 간 차이가 나타나지 않았다. 검정력의 경우, 점수가 완벽하게 안정적일 때는 두 방법 간 차이가 없었지만, 안정성이 낮은 조건에서는 공분산분석이 차이점수 분석에 비해 더 높은 검정력을 나타냈다. 안정성은 신뢰도와 상호작용을 나타냈는데, 공분산분석의 경우 신뢰도가 낮을 때는 안정성이 높아질수록 검정력이 낮아진 반면, 신뢰도가 높을 때는 안정성에 따른 일관된 패턴을 보이지 않았다. 이와 달리, 차이점수 분석은 신뢰도가 낮을 때 안정성에 따른 일관된 패턴을 보이지 않은 반면, 신뢰도가 높을 때는 안정성이 높아질수록 검정력이 높아지는 것으로 나타났다.

사전점수의 집단차에 따른 결과를 살펴보면, 신뢰도가 1인 경우에는 두 방법 간 차이가 나타나지 않았지만, 신뢰도가 1보다 낮은 경우에는 사전점수 집단차가 존재하는 조건에서 두 방법 간 차이가 관찰되었다. 공분산분석의 경우, 사전점수에 집단차가 존재할 때 처치효과가 없는 조건에서 제1종 오류율이 높아졌고, 처치효과가 존재하는 조건에서는 사전점수 집단차의 방향이 처치효과와 동일한 방향일 경우에는 검정력이 높아졌으나 집단차의 방향과 처치효과 방향이 반대일 경우에는 검정력이 낮아졌다. 차이점수 분석의 경우, 사전점수 집단차 크기나 방향에 따라 검정력이 달라지지 않았다.

Jennings와 Cribbie(2016)는 이전 연구들에서 고려되었던 신뢰도, 집단 할당 방법, 처치효과 크기, 표본 크기와 같은 다양한 요인들을 포괄적으로 고려하였고, 이에 더해 천장효과와 바닥효과의 유무에 따른 결과 차이도 살펴보았다. 또한, 편향, 검정력, 제1종 오류율과 같은 다양한 결과 지표를 모두 고려하였다. 시뮬레이션 결과, 전반적으로 천장효과와 바닥효과는 처치효과 추정에 편향을 가져오는 것으로 나타났다. 집단 할당 방법별로 살펴보면, 무선할당 조건에서는 분석 방법⁵⁾ 간 수행 차이가 크지 않았으나, 능력치에 따른 집단 할당에서는 공분산분석이, 능력치가 다른 이질적 집단 간 비교에서는 차이점수 분석이 편향되지 않은 결과를 산출하였다. 제1종 오류율과 검정력은 편향에 의해 영향을 받는 것으로 나타났다.

선행 연구의 한계와 본 연구의 목적

이러한 선행 시뮬레이션 연구들을 검토한 결과, 다음과 같은 한계점을 찾을 수 있었다. 첫째, 앞서 언급한 선행 시뮬레이션 연구들의 특징을 정리한 표 1을 살펴보면, 연구마다 조작한 요인 및 각 요인의 수준을 조작한 방법에 차이가 있음을 알 수 있다. 특히, 연구에 따라 집단 할당 방법에 큰 차이를 보였는데, 무선할당만 고려했거나(Petscher & Schatschneider, 2011), 비무선할당만 고려한 경우(Wright, 2006)가 있었고, 무선할당과 비무선할당을 모두 고려했다고 하더라도 이를 시뮬레이션에서 구현한 방식에 차이가 있었다.

예를 들어, Wright(2006)는 비무선할당 방식으로 사전점수 기반 할당과 사전 진점수 기반 확률적 할당의 두 가지를 고려하였다. 사전점수 기반 할당은, 예컨대 자존감 향상 프로그램의 효과를 검증하는 연구에서, 자존감 사전점수가 기준 이하인 참여자는 프로그램이 보다 유용할 것으로 판단하여 처치집단에 배정하고, 기준 이상인 참여자는 이 프로그램이 상대적으로 덜 유용할 것으로 판단하여 통제집단에 배정하는 방식이다. 반면, 사전 진점수 기반 확률적 할당은, 예를 들어 우울 치료 프로그램의 효과를 검증하는 연구에서 참여자들이 스스로 집단을 선택하도록 했을 때, 사전시점의 실제 우울 수준이 높을수록 처치집단을 선택할 확률이 높고, 낮을수록 통제집단을 선택할 확률이 높아지는 경우를 의미한다.

이와 달리, Kisbu-Sakarya 등(2013)은 시뮬레이션에서 비무선할당 중 비동질적 집단 할당, 즉 원래 평균이 서로 다른 이질적 모집단에서 처치집단과 통제집단의 참여자를 모집하는 상황만을 고려하였으며, 두 집단 간 평균 차이의 크기를 여러 수준으로 조작하였다.

이처럼 기존 시뮬레이션 연구들에서 사용된 사전점수 기반 할당, 사전 진점수 기반 확률적 할당, 비동질적 집단 할당과 같은 비무선할당 방식은 결과적으로 사전점수에서 집단 간 평균 차이를 유발하게 된다. 예컨대, 자존감 향상 프로그램의 예처럼 사전점수 기반으로 집단을 나누는 경우, 사전점수가 낮은 참여자는 처치집단에, 높은 참여자는 통제집단에 배정되므로, 처치집단의 사전점수 평균은 통제집단보다 낮을 수밖에 없다. 마찬가지로, 우울 치료 프로그램의 예처럼 사전 진점수가 높을수록 처치집단을 선택할 확률이 높다면, 처치집단의 사전점수 평균이 통제집단보다 높아지게 된다. 비동질적 집단 설계의 경우에는 처음부터 두 집단이 평균 차이를 갖도록 데이터를 생성하기 때문에, 사전점수에 명확한 평균 차이가 존재하게 된다.

그러나, 사전점수에서 관찰되는 이러한 집단 간 평균 차이는 설령 그 크기가 완전히 동일할지라도 그것이 어떠한 집단 할당 메커니즘에 의해 발생했는가(예를 들어, 사전점수에 기반하여 집단을 할당한 결과로 발생한 차이인지, 원래 평균이 서로 다른 이질적 집단이기 때문에 나타난 차이인지)에 따라 어느 분석 방법의 결과가 정확한지가 달라지게 된다. 따라서, 다양한 집단 할당 방법을 보다 체계적으로 구현하고 그 영향을 비교할 필요가 있다.

둘째, 안정성을 체계적으로 조작한 연구가 많지 않다. 안정성은 앞서 언급하였듯이 사전-사후 진점수 간 상관, 사전 및 사후점수의 신뢰도, 사전 및 사후점수의 집단차, 그리고 사전-사후점수 분산 비율에 의해 달라진다. 사전 및 사후점수에서의 집단 차이는 집단 할당 메커니즘에 따라 영향을 받기 때문에, 집단 할당 메커니즘이 동일하다면 사전-사후 진점수 간 상관, 사전 및 사후점수의 신뢰도, 그리고 사전 및 사후 점수 분산의 비율에 따라 안정성이 달라진다고 할 수 있다.

그러나, Petscher와 Schatschneider(2011) 만이 사전, 사후점수 분산을 다른 요인과 구분하여 따로 조작하였고, 다른 연구들은 대체로 분산에 대한 명확한 언급을 하지 않았다. 또한, 사전-사후 진점수 간 상관 그리고 사전 및 사후점수의 신뢰도를 구분하지 않고, 사전-사후점수 상관을 조작한 경우가 많았다⁶⁾. 예를 들어, Jennings와 Cribbie(2016)는 사전-사후점수의 상관이 신뢰도에 의해 완전히 결정되도록 시뮬레이션을 구현하였고, 사전-사후점수 간 상관과 신뢰도를 따로 고려한 선행 연구들도 모두 진점수가 아닌 관찰점수 상관에 기반하여 그 수준을 조작하였다(Kisbu-Sakarya et al., 2013; Petscher & Schatschneider, 2011).

셋째, 선행 연구에 따르면, 신뢰도, 사전-사후점수 간 상관, 집단 할당 방법에 따라 두 분석 방법 간 차이가 발생한다는 결과가 반복적으로 확인되었음에도 불구하고, 이 요인들을 통합적으로 고려하여 시뮬레이션을 수행한 연구는 없었다. 이러한 요인들이 복합적인 상호작용을 나타낼 가능성이 존재하지만, 선행 연구들은 이 요인들 중 일부만을 선택적으로 살펴보았기 때문에 이러한 상호작용을 살펴볼 수 없었다.

넷째, 연구마다 자료 생성에 사용한 참모형에 차이를 보였다. Wright(2006)는 고전검사이론 및 진점수에 대한 가정(처치가 없으면 진점수는 변화하지 않으며, 처치효과가 있는 경우 모든 사람들에게 동일한 크기로 발생한다)에 기반하여 점수를 생성한 반면, Kisbu-Sakarya 등(2013)은 공분산분석 모형을 참모형이라고 가정하고 점수를 생성하였다.

Petscher와 Schatschneider(2011) 그리고 Jennings와 Cribbie(2016)와 같이 참모형을 정확히 명세하지 않은 경우도 있었다. 참모형을 정확히 알 수 없으면 시뮬레이션에서 추정한 효과가 무엇인지 파악하기 어렵기 때문에, 연구 결과를 해석하고 일반화하는 데 제한이 따르며, 다른 연구자들이 해당 시뮬레이션 연구를 재현하거나 확장하는 것을 어렵게 만든다.

마지막으로, 연구에 따라 분석 방법의 수행을 평가하기 위해 사용한 결과 지표가 달랐다. Wright(2006)는 처치효과 추정의 편향을 살펴본 반면, Petscher와 Schatschneider(2011) 및 Kisbu-Sakarya 등(2013)은 편향은 살펴보지 않고 제1종 오류율과 검정력만을 살펴보았다. Jennings와 Cribbie(2016)는 편향, 제1종 오류율, 검정력을 모두 살펴보았는데, 이들이 지적한 바와 같이 편향이 발생하면 이것이 제1종 오류율과 검정력에도 영향을 미치기 때문에, 편향을 고려하지 않고 제1종 오류율과 검정력만을 살펴보게 되면 부정확한 결론을 도출할 우려가 있다.

이와 같은 선행 연구의 한계를 극복하기 위해 본 연구에서는 다음과 같이 시뮬레이션을 수행하고자 하였다. 첫째, 집단 할당 방식과 점수의 안정성을 보다 체계적으로 조작한다. 둘째, 신뢰도, 사전-사후점수 간 상관, 집단 할당 방식 등 다양한 요인들을 통합적으로 고려한다. 셋째, 자료 생성에 사용된 참모형을 명확히 제시하고, 이에 기반하여 결과를 평가한다. 넷째, 다양한 결과 지표를 종합적으로 고려한다. 이와 같이 포괄적이고 체계적으로 시뮬레이션을 수행함으로써, 차이점수 분석과 공분산분석을 비교하는 기존의 시뮬레이션 연구 결과들을 통합적으로 이해하고, 두 분석 방법 간의 차이 및 각 방법을 언제 사용하는 것이 적절한가에 대한 보다 심층적인 이해를 도모하고자 하였다.

자료 생성 모형

시뮬레이션 자료 생성을 위한 참모형은 Wright(2006)의 시뮬레이션을 참고하여 다음과 같이 설정하였다.

식 (4)의 X_1i는 i번째 참여자의 사전점수를 의미하며, 고전검사이론(Lord et al., 1968)에 기반하여 진점수 T_1i와 측정 오차 m₁E_1i의 합으로 구성된다고 보았다. 식 (5)의 X_2i는 i번째 참여자의 사후점수로, 마찬가지로 진점수 T_2i와 측정 오차 m₂E_2i의 합으로 구성된다. 단, 사후점수의 경우, i번째 참여자가 처치집단(G_i = 1)에 속할 때는 d 크기의 처치효과가 더해지고, 통제집단(G_i = 0)에 속할 때는 처치효과가 더해지지 않도록 하였다.

사전, 사후 진점수와 측정오차는 다음과 같이 생성하였다. 먼저, T_1i, T_2i, E_1i, E_2i는 평균이 모두 0이고 분산은 모두 1인 다변량 정규분포를 따른다고 가정하였다. 이때 진점수와 측정오차 간에는 상관이 존재하지 않으며, 사전 및 사후 시점의 측정오차 간에도 상관이 존재하지 않는다고 가정하였다. 사전-사후 진점수 간 상관(r)은 조건에 따라 다르게 설정하였다. E_1i과 E_2i에 곱해진 상수 m은 측정오차의 표준편차와 동일하며, 이 값 또한 조건에 따라 다르게 설정하였다.

조작 요인

본 시뮬레이션에서는 선행 연구에서 주요하게 고려된 요인들에 기반하여, 점수의 신뢰도, 사전-사후 진점수 상관, 집단 할당 방법, 효과크기 및 표본크기의 다섯 개 요인을 다음과 같이 조작하였다.

분석 방법 및 결과 지표

생성된 각 자료 세트를 차이점수 분석과 공분산분석으로 각각 분석하여 처치효과를 추정하고 유의성 검정을 실시하였다. 이때 추정의 정확성을 평가하기 위해 편향(bias)을, 검정의 정확성을 살펴보기 위해 제1종 오류율(type I error rate)과 검정력(power) 같은 결과 지표들을 사용하였고, 각 결과 지표는 다음과 같이 계산하였다.

첫째, 편향은 추정된 처치효과와 실제 처치효과 간의 평균적 차이를 나타낸다. 따라서, 편향이 작을수록 더 정확한 추정이 이루어졌음을 나타낸다. 처치효과의 참값이 0인 조건(즉, 처치효과가 존재하지 않는 조건)에서는 식 (9)와 같이 원편향(raw bias)을 계산하였고, 처치효과의 참값이 0이 아닌 조건(즉, 처치효과가 존재하는 조건)에서는 식 (10)과 같이 상대편향(relative bias)를 계산하였다. 식 (9)와 (10)에서 θ는 처치효과의 참값을 나타내고, ${\widehat{\theta }}_k$는 k번째 자료 세트에서 얻은 처치효과 추정치를 가리킨다. 각 조건 별로 1,000개의 자료 세트를 생성하였으므로, 이 자료들로부터 구한 1,000개의 처치효과 추정치에 기반하여 원편향 및 상대편향을 계산하였다. 원편향의 경우 해석의 기준이 따로 존재하지 않지만, 상대편향의 경우 절대값이 0.1 이상(즉, 10% 이상)이면 수용 가능하지 않은 심각한 편향이라고 평가한다(Forero et al., 2009).

둘째, 제1종 오류율은 처치효과가 존재하지 않을 때 유의한 결과를 얻을 확률을 나타내며, 식 (11)과 같이 각 조건 1,000개의 자료 세트 중 유의수준 0.05에서 영가설이 기각된 자료 세트의 비율로 계산하였다. 이 식에서 I(p_k < 0.05)는 k번째 자료에서 처치효과에 대한 유의확률(p_k)이 0.05보다 작으면 1, 그렇지 않으면 0의 값을 갖는다. 제1종 오류율은 그 값이 0.025~0.075일 때 수용 가능한 수준이라고 보며, 이 범위를 벗어나면 검정의 정확성이 낮은 것으로 본다(Cohen, 2016).

셋째, 검정력은 처치효과가 존재할 때 유의한 결과를 얻을 확률을 나타내며, 0.8 이상이어야 충분한 검정력을 확보했다고 본다(Cohen, 1988). 검정력은 식 (11)과 동일하게 계산하였다. 즉, 제1종 오류는 처치효과가 존재하지 않을 때 유의한 결과를 얻은 확률이고, 검정력은 처치효과가 존재할 때 유의한 결과를 얻을 확률로, 처치효과 유무 조건만 다를뿐 계산은 동일하다.

자료의 분석, 그리고 편향, 검정력, 제1종 오류율을 포함하는 결과 지표의 계산은 모두 R 4.1.0(R Core Team, 2021)을 사용하여 수행하였다.

편향

먼저, 표 2와 3은 편향에 대한 결과를 제시하고 있다. 표 2는 처치효과 크기가 0인 조건(즉, 처치효과가 존재하지 않는 조건)에 대한 결과이고, 표 3은 처치효과 크기가 0.5인 조건(즉, 처치효과가 존재하는 조건)에 대한 결과이다. 따라서, 표 2에는 원편향을, 표 3에는 상대편향을 제시하였다.

표 2와 표 3을 비교해보면 처치효과가 없을 때와 있을 때 결과 패턴이 상당히 유사한 것을 볼 수 있고, 특히 집단 할당 방법에 따라 편향이 크게 달라진다는 것을 확인할 수 있다. 무선할당의 경우 두 방법 모두 모든 신뢰도 및 사전-사후 진점수 상관 조건에서 편향 없이 처치효과를 추정하였으나, 나머지 세 개의 비무선할당 조건에서는 두 분석 방법 간 결과 차이가 뚜렷하게 관찰되었다.

비무선할당 조건들에서의 편향을 구체적으로 살펴보면 다음과 같다. 우선, 사전점수에 기반하여 집단을 할당한 경우, 공분산분석은 모든 신뢰도 및 사전-사후 진점수 상관 조건에서 편향 없이 처치효과를 추정하였지만, 차이점수 분석은 신뢰도가 1이고 사전-사후 진점수 상관이 1인 경우를 제외하면 편향된 처치효과 추정 결과를 산출하였다. 차이점수 분석의 경우, 신뢰도가 1보다 낮아지거나, 사전-사후 진점수 상관이 1보다 낮아질수록 처치효과 추정의 편향이 증가하였다.

사전 진점수 기반 확률적 할당 조건에서는 두 분석 모두 편향이 나타났으며, 차이점수 분석과 공분산분석 모두 편향된 결과를 산출할 수 있는 것으로 나타났다. 차이점수 분석은 사전-사후 진점수 상관이 1일 때에는 신뢰도와 무관하게 처치효과를 편향 없이 추정하였으나, 사전-사후 진점수 상관이 낮아질수록 양의 방향으로 편향이 증가하였다. 반면, 공분산분석은 신뢰도가 1인 경우에는 사전-사후 진점수 상관과 관계없이 처치효과를 정확하게 추정하였으나, 신뢰도가 낮아지면 처치효과가 음의 방향으로 편향되었고, 사전-사후 진점수 상관이 높을수록 더 크게 음의 방향의 편향이 나타났다.

비동질적 집단 할당의 경우, 차이점수 분석은 모든 신뢰도 및 사전-사후 진점수 상관 조건에서 처치효과를 편향 없이 추정하였으나, 공분산분석의 경우 신뢰도가 낮을수록, 사전-사후 진점수 상관이 낮을수록 처치효과를 더 편향되게 추정하는 것으로 나타났다.

또한, 공분산분석의 경우 사전 진점수 기반 확률적 할당과 비동질적 집단 할당에서 서로 반대 방향의 편향을 나타냈다. 즉, 10% 이상의 상대편향을 보인 조건만 살펴보았을 때, 사전 진점수 기반 확률적 할당에서는 처치효과가 과소 추정된 반면, 비동질적 집단 할당에서는 처치효과가 과대 추정되었다.

이렇게 서로 다른 방향의 편향이 발생한 이유는 두 집단 할당 조건에서 자료를 생성할 때 사전점수의 집단 간 평균 차이가 반대 방향으로 설정되었기 때문이다. 사전 진점수 기반 확률적 집단 할당에서는 사전 진점수가 높을수록 통제집단에 할당될 확률이 높도록 설정했기 때문에, 처치집단이 통제집단보다 사전점수의 평균이 더 낮았다. 반면, 비동질적 집단 할당에서는 처지집단의 사전점수 평균이 통제집단보다 더 높게 설정되었고, 이러한 차이가 다음과 같은 이유로 편향의 방향에 영향을 미쳤다고 할 수 있다.

Miyazaki와 동료들(2022)은 공분산분석에서 사전점수의 신뢰도가 낮고 집단 간 진점수 평균 차이가 존재할 경우, 처치가 점수를 증가시키는 방향으로 작동한다면 처치집단의 사전점수가 더 높은 경우 처치효과가 과대추정되고, 반대로 처치집단의 사전점수가 더 낮으면 과소추정이 발생함을 보였다. 즉, 공분산분석은 측정오차가 존재할 때 처치효과의 방향과 사전점수의 집단 차 방향이 동일할 경우에는 처치효과의 크기를 과대추정하고, 두 효과의 방향이 반대될 경우에는 처치효과의 크기를 과소추정한다. 이러한 공분산분석의 특성 때문에 사전 진점수 기반 확률적 할당과 비동질적 집단 할당에서 반대 방향의 편향이 발생했다고 할 수 있다.

제1종 오류율

표 4는 처치효과 크기가 0인 조건(즉, 처치효과가 존재하지 않는 조건)에 대해 제1종 오류율을 정리한 것이다. 참고로, 제1종 오류율은 편향에 의해 영향을 받는다. 처치효과가 과대 혹은 과소 추정될수록 처치효과 추정치는 참값인 0에서 더 크게 벗어나며, 이에 따라 검정 통계치의 절대값이 증가하면서 유의한 결과를 얻을 가능성이 높아진다. 때문에, 표 2에서 추정치가 상대적으로 크게 편향된 것으로 나타났던 모든 조건에서 제1종 오류율 또한 수용 가능한 범위를 벗어나는 것으로 나타났다. 그러나 추정에 편향이 거의 발생하지 않았던 다른 모든 조건들에서는 두 분석 방법 간 실질적인 차이가 관찰되지 않았고, 두 방법 모두 수용 가능한 범위의 제1종 오류율을 보였다.

검정력

표 5는 처치효과 크기가 0.5인 조건(즉, 처치효과가 존재하는 조건)에 대해 검정력 결과를 정리한 것이다. 검정력은 제1종 오류율과 마찬가지로 추정의 편향에 의해 영향을 받는다. 즉, 과대추정이 발생하면 처치효과가 참값인 0.5보다 더 크게 추정되므로 유의한 결과를 얻을 가능성이 높아지고 검정력도 높아진다. 반대로 과소추정이 발생하면 처치효과가 0.5보다 작아지면서 0에 보다 가깝게 추정되므로 유의한 결과를 얻을 가능성이 낮아지고 검정력도 떨어진다. 표 5에서 +로 표시된 칸은 표 3에서 상대편향 10% 이상의 과대추정이 발생했던 조건을, -로 표시된 칸은 표 3에서 상대편향 10% 이상의 과소추정이 발생했던 조건을 나타낸다. 과대추정이 발생한 모든 조건에서는 검정력이 0.95 이상으로 매우 높게 나타난 것을 볼 수 있고, 과소추정이 발생한 조건에서는 검정력이 상대적으로 낮게 나타난 것을 확인할 수 있다.

편향이 없었던(즉, 표 3에서 상대편향의 절대값이 10%를 넘지 않았던) 조건들에서 검정력을 살펴보면 다음과 같다. 무선할당의 경우, 차이점수 분석과 공분산분석 모두 편향되지 않은 추정치를 산출하였으나, 두 방법 모두 신뢰도가 낮아질수록, 그리고 사전-사후 진점수 상관이 낮아질수록 검정력이 낮아졌다. 또한 모든 조건에서 공분산분석의 검정력은 차이점수 분석의 검정력과 같거나 더 높은 것으로 나타났다.

다음으로, 사전점수에 기반한 집단 할당의 경우, 공분산분석만 편향되지 않은 결과를 산출하였는데, 이 경우 점수의 신뢰도가 낮을수록, 그리고 사전-사후 진점수 상관이 낮을수록 검정력이 낮아지는 것으로 나타났다.

사전 진점수에 기반한 확률적 할당의 경우, 차이점수 분석은 사전-사후 진점수 상관이 1인 경우에만 편향되지 않은 결과를 산출하였는데, 이때 신뢰도가 낮아질수록 검정력도 낮아졌다. 반면, 공분산분석은 점수의 신뢰도가 1인 경우에만 편향되지 않은 결과를 산출하였고, 이때 사전-사후 진점수 상관이 낮아질수록 검정력도 감소하였다.

마지막으로, 비동질적 집단 할당의 경우, 차이점수 분석은 모든 조건에서 추정에 편향이 없었으나, 사전-사후 진점수 상관이 낮아질수록 그리고 점수의 신뢰도가 낮아질수록 검정력이 감소하였다. 공분산분석은 사전-사후 진점수 상관이 높고 점수의 신뢰도도 높은 조건들에서 편향이 없었고, 해당 조건들에서는 검정력도 매우 높게 나타났다.

정리하면, 편향이 발생하지 않은 조건들에서 차이점수 분석과 공분산분석 모두 사전-사후 진점수 상관이 낮을수록(즉, 처치효과가 없을 때 진점수의 변동성이 클수록), 그리고 점수의 신뢰도가 낮을수록 더 낮은 검정력을 보이는 것으로 나타났다.