번안

연구자별로 적합한 번안 과정에 대해 다양하게 정의하고 있으나 본 연구는 Beaton 등(2000)과 Wild 등(2005)이 설명한 구조로 이를 설명하고자 한다. 첫째, 일차 번역은 원검사와 번안검사에 해당하는 언어와 문화에 대해 충분한 지식과 이해를 가지고 있는 두 명의 이중 언어 사용자가 실시한다. 둘째, 각 번역 결과가 종합되도록 조율을 한다. 셋째, 번역본을 다시 원검사의 언어로 번역하는 과정, 즉 역번역 과정을 거쳐 더욱 자연스러운 번안 결과를 기획한다. 이때 역번역은 원검사의 언어를 모국어로 사용하는 번역자가 담당하도록 한다. 넷째, 문화적으로 자연스러운 번안을 위해 제 삼의 번역자 혹은 전문가 패널을 활용하여 검사 간의 동등성을 확인한다(Brislin, 1970; Gregoire, 2018). 이는 언어적 동등성뿐만 아니라 개념적인 동등성을 확보하기 위함이다. 마지막으로, 예비 검사를 실시하여 검사에 대한 응답자의 이해도를 파악하고, 추가로 내용 타당도에 대한 근거를 확보한다.

검수 지침

연구자는 다양한 경험적 분석을 통해서 번안검사가 원검사와 크게 다르지 않음을 검수하여 검사 동등성을 확립할 필요가 있다. 이와 관련하여, ITC 지침은 연구자가 고려해야 하는 첫 번째 사항으로 충분한 표본크기를 이야기한다. 번안검사의 표본은 원검사와 마찬가지로 검사 대상의 모집단을 대표할 수 있어야 하며, 분석 모형을 안정적으로 추정할 수 있을 만큼 충분한 크기여야 하기 때문이다. 적합한 표본을 확보했다면, 원검사와의 동등성을 검증하고, 번안검사의 심리측정적 속성을 살펴본다.

검사 목적에 따라, 원검사와 번안검사가 확립해야하는 동립성의 종류는 상이할 수 있다. ITC 지침은 OECD 주관의 국제 학업성취도 평가인 PISA(programme for international student assessment)와 우울척도를 예시로 들고 있다(Gregoire, 2018). PISA 검사는 OECD 국가를 포함한 다양한 국가들의 학생 역량을 평가하고 비교하는 것을 목표하므로, 원검사와 번안검사 간의 검사 양식 동등성을 검수할 필요가 있다. 또한 국가 간 검사점수의 비교를 목적으로 척도체계의 동등화(equating) 및 연계(linking) 작업을 실시한다. 반면, 우울척도는 언어체계가 다른 임상군 간의 우울점수 비교보다는 번안검사가 우울의 측정에 타당한 도구인지, 그리고 측정된 우울 점수가 적은 오차를 갖는지의 여부가 더 중요하다. 따라서 원검사와 번안검사의 척도체계 비교보다는 언어, 혹은 문화에 따른 검사 구조의 동등성을 확인하고 번안검사의 타당성을 확보하기 위한 통계적 접근을 고려한다.

원검사가 신뢰롭고 타당하다는 근거가 충분할지라도, 해당 검사의 개정판에 대해서는 별도의 타당화 작업이 필요하다(AERA, APA, NCME, 2014; Gregoire, 2018). 같은 논리로 번안검사 또한 추가적인 타당화 작업을 실행하여 번안검사 사용에 대한 타당성을 뒷받침할 수 있어야 하며, 연구자는 타당화 과정에서 근거한 검사 정보를 제공할 연구적 책무가 있다.

신뢰도

신뢰도는 같은 검사를 이용하여 동일한 피험자의 구성개념을 반복 측정할 때 검사의 결과가 일관된 정도를 나타낸다. 즉 신뢰도가 낮은 검사는 반복 측정에 따라 상이한 결과가 발생할 수 있기 때문에(강태훈, 김명연, 2023; 성태제, 2002), 연구자들은 변칙적인 상황에도 일정한 검사 점수를 확보하고자 신뢰도가 높은 검사를 사용하고자 한다. 또한 American Educational Research Association(AERA), American Psychological Association(APA), 그리고 National Council on Measurement in Education(NCME) (2014)에서 출간한 교육 및 심리검사를 위한 표준(Standards for Educational and Psychological, Testing)에 따르면 연구자는 검사의 시행마다 신뢰도를 보고해야 하며, 번안 검사의 경우에는 원검사와 번안검사의 신뢰도를 모두 보고할 필요가 있다고 하였다. 이에 대하여, 본 연구는 검사 이론에 기반한 신뢰도의 정의를 소개함으로써 검사의 신뢰도가 거듭 강조되는 이유를 살펴보고자 한다.

연구에서 항상 언급되는 신뢰도의 개념과 신뢰도 지수는 고전검사이론(classical test theory)에 기반하고 있다. 고전검사이론은 관찰점수 X가 진점수(true score) T와 측정오차(measurement error) E로 구성된 확률변수(random variable)라는 개념을 바탕으로 신뢰도의 개념을 정의하였다(Crocker & Algina, 1986). 측정에 오차가 전혀 없다면 검사점수는 항상 일정하겠지만, 현실적으로 측정오차가 없는 검사를 개발하기란 어려운 일이다. 따라서 검사를 개인에게 무한 번 시행할 경우, 검사점수는 시행마다 근소한 차이를 가질 수 있으며, k번째 검사를 통해 관찰된 점수 X_k에 대해 확률 p_k를 갖는 확률분포를 따르게 된다. 확률변수의 기댓값은 확률변수의 평균값으로 표현할 수 있는데, 이를 이용하여 고전검사이론에서는 확률변수 X의 기댓값을 진점수( $T={\sum }_{k=1}^K{X}_k{p}_k$)라고 정의하고, 관찰점수의 평균값으로 진점수를 표현한다. 또한 관찰점수와 진점수의 차이값, 즉 관찰점수가 진점수에서 벗어난 정도를 측정오차로 정의한다. 식 (1)은 이와 같은 세 가지 개념의 관계를 나타낸다.

또한 진점수와 측정오차 간에 상관이 없다는 가정에 기반하여 관찰점수의 분산(ρ^2_X)을 진점수 분산(ρ^2_T)과 측정오차 분산(ρ^2_E)의 합으로 나타낼 수 있으며, 이는 식 (2)와 그림 1로 표현할 수 있다. 이때 신뢰도는 관찰점수의 분산에 대해 진점수 분산이 차지하는 비율로 정의한다( ${\rho }_{XX}={\sigma }_T^2/{\sigma }_X^2$).

그림 1.

관찰점수, 진점수, 그리고 측정오차 분산의 관계

그림 1을 통해 관찰점수 분산 내에서 진점수 분산의 차지하는 비율이 클수록 측정오차의 비율이 작아지는 것을 쉽게 파악할 수 있다. 앞서 설명한 검사점수의 일관도와 연결해 보면, 신뢰도가 높은 검사일수록 측정오차보다 진점수가 차지하는 비율이 높아 일관된 결과를 제공하는 경향이 있다고 볼 수 있다. 따라서 측정오차의 영향력이 적은 것을 증명하기 위해서라도 신뢰도는 계속해서 검증되고 강조되어야 할 검사의 속성이 될 수밖에 없다.

그러나 검사의 높은 신뢰도가 항상 검사의 적합성으로 귀결하는 것은 아니므로 주의가 필요하다(Raykov & Marcoulides, 2011). 신뢰도 지수의 한 가지인 Cronbach’s α계수는 검사를 이루는 문항 간 공분산을 이용하여 산출되기 때문에 검사를 이루는 문항 간의 일관성, 즉 내적 일관성을 나타낸다. α계수는 측정 도구의 적합성을 나타내기 위한 특성으로 보고되고 있으나, 검사를 이루는 문항 간의 상관이 높을수록 그리고 문항의 개수가 많아질수록 그 크기가 커지는 경향이 있기 때문에, 높은 신뢰도가 단순히 좋은 검사를 나타내는 것은 아님을 알 수 있다. 단적인 예로, 우울을 측정하기 위하여 지능검사를 사용한 경우를 생각해 보자. 모든 연구자가 지능검사를 통해 우울을 측정하는 것이 적합하지 않음을 알고 있지만, 지능검사를 구성하는 문항 간 상관이 크고, 문항의 개수가 충분히 많다면 연구 목표와 관계없이 연구 도구의 신뢰도는 높게 추정된다. 다시 말해 검사가 연구에 적합한지와는 무관하게, 검사의 신뢰도는 높게 나타날 수 있다. 이러한 예는 신뢰도 이외의 추가적인 근거에 기반하여 검사를 평가할 필요가 있음을 시사한다(Crocker & Algina, 1986). 검사 타당도가 중요한 이유가 바로 여기에 있다.

타당도

최근까지 검사 타당도의 개념은 변화하고 있으며, 이에 따라 검사가 근거해야 하는 타당도의 세부 유형 또한 다양해지고 있다(강태훈, 김명연, 2023). 교육 및 심리검사의 표준(AERA, APA, & NCME, 2014)의 정의에 따르면, 타당도는 검사를 통한 의사결정이 측정(measurement) 혹은 예측(prediction)과 같은 검사의 설계 목적을 충족하는 정도를 의미하며, 그 유형을 크게 내용 타당도(content validity), 준거 타당도(criterion validity), 그리고 구성 타당도(construct validity)로 분류할 수 있다. 그러나 연구 분야에 따라 세 가지 타당도의 하위 유형이 조금씩 상이하기 때문에 본 연구에서는 미국심리학회(APA)의 정의에 따라 세부 유형을 논의하고자 한다. 따라서 예측 타당도(predictive validity)와 공존 타당도(concurrent validity)는 준거 타당도(criterion validity)로, 그리고 수렴 타당도(convergent validity)와 변별 타당도(discriminant validity)는 구성 타당도(construct validity)의 하위 유형으로 분류하였다.

내용 타당도는 타당도 확보를 위한 질적인 근거로, 이를 이용하여 검사의 내용이 측정하고자 하는 구성개념 및 속성과 관계가 있는지에 대해 주관적으로 판단한다(신진아 외, 2021). 간단한 예로, 도박중독을 측정하고자 하는 검사는 중독의 잠재 속성과 관계된 내용으로 구성되어야 한다. 그러나 특별히 도박중독을 나타내는 행동을 기술함으로써 다른 중독(예: 약물중독)과는 차별화할 수 있는 행위를 측정하고, 이에 해당하는 잠재점수를 수량화할 수 있도록 설계해야 한다. 이렇게 심리검사 문항은 대상 구성개념을 나타내는 특수한 행위 및 생각 또한 기술할 수 있어야 하므로, 해당 분야 전문가들의 의견을 수렴하고 검사 문항을 설계함으로써 내용 타당도를 확보할 수 있다.

준거 타당도는 검사와 외부 준거변수와의 상관관계를 살펴봄으로써 검사의 타당도를 검증하는 방식이며, 예측 타당도와 공존 타당도가 이에 포함된다. 예측 타당도가 중요한 상황으로는 선발 현장을 예로 들 수 있다. 인적성 검사에 기반하여 응시자의 채용 여부를 결정할 경우, 검사의 타당도는 검사 점수가 채용 이후 응시자의 업무성과(준거변수)를 얼마나 예측할 수 있는지와 관계가 있을 것이다(Jenkins & Griffith, 2004). 검사 점수와 업무능력 간의 상관이 강할수록 높은 예측 타당도를 의미하여, 검사 점수가 높은 사람들을 우선적으로 선발하는 것에 대한 근거가 된다. 한편, 공존 타당도를 알아보기 위해서는 기존에 널리 쓰이는 검사를 준거변수로 하여 제작 검사와의 상관을 살펴보며, 예측 타당도와 마찬가지로 준거 검사와의 상관이 강할수록 공존 타당도가 높다고 판단한다(신진아 외, 2021). 널리 쓰이고 있는 검사는 반복적으로 타당화 작업을 거친 검사를 의미하기 때문에, 공신력 높은 검사와의 상관이 높은 검사 역시 타당한 검사로 공인할 수 있다는 논리다.

검사는 예측뿐만 아니라 측정을 주요 목적으로 하여 실시할 수 있다. 측정은 구성개념에 대한 응답자의 상태(status)와 위치(standing)에 숫자를 부여하여 수리적으로 추정하는 것을 의미하며(Raykov & Marcoulides, 2011), 구성 타당도는 이러한 과정이 적합한지에 대한 근거가 된다. 구성개념은 실재를 관찰할 수 없는 잠재적 속성이기 때문에, 임의의 척도 없이는 구성개념의 차원(dimension)에 대한 개인의 위치를 판단할 수 없다. 따라서 측정을 통해 개개인의 구성개념에 숫자를 부여함으로써 잠재 속성의 위치를 가늠하고 상대적인 정도를 비교한다. 구성 타당도의 근거는 검사 문항과 구성개념 간의 관계에 기반하며, 검사 점수가 나타내는 것이 실제 측정하고자 하는 대상 구성개념인지, 또한 검사가 구성개념에 최대한 근접한 점수를 추정하였는지를 판단한다(AERA, APA, & NCME, 2014).

구성 타당도는 단 한 가지 통계분석을 통해 평가할 수 있는 개념이 아니며 다양한 근거에 기반하여 종합적으로 평가하게 된다. 구성 타당도를 평가하는 접근 방식은 크게 두 가지로 요약할 수 있는데, 검사를 이루는 문항과 구성개념 간의 관계성을 검증함으로써 타당화하는 것을 내적 접근(internal approach), 외부/준거 검사와의 관계성에 기반하여 구성 타당도를 평가하는 것을 외적 접근(external approach)이라고 한다(Clark & Watson, 2019; Loevinger, 1957; Messic, 1995; Raykov & Marcoulides, 2011). 앞서 강조하였듯이 구성 타당도의 확보를 위해 검사의 다양한 속성을 평가하는 것이 바람직하므로, 두 가지 접근 방식에 모두 근거하여 구성 타당도 개념을 확보할 것을 권고한다.

본 연구는 구성 타당도를 살펴보기 위한 방법으로 요인분석을 다루고자 한다. 요인분석 모형은 구성 타당도를 살펴보기에 적합한 모형 중 하나라고 볼 수 있으며, 국내 심리검사 타당화 연구를 검토한 결과 실제로 가장 빈번하게 사용되고 있는 모형임을 알 수 있었다. 요인분석의 측정모형에 주목하는 경우, 연구자는 요인-문항 간의 관계를 살펴봄으로써 각 문항이 요인(구성개념)을 적절히 측정하는지 평가한다(내적 접근). 이때 문항과 요인 간의 관계가 충분히 커서 잠재점수가 관찰점수를 설명하는 정도가 높을수록 검사 구성 타당도의 적합한 근거가 될 수 있다. 또한 요인분석 모형을 통해 대상 검사와 외부 검사에 해당하는 요인 간 관계를 살펴봄으로써 구성 타당도를 논의할 수 있으며, 이처럼 준거와의 관계에 근거하는 구성 타당도를 특별히 수렴 및 변별 타당도라고 일컫는다(외적 접근). 검사가 대상 구성개념을 잘 측정했다면, 유사한 구성개념을 측정하는 준거검사와 연관성이 높아 수렴하는 경향이 커야 한다. 두 검사가 측정하는 요인 간의 상관이 높을수록, 두 검사의 동질성에 기반한 수렴 타당도의 근거가 된다. 연구자는 수렴 타당도를 확보함과 동시에 변별 타당도에 대해서도 고려할 필요가 있다. 대상 검사와 준거 검사가 측정하는 구성개념이 서로 다를 경우, 두 검사는 서로 연관성이 낮고 서로 변별하는 경향이 커야 한다. 요인 상관이 낮을수록 각 검사가 측정하는 요인 간의 이질성에 기반하여 변별 타당도의 근거를 확보할 수 있다.

심리학 연구에서 언급되는 또 다른 타당도로는 증분 타당도(incremental validity)를 들 수 있다. 증분 타당도는 Sechrest(1954)가 고안한 개념으로, 대상 검사가 기존 검사와 변별이 잘 되는지 그리고 기존 검사와 비교했을 때 종속변수에 대해 추가로 예측하는 면모가 있는지 살핀다.

요인분석 모형

요인분석은 구성개념의 차원성과 문항의 특성을 함께 평가할 수 있기 때문에 심리측정적 속성을 확인하는 주요 분석 방법으로 사용되고 있으며(Brown, 2015), ITC 지침 또한 요인분석 모형을 비중 있게 다루고 있다. 따라서 본 연구는 국내 번안검사 연구에서의 요인분석 관행을 ITC 지침 및 선행 연구로부터의 권고사항과 비교하고 타당화 작업에 유용한 사항을 논의하고자 하였다. 비교 결과를 기술하기 전에 요인분석 모형에 대한 이론적 배경을 아래에 설명하였다.

탐색적 요인분석과 확인적 요인분석

심리학 연구를 포함한 대다수의 사회과학 연구에서 활용하는 요인분석 모형은 공통요인분석(common factor analysis)으로 탐색적 요인분석 혹은 확인적 요인분석 모형을 의미하며(이순묵, 1994; Brown, 2015), 식 (3)과 같은 선형식으로 나타낼 수 있다.

x_ij는 사람 i가 문항 j에 대해 응답한 문항점수를 의미하며, 이는 첫 번째 공통요인 ξ_j1부터 r번째 공통요인 ξ_jr, 그리고 고유요인 δ_ij와의 선형관계로 표현할 수 있다. 고전검사이론에서 관찰점수의 분산을 진점수와 측정오차 분산의 구성으로 정의했듯이, 공통요인분석 모형은 문항점수의 분산을 공통분산(communality)과 고유분산(unique variance)으로 표현한다(Kline, 2013). 공통분산은 공통요인이 문항점수를 설명하는 정도를 나타내며 고유분산은 공통요인이 설명하지 못하는 문항 특유의 특성이 차지하는 정도를 의미한다. 이때 요인분석은 다수 문항의 공통분산에 관여하는 요인을 추출하고 그 속성을 살펴보는 것을 목표로 한다(Brown, 2015).

요인구조에 대한 가설의 차이

탐색적 요인분석과 확인적 요인분석의 가장 큰 차이는 요인의 개수와 요인-문항 간 관계에 대한 가설 유무에 있다. 탐색적 요인분석은 요인-문항 간의 불명확한 관계에 기반하여 공통분산을 설명하는 적합한 개수의 요인과 요인구조를 탐색하는 것을 목표로 하지만, 확인적 요인분석의 경우 구조에 대한 명확한 가설을 설정하고 이를 검증한다(Brown, 2015). 두 모형의 요인구조 차이는 그림 2를 통하여 살펴볼 수 있다.

Fig. 2.

그림 2는 여섯 개의 문항과 두 개 요인 간의 관계를 나타내고 있다. 탐색적 요인분석을 나타내는 (a)의 경우, 각 요인이 모든 문항을 설명하고 각 문항이 다수의 요인으로 회귀함으로써 교차 요인부하(crossed-factor loading)를 추정하게 된다. 이는 검사 문항과 요인의 관계에 대한 명확한 가설이 없기 때문에 모든 요인-문항 관계를 살펴보기 위함이다. 그림 (a)의 예시는 두 개의 요인에 기반한 요인구조를 나타내고 있으나, 실제 탐색적 요인분석은 요인 개수에 대한 모든 경우의 수(예: 여섯 개의 문항에 대해서는 단일 요인부터 6요인까지)에 기반하여 가능한 요인-문항 관계를 살펴보게 된다. 가설이 부재한 경우에 유용하기 때문에 검사 제작의 초기 단계에 실시하여 요인구조를 탐색한다(Flora & Flake, 2017). 반면 확인적 요인분석 모형의 경우, 요인 개수와 요인-문항 관계에 대한 구체적인 가설에 기반하여 모형을 설정하며 그 결과 그림 (b)와 같이 각 문항은 특정 요인에만 회귀한다. 따라서 요인과 문항 간의 유의미한 관계를 예측할 수 있는 경우에 대해서는 해당 요인부하를 추정하고, 그렇지 않은 관계에 대해서는 요인부하를 0으로 고정한다. 추정해야 하는 모수의 수가 적어짐으로써 탐색적 요인분석 모형보다 추정이 용이하다는 장점이 있으며, 확인적 요인분석은 가설에 기반하므로, 요인구조에 대한 탐색 이후에 최종 모형을 확인 및 타당화 하기 위하여 쓰일 수 있다. 즉, 탐색적 요인분석을 통하여 요인구조에 대한 가설을 설정하고, 이를 확인적 요인분석을 통하여 교차 타당화하는 식으로 검사를 타당화하는 것이 일반적이다(Brown, 2015; Flora & Flake, 2017).

요인분석 모형의 설정, 평가 및 수정

요인구조에 대한 두 요인분석 모형의 차이는 모형의 설정(specification), 식별(identification), 그리고 분석 방법에도 차이를 갖게 한다. 이에 대하여 본 연구는 탐색적 요인분석부터 확인적 요인분석의 순으로 각 모형의 설정과 평가를 간략히 설명하고자 하였으며, 표 1에 이를 정리하여 연구자들에게 도움이 되고자 하였다.

탐색적 요인분석은 대략 (1) 요인의 추출, (2) 요인개수 결정, (3) 그리고 요인구조의 회전을 걸쳐 모수를 추정한다. 요인 추출은 추출법에 따라 차이를 보일 수 있는데, 추정법의 예로는 최대우도법(maximum likelihood estimation)과 주축분해법(principal axis factoring)을 들 수 있다(이순묵, 1994; De Winter & Dodou, 2012). 통계 소프트웨어에 따라 추출법에 대한 선택의 폭은 상이할 수 있다. 이때 한 가지 주의할 것은 일부 소프트웨어에서 이용할 수 있는 주성분 분석(principal component analysis)의 활용이다. 특히 SPSS에서는 요인 추출법으로 주성분 분석을 선택할 수 있는데, 주성분 분석은 공통요인분석의 맥락보다는 자료 축소를 연구 목적으로 하는 요인분석 모형이기 때문에 연구자의 주의가 필요하다(이순묵, 1995; Brown, 2015). 공통된 요인의 추출과 그 해석을 목표로 하는 경우에는 주성분 분석 이외의 추정법이 적절하다고 볼 수 있다(Gorsuch, 1990).

탐색적 요인분석은 각 요인개수와 문항-요인 간 관계에 대한 명확한 가설이 없는 채로 수행되기 때문에 두 번째, 요인의 개수 결정 단계에서 연구자의 주관적 판단이 필요하다. 요인 개수의 판단, 즉 모형 결정에 참고할 수 있는 평가지표로는 스크리 도표(Cattell, 1966), 평행분석(parallel analysis; Horn, 1965), MAP test (Velicer, 1976) 등을 들 수 있으며, 소프트웨어에 따라 이용할 수 있는 평가지표에 차이가 있을 수 있다. 소프트웨어 전반에 걸쳐 공통적으로 사용할 수 있는 지표로는 스크리 도표, 평행분석, 그리고 모형 합치도지수(예: χ²)를 들 수 있으며, 최대우도법을 사용하여 요인을 추출한 경우에 대해 Mplus, jamovi, 그리고 R 패키지는 대안적 합치도지수(예: CFI, RMSEA, SRMR)를 제시하고 있어 모형의 평가가 좀 더 수월해졌다.

탐색적 요인분석을 이용한 요인개수의 결정 단계에서 주의해야 할 사항은 다음과 같다. 첫째, 연구자는 카이저 룰(Kaiser-Guttman rule)에만 기반한 요인개수의 결정을 지양해야 한다. 이 지표는 1 이상의 고유치를 갖는 요인의 개수만큼 요인을 추출하는 방식으로, 판단이 직관적이라는 점에서 널리 사용된 적이 있다. 그러나 요인의 개수를 과대 혹은 과소 추정하는 경우가 많아 안정적인 결과를 산출하지 않는다는 점에서 현재는 추천하지 않는 준거로 볼 수 있다(Brown, 2015; Fabrigar, Wegener, MacCallum, & Strahan, 1999). 둘째, 각 평가지표는 서로 다른 결과를 가리키고 있을 수 있으므로 연구자는 다양한 평가지표에 복합적으로 근거하여 요인개수를 결정할 필요가 있다(Brown 2015; O’Connor 2000). 또한 단순히 통계적 결과에만 의존할 것이 아니라 이론에 기반한 해석가능성을 필수적으로 고려하여 요인의 개수를 결정할 필요가 있다.

마지막으로 살펴볼 탐색적 요인분석의 특징으로는 요인구조의 회전을 들 수 있다. 탐색적 요인분석 모형은 유일해(unique solution)가 아닌 다수의 해를 갖는 모형으로, 자료와 추출법이 같다면 동일한 모형 합치도지수를 갖는 여러 개의 요인구조를 산출할 수 있다(Brown, 2015). 이때 요인구조의 회전은 다요인 모형에 대해 특정 요인과 문항 간의 관계를 부각하여 해석이 수월하게 하는 과정으로, 특정 요인과 관계된 요인부하량을 작게 하거나 크게 하여 요인-문항 간 해석이 더욱 용이한 구조를 찾을 수 있도록 한다(Brown, 2015; Flora & Flake, 2017). 연구자는 요인 간 상관에 대해 가설을 세우고 회전법을 선택할 수 있으며, 요인 간 상관이 없다고 가정하는 경우와 있다고 가정하는 경우에 대해 각각 직각회전(요인상관=0)과 사각회전(요인상관≠0)에 해당하는 회전법을 선택하고 요인구조를 산출한다. 일반적으로 사회과학 연구에서는 요인 간 상관이 있음을 가정하므로, 특별한 이론적 근거가 없다면 사각회전법을 사용하는 것이 타당하다.

회전 이후에는 요인과 문항의 적합성을 고려하여 모형을 수정하거나 문항을 삭제하여 최종 요인구조를 결정한다. 먼저 추출한 요인이 적합하지 않다고 판단하는 경우, 연구자는 더 적은 수의 요인을 추출하는 전략을 취할 수 있다. (a)요인에 부하하는 문항의 수가 적어서 해당 요인에 대한 측정모형을 타당화할 수 없을 때, (b)문항 i에 대한 요인 j의 요인부하량 λ_ij이 작게 추정되고 공통분산( $h_i^2=\sum {\lambda }_{ij}^2$)의 크기가 작은 것으로 나타낼 때, 그리고 (c)요인 간 변별이 명확하지 않은 경우가 이에 해당한다. 반대로 검사 문항을 삭제하는 전략이 필요한 때도 있다. (d)다수 요인에 대한 특정 문항의 요인부하량의 크기가 비슷하여 요인-문항 관계를 명확히 할 수 없을 때, 또는 (e)문항의 모든 요인부하량이 ¹⁾.3이나 .4보다 작은 경우에는 해당 문항을 삭제하기도 한다. 참고로 각 상황에 대한 구체적인 준거는 통계적 타당화에 근거했다기보다는 응용 연구자들의 경험에 기반하여 마련된 것으로 보인다(Brown, 2015).

확인적 요인분석은 요인구조에 대한 명확한 가설에 기반하므로, 탐색적 요인분석과는 달리 요인의 추출 및 요인개수의 결정에 대한 고민을 덜 수 있다는 장점이 있다. 각 문항은 한 개의 요인에만 회귀하는 단순구조에 대한 모수를 추정하므로 회전 과정이 불필요하며, 참조변수에 해당하는 요인부하량을 1로 고정하여 요인에 척도를 부여함으로써 모형을 식별한다. 확인적 요인분석 모형에 대한 평가는 모형 합치도지수를 이용하며, 가설 모형에 대한 합치도지수가 준거 합치도지수에 근접할 때 요인구조가 적합하다고 평가한다. 일반적으로 다수의 합치도지수를 종합적으로 고려하여 모형의 적합성을 판단하며 .95 이상의 상대적 합치도 지수(incremental fit index; 예: CFI, TLI), 0.08 미만의 절대적 합치도 지수(absolute fit index; 예: RMSEA, SRMR)을 나타내는 모형을 적합하다고 판단한다(Hu & Bentler, 1999; Kline, 2013).

확인적 요인분석 또한 탐색적 요인분석과 마찬가지로 요인과 문항의 적합성을 고려하여 모형을 수정하고 최종 모형을 결정하며(표 1 참고), 추가적으로 수정지수(modification index)를 활용하여 모형을 수정하기도 한다. 수정지수는 특정 모수에 대한 제약 조건이 얼마나 부적합한지를 나타내는 지수로 측정모형 내에서 0으로 고정된 가설이 해제될 때 감소할 수 있는 χ²의 정도로 해석할 수 있다. χ²의 감소량이 클수록 모형의 합치 정도가 높아지는 것을 의미하기 때문에 큰 값을 갖는 수정지수를 고려하여 요인분석 모형을 수정한다. 그러나 수정지수의 크기에만 전적으로 의존하는 자료 중심의 분석(data-driven analysis)이 되지 않도록 이론적으로 설명이 가능한 수정지수를 선택하여 모형을 수정하는 것이 필요하다(Whittaker, 2012).

연구자는 요인분석 과정 및 결과와 관련된 주요 사항을 보고할 의무가 있다. 모형의 설정과 분석 과정을 설명하고 준거에 근거한 모형 평가 결과를 보고하며, 참고한 준거에 대해서도 명시하도록 한다. 모형을 수정하는 경우 또한 그 준거와 과정을 자세히 기술하여 수정 모형의 타당성을 뒷받침할 수 있어야 하며, 이렇게 선택된 최종 모형에 대해서는 분석 결과, 즉 요인구조를 보고함으로써 구성 타당도에 대한 이해를 용이하게 할 필요가 있다. 앞서 설명한 탐색적 요인분석 모형과 확인적 요인분석 모형의 설정 및 평가 과정은 표 1과 같이 요약할 수 있다. 표 1은 연구자가 각 과정에서 고려해야 하는 대표적인 준거 또한 포함하고 있다. 또한 번안검사 타당화 과정을 구조화하여 그림 3으로 나타내었다.

그림 3.

번안검사 타당화 과정

요인분석과 표본

연구모형의 안정적인 수렴과 추정을 위해서는 충분히 큰 표본에 기반하여 분석할 필요가 있다. 그러나 연구 조건과 분석 모형에 따라 충분한 표본크기가 상이하기 때문에 적정 표본크기에 대한 획일적 기준을 마련하는 것은 어려운 일이다. 일반적으로 추정해야 하는 모수가 많을수록, 자료의 분포가 비정규성을 가질수록 근사 정규성에 기반하여 모수를 추정하기 위해 더 큰 표본이 필요하며, 비정규성을 통제하기 위한 추정법(예: 가중 최소 제곱법; weighted least square method)을 사용하는 경우에도 최대우도법을 사용한 경우보다 더 큰 표본이 필요하다(Kline, 2011). 같은 맥락으로, 요인분석도 표본의 크기가 클수록 작은 표본오차와 정확한 요인부하량을 산출할 수 있으므로(Browne, 1968) 충분한 크기의 표본에 기반하여 검사를 타당화하는 것이 중요하다.

탐색적 요인분석의 경우 연구자는 N:p 비율, 즉 문항의 수(p)에 대비한 최소 표본크기(N)를 고려하여 적정 표본크기를 설계할 수 있다. 예를 들어 Everitt(1975)는 N:p 비율이 최소 10 이상의 값을 가질 것을 제안하였고, 이는 1개의 문항에 대해 표본크기가 10배 이상이어야 함을 의미한다. N:p 비율에 대한 획일적인 기준은 없지만, 이순묵(1994)에 따르면 해당 비율이 5 미만인 경우에 대해서 여러 선행 연구가 우려를 나타냈다고 하므로 연구자들은 이를 참고하길 바란다. 그밖에 요인분석에 필요한 절대적인 표본크기에 대한 연구도 있다. MacCallum, Widaman, Zhang 그리고 Hong (1999)은 추정된 요인구조의 복잡도에 따라 필요한 표본크기가 다름을 확인하였으며, 요인 간 변별이 수월하여 추출된 요인의 수가 적고, 각 요인 당 부하하는 문항이 3-4개인 경우에는 최소 300 이상의 표본이 필요하고, 그렇지 않은 경우에는 500 이상의 표본에 기반해야 안정적인 추정이 가능하다고 하였다. 그러나 실제 분석 이전에 연구자가 요인구조에 대해 판단하기는 어려우므로 500 이상의 표본을 확보하는 것이 타당한 것으로 보인다. 최근 연구도 이와 같은 맥락을 공유한다. Auerswald와 Moshagen(2019)은 공통분산과 요인부하량이 낮을 때, 요인 간 상관이 높을 때, 그리고 요인 당 부하하는 문항의 수가 적을 때 요인개수를 결정하는데 어려움이 더 커지는 경향이 있음을 밝혔으며, 이에 따라 요인개수 결정 준거가 서로 불일치한 결과를 지지할 경우에는 500 이상의 표본에 기반하여 더욱 안정적인 요인 추출을 계획할 것을 제시하였다.

확인적 요인분석을 실시할 경우에는 N:q 비율을 참고할 수도 있다. 추정하는 모수의 개수(q)에 대비하여 최소 표본의 크기(N)를 고려하는 방식이며, Jackson(2003)은 이상적인 N:q 비율을 20:1, 즉 한 개 모수를 추정할 때 필요한 표본은 20이라고 제안하였다. Kline(2011)은 최소 비율로 10:1을 언급하였으며, 한 모수 당 최소 10배 이상의 표본이 갖추어지지 않으면 표본크기가 작을수록 분석 결과에 대한 명확성이 줄어들 것임을 이야기하였다. 추가적으로, 구조방정식모형의 분석을 위해서는 200 이상의 표본이 필요하다는 선행 연구가 있으며(Barrett, 2007; Cattell, 1978), 다요인 모형에 대해서는 200, 500, 그리고 1,000의 표본크기를 작은 크기, 중간 크기, 그리고 큰 크기의 표본으로 고려할 수 있으니(Li, 2016), 연구자들은 이를 참고하여 자료수집과 분석을 계획하는 것이 필요하다.

실증 자료를 이용한 분석은 표집 오차(sampling error)를 마주하기 마련이며, 요인분석 또한 표집 오차의 영향을 받을 수 있다. 즉, 현재의 결과는 다른 표본을 이용하여 재분석한 결과와는 동일하지 않을 수 있기 때문에 반복 검증을 통한 교차 타당도의 확보가 중요하다(Flora & Flake, 2017). 만약 같은 표본을 이용하여 반복적으로 검증하는 경우에는 동일한 결과를 도출할 가능성이 높아지므로 교차 검증의 의미가 퇴색할 수 있다. 많은 연구자들이 표집의 어려움 때문에 동일하게 표집한 표본을 무작위로 나누어 요인분석 결과를 반복적으로 확인하기도 한다. 그러나 이와 같은 자료 이용법에 대한 명확한 이론적 근거는 찾아볼 수 없으며 연구자들의 경험에 근거한 것으로 보인다. 동일 검사에 대한 요인분석일지라도 다른 표본에 기반한 재분석은 언제나 필요한 과정이며(Cham, Hughes, West, & Im, 2014), 번안검사의 타당화가 중요한 이유가 여기에 있다.

결과보고

앞서서 요인분석 모형의 설정, 평가, 그리고 수정과 관련된 구체적인 정보를 보고해야함을 명시한 바 있다. 마찬가지로 최종 요인구조를 도출한 후에는, 그 결과를 상세히 보고하고 해석하여 후속 연구자들이 검사를 사용하고 검사 타당도를 재검토할 수 있도록 해야 한다. 이를 위해 연구자는 (1) 최종 요인구조, (2) 모형합치도, (3) 그리고 최종 검사 문항을 보고하도록 한다. 최종 요인구조에는 요인부하량과 요인 간 상관이 포함되며 문항-요인 간의 관계와 요인-요인 간의 관계를 살펴볼 수 있도록 하기 위함이다. 또한 최종 모형과 관계된 합치도 지수를 보고함으로써 모형 적합성에 대한 근거를 제공하고, 수정지수를 이용한 경우에는 해당 지수와 관계된 통계적/이론적 근거 또한 보고하도록 한다. 마지막으로, 최종 검사를 이루는 문항을 보고하여 다른 연구자들도 타당한 검사를 이용할 수 있도록 돕고, 후속 연구가 타당화 작업을 지속할 수 있도록 독려할 필요가 있다.

번안 타당화에서의 요인분석

번안 타당화의 맥락에서도 요인분석 모형은 언어와 문화에 따른 검사 구조의 동일성을 확인하려는 방법으로 활용된다. 교육 및 심리검사의 표준(AERA, APA, & NCME, 2014)은 원검사의 축소판 검사를 개발하거나 원검사를 번안, 혹은 수정하는 경우에 요인구조를 재평가할 것을 강조하였는데, 이는 모집단이 변경되거나 원검사에 변경이 이루어지는 모든 검사에 대하여 요인구조를 재검증하는 것이 필요함을 시사하는 것으로 볼 수 있다. ITC 지침의 경우에도 번안 검사의 동일성 확인을 위하여 구체적으로 탐색적 요인분석, 확인적 요인분석 등을 이용할 것을 제안한 바 있다. 최근에는 검사 동일성을 확보하기 위한 측정 동일성(measurement invariance)의 성립이 중요해지고 있으며(Chen et al. 2020; Flora et al., 2017), 이 또한 요인분석을 통해 검증할 수 있는 심리측정적 속성이다. 요인분석 모형에 기반한 측정 동일성에 대해서는 김미림(2023), 주영신과 장승민(2023)의 연구를 참고하길 바란다.

앞서 설명한 이론적 배경을 바탕으로, 다음 장에서는 한국심리학회 산하 학술지에서 출간된 번안검사 타당화 연구에 대해서 살펴보도록 한다. 본 연구는 첫째, 출간된 번안검사 연구 결과를 바탕으로 번안검사 연구자가 검사의 심리측정적 속성(신뢰도와 타당도)을 어떻게 다루고 있는지 그 현황을 알아보았고 둘째, 타당화 작업에 쓰인 요인분석의 시행과 보고를 살펴봄으로써 심리검사 번안 연구에서의 요인분석 관행을 알아보았다.

연구 대상 및 자료수집

한국심리학회( https://www.koreanpsychology.or.kr)에 출판되는 연구 논문은 심리학회 산하의 17가지 하위분야에 따라 각기 다른 세부 주제를 다루고 있다. 본 연구는 전반적인 한국 심리검사 번안연구의 관행을 살펴보고자 하였으므로, 모든 하위분야의 연구를 대상으로 체계적 검토를 실시하였다. 구체적으로, 2017년부터 2023년까지 한국 심리학회지에 게재된 연구 논문 중, 척도 번안 및 타당화를 목적으로 하는 연구 논문을 검토의 대상으로 포함하였다. 검토 대상 연구의 색출을 위하여 해당하는 연도의 심리학회 산하 학회지 문헌들을 모두 검토하였다. 구체적으로, 각 권호에 실린 문헌의 제목과 키워드에 ‘척도’, ‘번안’, ‘번역’, ‘타당화’ 들어간 논문들을 우선적으로 선별했고, 추가로 이에 해당하는 연구의 초록을 검토하여 저자가 척도를 개발한 경우와 직접 번안을 하지 않는 경우를 제외하고, 척도 번안 및 타당화를 연구 주제로 한 논문들만 색출하였다. 그 결과 표 2에 보고한 것과 같이 한국 심리학회지의 하위 13개의 학술지로부터 총 107편의 논문을 체계적 검토의 대상 연구로 선정하였다.

자료 코딩과 분석 방법

본 연구는 선정된 107개의 논문을 검사 정보, 검사의 심리측정적 속성, 그리고 연구에서 실시한 요인분석을 검토하고 분석하였다. 검사 정보로는 번안검사와 원검사와의 차이 여부와 최종 번안검사 문항의 보고 여부를 확인하였고, 심리측정적 속성으로는 각 연구의 신뢰도와 타당도 정보를 정리함으로써 107개 번안검사의 신뢰도 분포와 연구가 근거한 타당도의 종류를 살펴보았다.

또한 요인분석 모형이 번안검사 연구에서 빈번하게 사용되고 있음을 확인하고, 탐색적 요인분석과 확인적 요인분석으로 나누어 번안 타당화를 위한 요인분석의 시행과 결과에 포함된 정보를 분석하였다. 먼저 각 연구에서의 표본크기와 문항 대비 표본크기의 비율(N:p)을 알아봄으로써 요인분석에 사용한 표본이 충분하였는지 살펴보고, 모형 적절성 판단과 최종 모형의 선택 및 수정을 위해 근거한 준거를 검토하였다. 또한 최종 모형에 기반하여 요인부하량과 요인 간 상관 정보를 고지하였는지를 포함하여 번안검사 타당도에 대한 충분한 정보를 제공하였는지도 확인하였다. 체계적 검토를 통해 산출한 모든 통계량은 전체 107개 연구에 기반하였으나, 각 연구에서 다수의 값을 보고했을 경우(예: 하위 요인에 대한 신뢰도 분석을 추가로 실시하여 보고), 해당 연구 내의 평균값을 사용하여 전체 통계량 분석에 활용하였다. 이와 같은 체계적 검토 전략에 기반하여 분석한 결과는 다음 장에 보고하였다.

검사 정보

107개의 번안검사 중 총 75편의 연구가 원검사와 최종 번안검사의 요인구조나 문항이 다르다고 보고하였으며, 이 중 14편의 연구는 번안의 유연성을 위해(예: 국내 정서에는 적합하지 않은 문항: N = 5) 또는 통계적 기준을 충족하기 위해(예: 문항이 정규성 기준을 충족하지 못함: N = 11) 요인분석 이전에 삭제한 문항이 있다고 밝혔다. 또한 총 95편의 연구가 최종 번안검사의 문항을 보고했으나, 12편의 연구는 보고하지 않은 것으로 나타났다.

검사도구의 신뢰도 및 타당도

표 3은 검토 대상 연구가 다룬 심리측정적 속성을 나타낸다. 107개의 번안 검사 중 총 105편의 연구가 검사 문항의 내적 일치도를 나타내는 Cronbach’s α를 신뢰도로 보고하였으며, 105편의 연구에 기반한 번안검사의 신뢰도 평균은 .87이었다(최댓값=.98, 최솟값=.55). 신뢰도의 계산은 각 연구가 보고한 전체 검사의 α에 기반하였으며, 각 하위 척도의 α만을 보고 한 경우에는 하위 척도의 평균값을 전체 검사의 α로 고려하였다. 더불어, 총 28편의 연구가 검사-재검사 신뢰도를, 6편의 연구는 반분 신뢰도를 확인하였다. 이 외에도 6편의 연구에서 ω 계수를 보고하였고 해당 신뢰도 평균은 .88이었다(최댓값=.97, 최솟값=.77).

번안 검사는 구성개념에 대한 측정을 주목적으로 하므로 구성 타당도의 확인이 필수적이다. 107편의 모든 연구가 구성 타당도를 확인하였다고 보고하였으며, 대다수의 연구가 요인분석을 기반으로 문항과 요인 간 관계를 살펴봄으로써 내적 접근에 기반하여 타당도를 평가한 것으로 보인다. 107편의 연구 중 추가로 외적 접근에 기반한 구성 타당도를 확인한 연구도 있었으며, 수렴 타당도와 변별 타당도를 확인한 연구는 각각 83편과 63편이었다. 그 밖에, 준거 타당도를 살펴본 연구가 63편이었으며, 특별히 준거 타당도의 일종인 공존 타당도와 예측 타당도를 조사했다고 명시한 연구는 각각 28편과 6편이었다. 또한 증분 타당도와 내용 타당도를 확인한 연구는 각각 18편과 7편으로 나타났다. 이와 같은 결과는 연구자의 주관적인 분류에 기반한 것이 아니라 각 번안연구에서 언급하고 정의한 타당도에 근거하여 검토하고 분석한 결과임을 밝혀둔다.

요인분석의 시행과 표본크기

대부분의 번안 및 타당화 연구가 구성 타당도의 확인을 위해 탐색적 요인분석과 확인적 요인분석을 사용하였다고 밝혔다. 탐색적 요인분석과 확인적 요인분석을 모두 실시한 연구의 경우 70편이며 반면 한 가지 요인분석만 실시한 연구는 34편(탐색적 요인분석 9편, 확인적 요인분석 25편)이었다. 각 요인분석 모형에 따라 살펴보면 총 79편의 연구가 탐색적 요인분석을, 95편의 연구가 확인적 요인분석을 통해 타당도를 검증하였다고 볼 수 있다. 탐색적 및 확인적 요인분석을 모두 실시하지 않은 연구는 3편이었으며, 상관분석을 통해 구성 타당도를 확인했다고 보고하였다.

각 요인분석에 사용된 표본크기를 표 4에 요약 및 정리하였다. 분석 결과, 평균적으로 탐색적 요인분석과 확인적 요인분석에 사용된 표본크기는 약 283와 407로 확인적 요인분석에 사용된 표본크기가 큰 것으로 나타났다. 표본크기의 최솟값은 탐색적 요인분석의 경우 100, 그리고 확인적 요인분석의 경우 124로 그 크기가 비슷하였으나 최댓값은 각각 846과 2,478로 큰 차이를 보이는 경향이 있었다. 추가로, 본 연구는 문항 개수 대비 표본크기, 즉 N:p를 확인함으로써 모형의 복잡도 대비 표본크기를 검토하였으며, 평균적으로 탐색적 요인분석(16.72)보다 확인적 요인분석(30.56)의 N:p 비율이 높았다.

탐색적 요인분석 세부 사항

탐색적 요인분석을 실시한 79편의 연구 결과에 기반하여 모형의 설정, 평가, 그리고 수정과 관계된 사항을 표 5에 정리하였다. 요인 추출법으로는 최대우도법(n = 38)과 주축분해법(n = 29)이 가장 많았으며, 주성분 분석과 가중 최소 제곱법을 사용하였다고 보고한 연구가 각각 5편, 3편, 그리고 추출법을 보고하지 않은 연구가 4편 있었다. 회전 방법을 보고한 연구는 79편 중 74편으로 사각회전(n = 65)을 적용한 연구가 직각회전(n = 7)을 적용한 연구보다 많았다. 사각회전 중에서는 직접 오블리민(n = 38), 프로맥스(n = 16), Geomin(n = 7) 순서로 빈번히 사용되었으나, 구체적으로 어떤 사각회전을 택하였는지 명시하지 않은 연구도 4편 있었다. 직각회전의 경우 4편의 연구가 배리맥스를 적용하였다고 하였으며, 2편의 연구의 경우 회전법을 중복으로 보고하는 등 사용한 회전법이 명확하지 않기에 기타로 분류하였다. 나머지 5편의 연구는 회전법을 보고하지 않았다.

각 번안검사 연구는 다양한 준거를 이용하여 모형을 평가하고 요인개수를 결정하였으며, 평균적으로 약 3개(평균 = 2.56)의 준거를 사용하는 것으로 나타났다. 표 5를 살펴보면 고유치(n = 61), 스크리 도표(n = 57), 해석 가능성(n = 31), 설명량(n = 23), 평행검사(n = 21), 모형합치도(n = 13), 요인부하량(n = 5), 그리고 요인 내 최소 문항 수(n = 2) 순으로 빈번하게 고려하여 요인개수를 결정하였음을 알 수 있다. 하나의 준거만을 살펴보고 모형을 결정한 연구는 11편이었다.

모형의 수정 및 문항 선택을 위한 준거로는 요인부하량(n = 62)을 가장 많이 참고한 것으로 나타났으며, 부하량 0.40 이상을 보이는 문항을 타당한 문항으로 판단한 연구가 가장 많았다(n = 32). 이외에도 문항의 교차부하 여부(n = 38), 공통분산의 크기(n = 13), 이론적 근거(n = 9), 그리고 문항 변별도(n = 7), 문항의 포함에 따른 신뢰도의 증감 여부(n = 5), 모형합치도(n = 2)에 근거하여 적합하지 않은 문항을 삭제하고 최종 모형을 추정하였음을 알 수 있었다.

확인적 요인분석 모형의 설정과 평가

확인적 요인분석을 실시한 연구는 총 95편이었다. 각 연구는 구조방정식모형의 모형합치도에 기반하여 모형을 평가하였으며, 95개 번안검사의 최종 요인구조에 대한 모형 합치도지수의 정보를 요약하면 표 6과 같다. 선행연구에서 제시한 준거(RMSEA, SRMR <0.08; CFI, TLI > .95)에 적합하지 않은 모형합치도 값을 보이는 모형도 있었는데, 다수의 합치도지수를 모두를 고려한 연구도 있는 반면 그중 일부에만 기반하여 모형의 적절성을 판단한 경우도 있었기 때문이다.

탐색적 요인분석과 마찬가지로 확인적 요인분석도 모형의 수정과 문항 선택을 위한 판단이 필요하다. 검토 결과, 44편의 연구가 모형 간 모형합치도 비교를 통해 모형의 수정 여부를 선택하였고, 수정지수를 이용한 연구가 19편이었다. 또한 최종 문항의 선택과 관련해서는 이론적 배경과 요인부하량을 고려한 연구가 각각 15, 13편, ω 계수, 즉 신뢰도를 고려한 연구가 3편이었다. 이 외에도 다중상관자승과 표준잔차행렬을 토대로 문항을 선택했다고 보고한 연구는 각각 2편씩 있었는데, 요인부하량의 크기에 따라 증감하는 공통분산과 고유분산을 고려한 것으로 요인부하량을 살피는 것과 같은 맥락이라고 볼 수 있다. 그밖에 모형 수정을 위해 요인 간 상관을 고려한 연구는 1편이었다.

최종 요인구조의 보고 요인부하량과 요인 간 상관계수 보고

연구자는 최종 요인분석 모형에 기반하여 측정모형의 정보를 보고할 필요가 있으며, 문항-요인 간의 관계를 나타내는 요인부하량과 요인 간 상관계수(다요인 모형의 경우)를 보고한다. 본 연구는 검토 대상 연구가 보고한 최종 요인분석 모형의 정보를 살펴보고 그 결과를 표 7에 정리하였다.

먼저 요인부하량 정보를 살펴보면, 탐색적 요인분석을 사용한 사례(n=79) 중 78편의 연구가 요인부하량을 표나 그림을 이용하여 보고하였고, 1편의 연구는 관련 정보를 보고하지 않았다. 확인적 요인분석(n=95)의 경우에는 75편의 연구가 요인부하량을 보고하였으나 20편의 연구는 보고하지 않았다. 요인 간 상관의 보고 여부는 단일요인 사례(탐색적 요인분석: 11건, 확인적 요인분석: 9건)를 제외하고 다요인을 분석한 사례에 대해서만 그 현황을 살펴보았다. 68개의 탐색적 요인분석 모형에 대하여, 요인 간 상관계수와 그 유의성을 모두 보고한 연구는 19편, 상관계수만 보고한 연구는 2편이었으며, 모두 보고하지 않은 연구는 47편으로 가장 많이 나타났다. 82개의 다요인 확인적 요인분석 모형에 대해서는 요인 상관계수와 그 유의성을 모두 보고한 연구가 50편으로 가장 많았고, 상관계수만 보고한 경우는 17편, 그리고 모두 보고하지 않은 연구는 15편이었다. 요인 간 상관계수를 보고했으나, 어떤 요인분석에서 기반한 결과인지 명시하지 않은 경우는 기타로 분류하였고 7편의 논문이 이에 해당하였다.

검토 대상 중, 김광태 등(2023)의 연구는 앞서 살펴본 사항들을 전반적으로 다루고 다양한 근거에 기반하여 번안검사를 타당화한 연구로 볼 수 있다. 번안, 신뢰도 및 타당도 검증을 위한 절차를 자세히 기술하고 있으며 의사 결정을 위해 근거한 준거와 연구 결과에 대해서도 구체적으로 보고하고 있다. 특별히 준거를 복합적으로 검토하여 의사를 결정하고, 이에 대해 구체적으로 보고하고 있다는 면을 주목할 필요가 있다.