구조방정식모형에 적용된 Ridge와 Lasso

최근까지 SEM에서 정규화 기법의 적용은 정규화 형태 및 추정 방법에 따라 다양하게 연구되어 왔다(표 1). Jöreskog(1989)는 구조방정식 프로그램인 LISREL 7에 최초로 Ridge 옵션을 추가하여, SEM에서 다중공선성으로 인한 추정 문제의 해결 가능성을 제시하였다. 이후 Ridge 추정을 활용한 SEM 연구가 활발히 이루어졌으며, Yuan과 Chan(2008)은 SEM에서 특이행렬에 근접한 행렬(near-singular matrix)의 존재로 인한 추정 문제를 Ridge로 해결할 수 있는지를 탐색하였다. Yuan 등(2011)은 이를 상관행렬 기반 SEM에 적용할 가능성을 검토하였고, 더 나아가 순서형 자료(ordinal data)에도 적용 가능한지 확인하였다. 기존 연구들이 대부분 ML에 기반한 Ridge 연구에 집중한 반면, Jung(2013)은 이단계 최소제곱(two-stage least squares, 2SLS) 추정에서 Ridge를 적용하여 작은 표본 문제의 해결 가능성을 탐구하였으며，이러한 모수 추정 방법에 정규화 기법을 결합한 모형을 ‘regularized structural equation models with latent variables(RSEMs)’로 명명하고, 정규화된 구조방정식 모형이라는 개념을 처음으로 제시하였다. 또한, Yuan과 Chan(2016)은 GLS 추정에서 Ridge의 적용을 시도하였으며, Yang과 Yuan(2019)은 Ridge를 이용한 GLS 추정의 최적화 방안을 연구하였다.

Ridge 외에도, SEM에서 Lasso의 적용이 Jacobucci 등(2016)에 의해 소개되었으며, 이를 실행할 수 있는 R 패키지인 regsem도 개발되었다(Jacobucci, 2017; Jacobucci et al., 2023). 한편, Huang 등(2017)은 SEM에서 정규화 기법의 적용을 LISREL 모형을 통해 설명하고 이를 ‘penalized likelihood method for SEM’이라고 명명하였다. 최근 Nestler(2022)는 Ridge와 Lasso를 2SLS 추정에서 적용하는 방법을 원자료 사용 경우와 요약 자료 사용 경우로 나누어 각각 설명하였고, Huang(2022)은 순서형 자료를 사용한 SEM에서 Lasso를 활용하여 삼단계 최소제곱(three-stage least squares, 3SLS) 추정을 통해 간명한 모형을 구축하였다.

SEM에서 정규화 기법의 적용에 관한 다양한 연구가 활발하게 진행되어 있지만, 각 연구에서 이를 서로 다른 방식으로 명명하고 있다. 예를 들어, Jacobucci 등(2016)은 ML 추정을 사용하는 SEM에서 정규화 기법을 적용한 모형을 ‘regularized structural equation modeling’이라고 명명하였고, Huang 등(2017)은 이를 ‘penalized likelihood method for SEM’이라고 명명하였다. 통계적으로 regularization과 penalization이 모두 정규화를 의미하는 용어이므로, 두 연구자가 사실상 동일한 모형을 지칭한다고 볼 수 있다. 한편, Yuan과 Chan(2008) 및 Yuan 등(2011)은 Ridge에 초점을 맞추어 이를 ‘Ridge SEM’이라고 명명하였으며, Jacobucci 등(2016)은 Ridge 페널티를 적용한 RegSEM이 Ridge SEM의 확장임을 언급하였다. 또한, GLS 추정에 Ridge가 적용된 경우, Yuan과 Chan(2016)은 이를 ‘Ridge generalized least squares(Ridge GLS)’로 명명하였다. 이러한 명칭의 혼용은 연구자들에게 혼란을 초래할 수 있으므로, 본 연구에서는 Jacobucci 등(2016)의 명명 방식을 따르기로 하며, 모든 정규화 기법이 적용된 구조방정식모형은 ‘regularized SEM(RegSEM)’으로 통칭하고, 이는 추정 방법에 따라 ‘regularized ML’ 또는 ‘regularized GLS’로 세분화할 수 있음을 제안한다.

정규화된 빈도주의 추정법

Regualrized ML. ML은 대표적인 빈도주의 추정 방법으로 SEM의 추정에 널리 사용되고 있으며(Hoyle, 2000), ML 추정에서 정규화 기법의 적용이 그림 3에 정리되어 있다. ML 추정의 합치함수(fitting function)는 다음과 같이 정의된다.

그림 3.

최대우도 추정에서 정규화 기법의 적용

위에서 S는 표본 공분산 행렬, $\widehat{\mathit{\theta }}$은 추정치의 집합, $\sum \left(\widehat{\mathit{\theta }}\right)$은 추정치에 기반한 모형함의 공분산 행렬을 의미한다. 또한, tr(trace)는 행렬의 대각 요소들의 합을 나타내며, p는 관찰 변수의 개수를 나타낸다. ML 추정의 합치함수는 모형과 자료 간의 적합성을 평가하는 요소로서 사용되며, 이를 최소화하는 모형의 모수가 추정된다.

정규화된 ML 추정(regularized ML)은 기존의 ML 합치함수에 페널티 항을 추가하여 특정 모수에 제약을 부과하는 방식으로 이루어진다(Jacobucci et al., 2016). 따라서 정규화된 ML 추정은 다음과 같이 표현될 수 있다.

식 7과 8을 비교하면, 정규화된 ML 추정의 합치함수(F_regsem)는 기존 ML 추정 방법에 수축 페널티 항 $\lambda P\left(\widehat{\mathit{\theta }}\right)$을 추가한 것으로 이해할 수 있다. 연구자의 목적에 따라, Lasso를 적용할 때는 $P\left(\widehat{\mathit{\theta }}\right)=\sum \left|\widehat{\mathit{\theta }}\right|$, Ridge를 적용할 때는 $P\left(\widehat{\mathit{\theta }}\right)=\sum \widehat{{\mathit{\theta }}^2}$을 사용한다.

앞서 설명한 바와 같이, Ridge는 공분산 행렬에 특정한 값을 더하여 추정에 사용되는 공분산 행렬을 비특이행렬로 만드는 방법이다. Jöreskog(1989)는 LISREL 7에 Ridge 옵션을 추가하여 추정의 과정에 표본 공분산 행렬 S 대신 아래처럼 S의 대각 요소에 분산을 더한 행렬 S_a를 사용하는 방법을 제안하였다.

위에서 k¹⁾는 조율 모수이며, s_p는 p번째 예측변수의 분산을 의미한다. 이 방법은 행렬의 대각요소에 값을 추가할 때 각 변수의 분산 값을 사용하기 때문에 대각요소마다 추가된 값이 달라서 행렬 자체가 여전히 불안정한 상태이다. 이를 추정에 사용하면 표준오차와 적합도 통계치를 왜곡시킬 가능성이 크므로, McQuitty(1997)는 비표준화 추정치를 얻는 것이 목적이 아니라면, 이 방법의 사용을 추천하지 않았다. 이러한 문제를 해결하기 위해 Yuan과 Chan(2008)은 더 안정적인 Ridge 방법을 제안하였다. 변수의 분산 값 대신, 단위행렬 I를 이용하여 표본 공분산 행렬 S의 대각 요소에 모두 동일한 상수를 더하여 S_a = S + I를 사용하는 방법이다. 여기서 a²⁾는 조율 모수로서 관찰변수의 수와 표본크기의 비율 p/N에 따라 결정된다. 이를 통해 추정 과정에서 공분산 행렬이 비특이행렬이 되도록 할 수 있으며, ML 추정에서 피셔스코어링(Fisher-scoring) 계산 과정의 속도와 수렴률을 향상시킬 수 있음이 확인되었다(Deng et al., 2018; Yuan & Bentler, 2017).

Regularized GLS. ML 추정 외에도, 최소제곱 추정법에 정규화 기법을 적용할 수 있다. GLS 추정을 기반으로 한 RegSEM은 아직 Lasso와 Ridge를 모두 다루고 있지 않으므로,, 본 연구에서는 Ridge GLS(Yang & Yuan, 2019; Yuan & Chan, 2016)의 예로 정규화된 GLS 추정을 소개한다. 우선, GLS 추정의 합치함수는 다음과 같이 표현된다.

위에서 W는 가중치 행렬, $\mathit{S}-\sum \left(\widehat{\mathit{\theta }}\right)$은 잔차 행렬(residual matrix)을 의미한다. GLS 추정은 가중치를 고려하여 잔차 행렬의 요소 제곱합을 최소화함으로써 모수 추정치를 도출한다.

가중치 행렬 W는 그림 4에 제시된 바와 같이, 고정된 정치 가중치 행렬(fixed positive definite weight matrix)과 자료 기반 가중치 행렬(data-dependent weight matrix)로 구분할 수 있다(Deng et al., 2018). 고정된 정치 가중치 행렬을 사용할 경우, 단위행렬 I가 사용되며, 이를 비가중 최소제곱추정(unweighted least squares, ULS)이라고 한다. ULS는 가중치를 사용하지 않으므로 추정 과정이 매우 안정적이지만, 잔차 행렬의 모든 요소에 동일한 공분산을 가정하기 때문에 오차 변동성을 설명하는 데 한계가 있다. 반면, 자료 기반 가중치 행렬을 사용할 경우, 일반적으로 표본 공분산 행렬 S가 사용되며, 이를 일반화 최소제곱추정(generalized least squares, GLS)이라고 한다. 또한, 자료 기반 가중치 행렬로 표본의 4차 모멘트 행렬(fourth-order moment matrix) Γ를 선택할 수도 있으며, 이 방법은 점근적 분포무관(asymptotically distribution-free, ADF, Browne, 1984) 추정이라고 한다. GLS 추정에서 표본의 정규성에 대한 가정이 필수적이지는 않으나, 비정규성으로 인해 GLS 추정치의 정확성이 저하되는 것이 일반적이다(Huang & Bentler, 2015; Marcoulides et al., 2023). ADF 추정은 GLS의 확장된 방식으로, 표본이 정규성을 만족하지 않는 경우에도 보다 안정적인 추정치를 제공할 수 있는 강건한(robust) 방법이다. 다만, GLS와 ADF 추정 모두 표본크기가 충분히 클 때 좋은 추정 성능을 보이며, 표본크기가 상대적으로 작을 경우 표본 공분산 행렬 S 또는 표본의 4차 모멘트 행렬 Γ가 특이행렬이 되거나 특이행렬에 매우 근접하게 될 가능성이 크다.

그림 4.

최소제곱 추정에서 가중치 행렬의 선택

주. ULS=unweighted least squares; GLS=generalized least squares; ADF=asymptotically distribution-free; Ridge GLSD=W_D 를 가중치 행렬로 사용한 Ridge GLS; Ridge GLSI=W_I 를 가중치 행렬로 사용한 Ridge GLS.

Yuan과 Chan(2016)은 GLS 추정에 Ridge를 도입해 보다 안정적인 추정을 수행할 수 있는 Ridge GLS를 제안하였다. Ridge GLS는 Γ의 대각행렬 D(식 11) 및 단위행렬 I(식 12)를 이용하여 가중치 행렬 W를 새롭게 정의한다.

위에서 a³⁾는 조율 모수로, 0과 1 사이에서 결정한다. Yuan과 Chan(2016)은 W_I를 사용한 Ridge GLSI가 W_D를 사용한 Ridge GLSD보다 더 안정적인 추정 결과를 보인다고 보고하였다. 또한, Yang과 Yuan(2019)은 자료의 분포에 따라 적절한 a값을 결정할 것을 권장하며, 두 단계를 거쳐 a값을 계산하는 방법도 제안하였다. 연구 결과에 따르면, 적절한 a값을 사용할 경우 Ridge GLS는 정규 분포 자료에서 일반적인 ML 추정과 비슷한 결과를 보였으며, 특정한 비정규 분포 자료에서는 일반적인 ML 추정 및 ADF 추정보다 더 우수한 성능을 보였다. 특히, ADF 추정이 적용될 수 없는 작은 표본크기의 경우에서도 Ridge GLS는 안정적인 추정 결과를 제공하였다. 이러한 결과는 Ridge GLS가 정규화된 GLS 방법으로서, 표본크기가 작거나 정규성 가정이 위배된 상황에서 보다 강건한 대안이 될 수 있음을 시사한다.

구조방정식모형에서 발생 가능한 추정 불안정 문제

SEM의 추정 불안정 문제는 그림 5에 정리된 바와 같이, 보통 특이행렬의 존재로 인해 발생한다(Bentler & Chou, 1987; Hau et al., 2004). ML 또는 GLS 추정을 사용한 SEM 추정 과정에는 공분산 행렬의 역행렬 계산이 포함되므로, 공분산 행렬은 비특이행렬이어야 한다. 만약 특이행렬 형태로 나타날 경우, 역행렬이 계산 가능하지 않으므로 추정은 불가능해진다. 또한, 완전한 특이행렬이 아니어도 이에 근접한 형태(near-singular matrix)인 경우, 이는 수치적으로 매우 불안정한 행렬이다. 행렬이 특이행렬에 근접할 때 역행렬은 존재하지만, 계산이 매우 복잡해지고, 이를 사용할 경우 추정의 불안정성이 증가되며, 결과의 변동성도 매우 높다. ML 추정에서는 수렴에 도달하지 못하거나, 수렴 과정이 길어질 수 있으며, GLS 추정에서는 불안정한 역행렬 계산으로 인해 추정 결과의 신뢰성이 저하될 수 있다.

그림 5.

구조방정식모형의 추정 불안정 문제를 초래하는 근원적인 원인

공분산 행렬이 특이행렬이거나 이에 근접한 형태로 보이는 주요 원인은 크게 세 가지로 구분할 수 있다. 첫째, 잘못된 모형 설정(model specification)으로 인해 모형함의 공분산 행렬이 특이행렬로 나타날 수 있다(Hoyle, 2012). SEM 분석의 첫 단계인 모형 설정은 연구자가 기존 문헌과 본인의 이론에 근거하여 변수 간 관계를 정립하는 과정이다. 연구 주제에 대한 배경지식이 충분할수록 연구자는 설정한 모형에 대한 확신을 갖고 분석을 더 안정적으로 진행할 수 있다. 그러나 이론적인 배경이 부족한 경우, 모형 설정에 대한 확신이 떨어질 수 있으며, 이는 모형 설정 오류가 나타날 가능성을 높인다. 모집단의 변수 간 관계를 정확히 반영하지 못하는 모형은 잘못 설정된 모형(misspecified model)으로 간주된다. 예를 들어, 실제 모집단에 존재하는 잠재변수 간 상호작용 또는 교차요인부하가 누락된 경우(underspecification), 일부 변수 간 관계가 충분히 설명되지 않아 모형함의 공분산 행렬 $\sum \left(\widehat{\mathit{\theta }}\right)$이 특이행렬로 나타날 수 있다. 반대로, 모집단에 존재하지 않는 경로를 과도하게 설정한 경우(overspecification), 설정된 모수들 간의 선형적 종속성으로 인해 동일한 문제가 나타날 가능성이 높다(Finch & Miller, 2021). 심리학 분야에서는 인간의 잠재적 특성 간 복잡한 관계를 연구하기 위해 경로가 많고 복잡한 모형이 자주 사용된다. 진정한 모형(true model)이 복잡할수록 특정 경로를 누락할 가능성이 높아지며, 특히 배경지식이 부족할 때 모형 설정 오류의 발생 가능성이 높아진다.

둘째, 작은 표본크기로 인해 표본 공분산 행렬이 특이행렬로 나타날 수 있다. SEM 분석에서 충분히 큰 표본크기와 다변량 정규성 등의 전제가 충족될 때만 ML 추정법이 추정치의 불편향성(unbiasedness), 일관성(consistency), 효율성(efficiency)을 보장할 수 있다. 일반적으로 표본크기는 최소 100에서 200이 요구되지만(Chou & Bentler, 1995; Hoyle & Kenny, 1999), 모형의 복잡성 또는 사용된 변수의 개수에 따라 달라질 수 있다. 특히 모형에 많은 변수와 모수가 포함될 경우, 표본크기가 200 이상이라 하더라도 상대적으로 작은 것으로 간주될 수 있으며, 이로 인해 표본 공분산 행렬 S가 특이행렬 또는 이에 매우 근접한 형태로 나타날 수 있으므로 불안정한 추정을 초래한다(Deng et al., 2018; Moshagen, 2012; Shi et al., 2018).

셋째, 변수 간의 높은 다중공선성으로 인해 충분한 표본크기에도 불구하고 표본 공분산 행렬이 특이행렬로 나타날 수 있다. 회귀분석에서 다중공선성은 여러 독립변수 간 높은 상관관계를 의미하며, 일부 변수들이 다른 변수들의 선형 결합과 높은 상관을 보이는 경우도 포함한다. 높은 다중공선성은 추정치의 크기와 부호를 왜곡시키며, 신뢰구간을 넓혀 모수의 유의성 검정에 문제를 초래할 수 있다. SEM 분석에서도 변수 간 높은 다중공선성이 존재할 경우, 표본 공분산 행렬이 특이행렬에 근접하게 되어 추정의 정확성이 저해될 수 있다(Wothke, 1993; Yuan & Chan, 2008). 또한, 이러한 다중공선성은 표준오차의 과대추정을 초래할 수 있으며, 반복 추정 시 결과의 일관성이 떨어져 신뢰성을 저하시키는 요인이 된다. 특히 매개모형에 다중공선성이 존재할 경우, 경로계수에 대한 통계적 검정력이 저하될 수 있으며, 변수들 간 간접효과 추정의 정확성과 유의성도 왜곡될 수 있다(Beasley, 2014; Kline, 2015; Thompson et al., 2017). 또한 매개변수가 여러 개인 경우, 각 변수의 설명력이 중복되어 고유한 간접효과를 구분하기 어려워 결과 해석에 난항을 초래할 수 있다(Niemelä-Nyrhinen & Leskinen, 2014). 심각한 다중공선성이 존재할 경우, 표본 공분산 행렬이 특이행렬로 나타나 역행렬 계산이 불가능해지며, 이로 인해 ML 추정과 GLS 추정을 모두 수행할 수 없게 된다.

안정적인 추정을 위한 정규화 기법의 적용 가능성

설명한 것처럼 특이행렬의 존재로 인해 추정 불안정이 발생하는 경우, 정규화 기법은 보다 안정적인 추정을 위한 해결책으로 활용할 수 있다(Neumaier, 1998). 이는 SEM 분석에서 공분산 행렬이 특이행렬로 나타날 경우, 특이행렬을 교정하여 신뢰할 수 있는 추정을 가능하게 한다. 각 추정 문제 해결 시 정규화 기법의 작동 원리와 관련 연구가 표 2에 정리되어 있다.

잘못된 모형 설정. 모형 설정의 오류가 발생할 경우, 일반적으로 수정 지수(modification indexes, MI)를 활용하여 모형을 수정하고, 수정 전후의 모형을 χ²차이검정으로 비교하여 더 적합한 모형을 확인할 수 있다. 그러나 이때 비교하는 모형들은 서로 내재적 관계를 가져야 한다는 한계가 존재한다. 내재적이지 않은 모형들은 AIC나 BIC와 같은 정보지수를 통해 비교할 수 있으나, 두 정보지수 값이 상반될 경우 통계적 판단이 어렵고, 연구자는 이론적 근거를 재검토해야 하는 한계가 있다. 또한, 모형 설정 오류가 경미할 경우 MI를 통해 비교적 적합한 모형을 찾아낼 수 있으나, 설정 오류가 심각한 경우 MI만으로는 적절한 모형을 찾기 어렵다(Pan et al., 2017). 모형 설정의 오류를 수정하고 평가하는 과정은 이론적 배경이 충분하고 오류가 크지 않다는 전제가 충족되지 않는다면 매우 번거롭고 비효율적일 수 있다.

정규화 기법 중 Lasso는 변수 선택 기능을 통해 모형을 효율적으로 구축할 수 있는 장점을 가지고 있다. Huang 등(2017)은 RegSEM을 확인적 부분(confirmatory part)과 탐색적 부분(exploratory part)을 동시에 포함하는 부분 확인적 접근법(semi-confirmatory approach)으로 규정하였다. 확인적 부분은 선행 이론에 근거한(theory-driven) 구조를 의미하며, 연구자가 보유한 배경지식에 따라 추정할 모수를 설정한다. 반면, 탐색적 부분은 자료에 의존하는(data-driven) 구조로, 정규화 기법을 활용하여 배경지식이 부족한 상황에서도 변수 간 관계를 탐색할 수 있도록 지원한다. RegSEM은 탐색적 구조방정식모형(exploratory SEM, ESEM)과 달리, 모형의 모든 모수를 추정할 필요 없이 연구자의 배경지식 수준에 따라 모수를 고정하거나 추정할 수 있다는 장점이 있다. 이를 통해, RegSEM은 선행 이론이 부족한 상황에서도 복잡한 절차 없이 효율적으로 적절한 모형을 찾아낼 수 있으며, 결국 최종 모형의 일반화 가능성도 높아진다(Huang et al., 2017). Jacobucci 등(2019)은 MIMIC(multiple indicators multiple causes) 모형에서 Lasso를 활용하여 잠재변수에 영향을 미치는 공변수를 정확하게 선택할 가능성을 검토하였다. 연구 결과, Lasso를 이용한 RegSEM은 표본크기가 작은 경우에도 일반적인 ML 추정보다 효과적으로 중요한 공변수를 선택할 수 있었으며, 통계적 검정력이 더 높은 것으로 나타났다. Lindstrøm과 Dahl(2020)은 다집단 구조방정식모형 분석에서 Lasso를 적용하여 집단 간 경로계수 차이를 검정하였다. 연구 결과, Lasso를 적용한 추정은 일반적인 ML 추정보다 집단 간 경로계수 차이를 확인하는 데 더 우수한 성능을 보였다. 특히, 모형이 잘못 설정된 경우, Lasso를 적용한 ML 추정(ML-Lasso)에서도 일정의 편향이 존재하였으나, 일반적인 ML 추정보다 상대적으로 작은 것으로 나타났다. 또한, Finch와 Miller(2021) 및 Nestler(2022)의 연구에 따르면, RegSEM에서 추정치에 일부 편향이 발생할 수 있으나, 이는 정규화 과정에서 특정 계수가 축소되거나 0으로 조정되는 영향으로 인한 것이다. 이러한 편향의 정도는 기본 SEM의 추정 조건이 충족되지 않은 상황에서 일반적인 ML 추정이 초래하는 심각한 편향보다 상대적으로 작은 것으로 보고되었다. 즉, RegSEM을 사용할 경우 일정 수준의 편향이 존재하더라도, 모형이 지나치게 복잡해지거나 불안정한 추정을 초래하는 것을 방지하고 안정적인 추정을 제공하는 장점이 있다.

작은 표본크기. 작은 표본크기로 인해 추정의 불안정성이 나타날 때, Lasso 및 Ridge와 같은 정규화 기법이 이를 해결할 방안으로 제안되었다(Deng et al., 2018). 앞서 소개한 Lasso와 Ridge의 원리에 따라, Lasso는 변수 선택을 통해 모형에서 상대적으로 덜 중요한 변수를 제외함으로써 모형을 단순화하여 작은 표본에서도 안정적인 추정을 가능하게 한다(Rosseel, 2020). 한편, Ridge는 모든 변수를 유지한 상태에서 표본 공분산 행렬에 페널티를 부가하여 안정적인 추정을 가능하게 한다(Marcoulides et al., 2023). Arruda와 Bentler(2017)의 연구에 따르면, Ridge GLS는 작은 표본크기나 비정규 분포 자료에서도 SEM 분석의 적합도와 추정의 안정성을 향상시킬 수 있었다. 또한, Jung (2013)은 Ridge를 적용한 2SLS(Regularized 2SLS)가 작은 표본에서도 일반적인 2SLS 추정보다 더 정확한 추정치를 제공할 수 있음을 밝혔다. Finch와 Miller(2021)는 작은 표본크기에서 정규화된 ML 추정(ML-Lasso, ML-Ridge)과 정규화된 2SLS 추정(2SLS-Lasso, 2SLS-Ridge)을 비교한 결과, 정규화된 ML 또는 2SLS 추정이 일반적인 ML 또는 2SLS 추정보다 편향과 분산이 더 작았으며, 특히 작은 요인부하를 가진 경우에 더 우수한 성능을 나타낸다고 보고하였다. 따라서, Lasso와 Ridge는 모두 작은 표본크기로 인한 추정 문제를 해결하는 데 유용하다. 이들은 문제를 해결하는 원리가 다르므로 연구자는 각 정규화 형태의 원리를 충분히 이해하고 연구 목적에 맞게 정규화 기법을 적용하는 것이 중요하다.

다중공선성. 정규화 기법 중 Ridge는 SEM의 추정에서 다중공선성을 조정할 방안으로 연구되어 왔다. Ridge는 공분산 행렬에 양의 값(positive value)을 추가함으로써, 이를 안정적이고 추정 가능한 비특이행렬로 만든다. 따라서 다중공선성으로 인한 추정의 불안정이 나타날 때, Ridge를 적용하여 특이행렬인 공분산 행렬을 계산 가능한 비특이행렬로 변환할 수 있으며, 이와 같은 이유로 도출된 추정치는 근사치로 간주할 수 있다. Niemelä-Nyrhinen과 Leskinen(2014)은 다중 매개모형에서 매개변수 간 다중공선성을 조정하기 위해 두 가지 방식으로 Ridge를 적용하였다. 연구 결과, 모든 잠재변수를 포함한 공분산 행렬의 대각요소에 값을 더하는 방법(Method A)보다, 결과변수를 제외한 예측변수와 매개변수만 포함하는 공분산 행렬의 대각요소에 값을 더하는 방법(Method B)이 상대적으로 더 작은 표준오차와 높은 통계적 검정력을 나타냈다. 또한, 원래 유의하지 않았던 직접효과가 Method B를 적용했을 때 유의한 결과로 나타났다. Scharf 등(2021)은 Ridge와 Enet을 적용한 RegSEM의 다중공선성 조정 가능성을 시뮬레이션 연구를 통해 확인하였다. 연구 결과, 일반적인 SEM보다 RegSEM은 잠재변수 간에 다중공선성이 존재하는 상황에서 더 안정적인 추정 결과와 높은 통계적 검정력을 보여주었다. 또한, Ridge와 Enet의 성능을 비교한 결과, Enet은 Ridge와 Lasso의 결합체로서 Ridge의 기능을 포함하면서 유사한 추정 결과를 제공하였으며, 제1종 오류도 상대적으로 낮게 나타났다.

소프트웨어

본 연구의 모든 분석은 R 4.4.2를 사용하여 수행하였다. RegSEM 분석은 regsem 패키지(Jacobucci et al., 2023) 혹은 lslx 패키지(Huang, 2020)를 이용하여 실행할 수 있다. 두 패키지는 R 프로그램에서 정규화 기법이 적용된 구조방정식 분석을 지원하며, regsem 패키지는 lavaan(Rosseel, 2012) 패키지를 기반으로 확장된 도구로, 기존 SEM 분석에 정규화 추정을 적용할 수 있는 기능을 제공하며 cv_regsem() 함수를 통해 실행할 수 있다(Jacobucci, 2017; Li et al., 2021). 이는 Lasso 등 변수 선택 기능이 있는 페널티 함수를 통해 간명한 모형을 탐색할 때, 변수 선택 결과에 따라 재구성된 모형에 대해 최종적으로 lavaan을 사용해 추정하는 추가 단계가 필요하다. 또한, regsem은 경로계수 추정치를 제공하지만, 추정치의 유의성 검정이나 분산과 관련된 결과는 제공하지 않는 한계가 있다. 반면, lslx 패키지는 일반적인 SEM 분석과 RegSEM 분석을 모두 지원하며, 추가적인 패키지 없이 모형 설정부터 분석까지 모든 과정을 하나의 환경에서 완성할 수 있다. lslx는 ML 또는 GLS 추정을 기반으로 한 RegSEM 분석을 지원하며, lslx() 함수를 사용하여 분석을 수행할 수 있다(Huang, 2020). lslx는 regsem에 비해 적용 범위가 넓고 제공되는 옵션이 다양하며, 보다 포괄적인 분석 도구로 활용될 수 있다. 따라서, 본 연구에서는 lslx 패키지를 활용하여 일반적인 SEM 추정과 RegSEM 분석을 수행하고, 두 분석 결과를 비교하였다. lslx에서 ML 추정이 기본(default) 설정이며, 동일 패키지 내에서 GLS 추정을 기반한 RegSEM 분석과 비교할 때 분석 절차상 큰 차이가 없다. 이에 따라 본 예시의 모든 추정 과정은 SEM의 대표적인 추정법인 ML 추정을 기반으로 진행하였다. GLS 추정을 기반으로 RegSEM 분석이 필요한 경우, lslx() 함수의 ‘loss’옵션을 통해 최소제곱 추정법을 지정할 수 있다⁴⁾.

연구 자료 및 모형과 분석 방법

예시 분석에는 한국청소년정책연구원(2013)의 한국 아동․청소년 정신건강 실태조사 제3차 자료가 활용되었다. 총 9,755명 중 결측치를 제거한 후 최종적으로 9,205명의 응답이 분석에 고려되었는데, 분석 예시를 위해 무작위 추출(random sampling) 방법을 이용하여 표본크기가 150과 300인 소표본을 구성하였다. 분석에 사용된 잠재변수는 아동․청소년이 지각한 스트레스, 생활만족도, 가족관계, 교사관계, 친구관계, 지역사회지지, 자아존중감, 정서조절 총 8개였다. 각 잠재변수는 Likert 4점 척도(1=전혀 그렇지 않다, 2=그렇지 않다, 3=그렇다, 4=매우 그렇다) 문항을 사용하여 측정되었다. 자아존중감과 가족관계는 각각 5문항으로 측정하였으며, 교사관계, 친구관계, 정서조절은 각각 3문항으로 측정하였다. 스트레스를 측정하는 12문항은 요인 알고리즘을 활용하여 문항묶음(item parceling)을 통해 4개의 관찰변수로 변환하였다(이지현, 김수영, 2016). 생활만족도를 측정하는 8문항도 문항묶음을 통해 4개의 관찰변수로 변환하였으며, 지역사회지지를 측정하는 6문항은 3개의 관찰변수로 변환하여 분석에 사용하였다.

본 연구에서 사용된 모형은 그림 6에 제시된 바와 같이 설정되어 있다. 이 모형은 아동․청소년이 지각한 스트레스가 생활만족도에 영향을 미치는 과정에서 가족관계, 교사관계, 친구관계, 지역사회지지, 자아존중감, 정서조절의 다중 매개효과를 확인하는 구조를 갖는다(문도원, 신명옥, 이정미, 2017; 박병선, 2015; 신명옥, 장덕희, 2017). 해당 모형에서는 30개의 지표변수를 사용하여 8개의 잠재변수를 측정하였으며, 모형에서 추정하고자 하는 자유모수의 개수는 총 103개였다. 이러한 모형에서, 표본크기가 150 또는 300인 경우는 모형의 복잡성에 비해 상대적으로 꽤 작은 표본으로 간주될 수 있다.

그림 6.

예시로 사용된 연구모형

RegSEM 분석의 절차와 불완전한 추정 조건에서 안정적인 추정 결과를 확인하기 위해, 우선 일반적인 SEM 분석을 통해 표본크기가 150과 300일 때 연구모형의 적합도와 추정 결과를 검토하였다. 다음으로, 작은 표본으로 인한 추정 불안정성을 개선하기 위해 Lasso 페널티와 Ridge 페널티를 각각 적용한 RegSEM 분석을 진행하였다. 각 RegSEM 분석의 적합도와 추정 결과를 일반적인 SEM의 추정 결과와 비교함으로써, RegSEM이 추정의 안정성을 개선하는지 확인하였다.

분석 결과

모형 적합도. 표 3에는 일반적인 ML 추정을 사용한 SEM과 Lasso 및 Ridge와 같은 정규화 기법이 적용된 RegSEM의 적합도 지수가 제시되어 있다. 먼저, 기존 SEM 모형의 적합도를 살펴보면, 표본크기가 150일 때 CFI 값이 0.9 미만이며, RMSEA와 SRMR 값이 각각 0.1에 근접하여 전반적으로 모형과 자료 간의 적합도가 양호하지 않은 것으로 나타났다. 표본크기가 300일 경우, CFI는 0.905, RMSEA는 0.076, SRMR은 0.066으로, 표본크기가 150일 때보다 적합도가 다소 개선된 것으로 보였지만, 매우 좋은 수준의 적합도를 보인다고 보기는 어렵다.

다음으로, 정규화 기법이 적용된 RegSEM 모형의 적합도를 살펴보면, Lasso를 적용한 경우 SEM 모형과 비교했을 때 적합도 지수가 큰 폭으로 개선되지는 않은 것으로 나타났다. 이는 Lasso 페널티가 모형과 자료의 적합도를 획기적으로 향상시키는 데에는 한계가 있음을 시사한다. 한편, Ridge를 적용한 경우 SEM 모형보다 CFI 값이 상승되고 RMSEA 값이 감소하는 등 모형 적합도가 전반적으로 개선된 것으로 나타났다. 일반적인 SEM 모형에 비해 SRMR 지수에서는 큰 개선이 관찰되지 않았으나, CFI와 RMSEA 지수의 향상을 통해 Ridge가 작은 표본크기를 사용하는 SEM 분석에서 모형 적합도를 향상시키는 데 기여할 수 있는 가능성을 확인할 수 있었다.

추정치의 안정성. 표 4에는 페널티 없이 일반적인 ML 추정을 사용한 SEM 모형 및 정규화 기법이 적용된 RegSEM 모형의 추정 결과가 제시되어 있다. 먼저, SEM 모형의 추정 결과를 살펴보면, 표본크기와 상관없이 스트레스가 매개변수들에 미치는 영향은 모두 유의한 부적 관계로 나타났으며, 매개변수들이 생활만족도에 미치는 영향은 모두 통계적으로 유의하지 않은 것으로 나타났다. 또한 SEM 모형의 추정 결과 전반적으로 표준오차가 크게 나타났으며, 특히 표본크기가 150일 때 대부분의 추정치에서 표준오차가 0.1 이상이었다. 더욱이, 표본크기가 300일 경우에 스트레스가 정서조절에 미치는 영향이 p < .001 수준에서 유의하였으나, 해당 추정치의 표준오차는 0.2 이상으로 나타나 모수 추정치의 변동성이 크고 신뢰성이 낮을 가능성이 있음을 시사하였다. 즉, 연구모형의 복잡성으로 인해 표본크기가 150 또는 300인 경우에 추정지의 표준오차가 크게 나타나 해당 결과 해석의 신뢰성이 저하될 수 있다.

이러한 문제를 해결하기 위해, 본 연구에서는 Lasso 및 Ridge와 같은 정규화 방법을 사용하여 분석을 진행하였다. 표 4의 결과에 따라, Lasso를 적용할 때 경로계수의 유의성 검정 결과는 SEM 모형과 대체로 유사한 경향을 보였다. 표본크기가 150인 경우, 조율 모수 λ⁵⁾값이 0.104일 때 해당 모형이 간결성과 해석 가능성을 고려하여 가장 적절한 모형으로 선택되었다. 이때, 매개변수인 교사관계, 친구관계, 지역사회지지가 생활만족도에 미치는 경로의 계수가 0으로 축소되어 모형에서 제거되었으며, 다른 매개변수들이 생활만족도에 미치는 경로는 유지되었으나 통계적으로 유의하지 않았다. 즉, RegSEM-Lasso를 적용한 결과, 표본크기가 150인 경우 원래 연구모형에서 매개변수인 교사관계, 친구관계, 지역사회지지를 제외하고, 스트레스가 가족관계, 자아존중감, 정서조절을 통하여 생활만족도에 영향을 주는 모형으로 수정할 때, 보다 안정적인 분석 결과를 도출할 수 있음을 확인하였다. 표본크기가 300인 경우, 조율 모수 λ값이 0.065일 때 해당 모형이 간결성과 해석 가능성을 고려하여 가장 적절한 모형으로 선택되었다. 이때, 대부분의 매개변수가 생활만족도에 미치는 경로의 계수가 0으로 축소되어 모형에서 제거되었으며, 가족관계가 생활만족도에 영향을 미치는 경로는 유지되었으나 통계적으로 유의하지 않았다. 그러나 기존 SEM 모형에서는 유의하지 않았던 친구관계가 생활만족도에 미치는 영향이 p < .01 수준에서 유의하게 나타났다. 따라서, 표본크기가 300인 경우에 RegSEM-Lasso를 적용하면 원래 연구모형에서 매개변수인 교사관계, 지역사회지지, 자아존중감, 정서조절을 제외하고, 스트레스가 친구관계 및 가족관계를 통하여 생활만족도에 영향을 미치는 모형으로 수정할 때, 보다 안정적인 분석 결과를 얻을 수 있음을 확인하였다. 또한, SEM 모형과 비교했을 때 전반적으로 표준오차가 감소한 것으로 확인되었다. 이는 SEM 모형이 모든 모수를 추정하면서 불필요한 경로까지 포함하여 모형이 복잡했기 때문이다. 반면, Lasso를 적용하면 연구자가 선택한 λ 기준에 따라 결과변수에 대한 영향력이 낮은 일부 변수의 경로계수가 0으로 축소되고, 해당 경로는 모형에서 과대 설정된 불필요한 것으로 간주되어 제거될 수 있다. 이 과정에서 모형이 단순해지고 자유도도 증가하고, 모형 추정의 안정성이 향상되는 효과가 나타났다.

한편, Ridge를 적용한 결과, 표본크기가 150인 경우 조율 모수 λ값이 0.041일 때 해당 모형이 가장 적절한 모형으로 선택되었으며, 표본크기가 300인 경우에는 조율 모수 λ값이 0.020일 때 최적 모형으로 선정되었다. 경로계수의 유의성 검정 결과는 전반적으로 기존 SEM 모형과 유사하게 나타났다. 표본크기가 300일 때 친구관계가 생활만족도에 미치는 영향이 p < .01 수준에서 유의하게 나타났으며, 표준오차의 크기는 여전히 큰 편이었지만, SEM 모형에 비해 감소한 것으로 확인되었다. 이는 연구모형의 복잡성과 표본크기의 한계로 인해 Ridge를 적용하더라도 표준오차를 낮추는 데 한계가 있을 수 있음을 의미한다. 그럼에도 불구하고, 동일한 모형 및 자료 조건 하에서 Ridge를 적용한 RegSEM은 기존 SEM 모형보다 전반적으로 더 작은 표준오차를 나타냈으며, 이는 Ridge가 보다 안정적인 추정 결과를 제공할 수 있음을 보여준다.

마지막으로, Lasso 및 Ridge 정규화 기법이 적용된 RegSEM 결과를 종합적으로 검토해 보면, 기존 SEM 모형에서 유의하지 않았던 친구관계가 생활만족도에 미치는 경로가 RegSEM 분석에서는 유의한 것으로 나타났다. 이는 스트레스와 생활만족도 간의 관계에서 친구관계가 매개 역할을 할 가능성이 높으며, SEM 모형에서 이를 확인하지 못한 이유는 모형의 복잡성과 작은 표본크기로 인한 제한 때문일 수 있음을 시사한다.