조사 자료의 가치에 회의적인 연구자들은 주로 두 가지 우려를 제기한다. 첫째는 응답자들이 양질의 응답을 제공하는 데 필요한 내성 능력(introspective ability)을 충분히 갖추고 있는가에 대한 의문이다. 사람들은 ‘내가 왜 그 사람을 싫어하는지’, ‘문제를 어떻게 풀었는지’, 또는 ‘현 직장을 왜 선택했는지’의 질문에 대해 정확하게 답하지 못하기도 하는데, 이는 사람들이 특정 자극에 대한 자신의 반응을 매개한 인지적 과정을 온전히 내성할 수 없기 때문이다(Nisbett & Wilson, 1977). 그럼에도 응답자들은 자신이 그러한 과정을 정확히 보고할 수 있다고 믿는 경향이 있다. 이 경우 이들의 응답은 실제 내성의 결과라기보다, 자신이 이미 가지고 있던 암묵적 인과 이론이나 특정 자극이 반응의 원인으로 얼마나 그럴듯한지에 대한 판단에 근거한 설명일 가능성이 크다. 더 나아가 응답자들은 존재하지 않는 정책이나 실제로 판단하기 어려운 주제에 대해서도 자신의 태도와 의견을 제시하는 모습을 보이기도 한다(Bishop et al., 1980).

두 번째 우려는 응답자가 자신의 태도, 감정, 성향을 어느 정도 내성할 수 있더라도, 실제 응답 과정에서 문항 내용과 무관한 요인들이 개입하여 정확한 응답을 방해할 수 있다는 점이다. 이러한 요인에는 극단 응답이나 묵인 응답과 같은 응답 스타일(response style), 자신을 사회적으로 바람직하게 제시하려는 사회적 바람직성 반응(social desirability responding: SDR), 그리고 문항을 충분히 읽거나 숙고하지 않고 응답하는 불성실 응답(insufficient effort responding: IER) 등이 포함된다. 이들은 서로 다른 기제를 갖지만, 공통적으로 자기보고식 자료의 타당성과 해석 가능성을 저해할 수 있다는 점에서 중요한 문제로 다루어진다.

본 논문에서는 사회조사나 심리측정에서 만성적으로 나타나는 응답 스타일과 관련된 기존 연구를 개관하였다. 자료의 타당도를 훼손하는 응답 스타일에 대해서는 조사 방법 또는 심리측정 연구자들이 오랫동안 해결 방안을 찾고자 하였다. 응답 스타일과 관련된 우려는 현실적이고 진지하게 받아들여야 하지만, 극복할 수 없는 것은 아니다. 본 고에서는 설문 조사나 심리측정에서 나타날 수 있는 다양한 응답 스타일 유형을 제시하고, 그것의 발생 원인, 탐지, 조정 및 예방에 관한 기존 연구를 개관하였다. 그리고 비교 문화 연구에서 응답 스타일의 영향 및 대처 방안에 관한 그간의 연구를 논의하였다. 마지막으로 그 결과를 바탕으로 연구자와 실무자들에게 응답 스타일에 대처하는 방법에 대한 유용한 가이드라인을 제시하고자 하였다.

응답 스타일의 유형

표 1에서 볼 수 있듯이, 응답 스타일에는 여러 유형이 있다. 먼저 묵인 응답 스타일(ARS)은 문항 내용에 대해 곰곰이 생각하기보다는 문항 내용과는 무관하게 ‘예’, ‘그렇다’, ‘동의한다’를 체계적으로 선택하는 경향성이다. 이것은 질문 문항이 난해하거나, 묻는 내용에 대해 잘 알지 못하거나, 해당 주제에 흥미가 없을 때, 조사나 측정 과정에서 피로감을 느낄 때 나타나는데, 마냥 ‘그렇다’고 응답하는 것이 인지적 노력 없이 설문을 쉽게 끝내는 방안이 된다. 반대로 설문 내용과 무관하게 평정 척도에서 ‘비동의’, ‘매우 비동의’와 같은 응답 범주를 선호하는 경향성을 나타나는 비묵인 응답 스타일(DARS)도 있다. 또한, 비동의보다 동의를 훨씬 더 많이 보이는 경향성인 순묵인 응답 스타일(net acquiescence response style: NARS)이 있다.

중간 응답 스타일(MRS)은 문항에 대해 척도 중간에 있는 범주를 선택하는 경향성이며, 극단 응답 스타일(ERS)은 평정 척도의 극단값을 선택하는 경향성이다. 평균 응답 주위에 좁게 또는 넓게 응답 범주를 사용하는 경향성인 응답 범위(response range: RR)도 있는데, 범위가 넓다면 변량을 부풀리고, 다변량 관계들의 크기를 줄인다(Greenleaf, 1992a).

여러 종류의 응답 편향을 정확하게 탐지하는 것이 어려울 때가 있다. 예를 들어, 특정 응답 패턴이 부주의한 응답이거나 중간 또는 극단 반응의 결과일 수 있다. 그러면 정확하게 어떤 편향의 작용인지 구분하기 어렵다. 중간 응답이나 극단 응답도 질문 내용과는 무관하게 특정 유형의 응답 범주를 체계적으로 선택하는 편향들이다. 이것들은 부주의 또는 만족화(satisficing)¹⁾로 인해 발생한다. Krosnick 등(1996)은 이런 편향들이 응답자들이 인지적 부담을 최소화할 수 있는 지름길을 취하려고 할 때 나타난다고 하였다.

발생 원인

응답 스타일이 발생하는 원인을 크게 두 측면으로 구분할 수 있는데, 하나는 자극 측면이고 다른 하나는 응답자 측면이다. 전자는 응답 스타일이 조사나 검사 도구와 연관된 특성으로 생긴다고 본다. 후자는 응답 스타일이 응답자의 개인적 특성의 결과로 나타난다고 본다. 그러나 이 두 가지는 독립적이지 않고 서로 영향을 미칠 수 있다. 예를 들어, 자극(상황) 측면이 개인의 특정 응답 스타일을 보이려는 타고난 성향을 강화하거나 약화할 수 있다.

응답 스타일의 영향

표 1의 ‘영향’ 부분에서 볼 수 있듯이, 자기 보고식 조사에서 나타나는 응답 스타일은 크게 두 가지 방식으로 연구 결론의 타당도에 영향을 미친다(Baumgartner & Steenkamp, 2001). 첫째, 응답 스타일은 단변량 분포, 즉 평균과 변량에 영향을 미칠 수 있다. 예를 들어 Moors(2012)는 자유방임형 리더십에서 성차를 보고한 연구 결과가 실제 리더십 지각의 차이라기보다, 남성과 여성 간 ERS 수준의 차이에 의해 나타난 것일 수 있다고 지적하였다. 즉, 특정 집단이 평정 척도의 극단 범주를 더 자주 선택하는 경향을 보일 경우, 집단 간 평균 차이가 실제 구성개념의 차이가 아니라 응답 스타일에 의해 만들어진 체계적 오차를 반영할 수 있다. 따라서 응답 스타일을 통제하지 않으면 연구자는 t 검증이나 F 검증과 같은 집단 비교 분석에서 잘못된 결론에 이를 수 있다.

둘째, 응답 스타일은 다변량 분포에도 영향을 미친다. 예를 들어, Baumgartner와 Steenkamp (2001)는 건강 의식(HCO), 품질 의식(QCO), 환경 의식(ECO), 및 자민족중심주의(ETN) 간의 상관을 조사하여 HCO–QCO 간 .40, HCO–ECO 간 .33, QCO–ECO 간 .31, HCO–ETN 간 .28, QCO–ETN 간 .19, ECO–ETN 간 .15의 결과를 얻었다. 이론적 관점에서는 HCO, QCO, ECO 간 유의한 상관이 있을 것이지만, ETN과는 상관이 없어야 한다. 이때 응답 스타일을 통제하면 상관은 상당히 감소한다(HCO–QCO, .20; HCO–ECO, .15; QCO–ECO, .13; HCO–ETN, .02; QCO–ETN, .00; ECO–ETN, .01). 따라서 응답 스타일은 변인 간의 상관 크기에 영향을 미친다. Cronbach 알파, 회귀분석, 요인분석, 구조방정식 모형과 같은 통계분석 기법들은 변인 간 상관에 기초하고 있으므로, 응답 스타일에 대한 통제 없이 변인 간 관계를 조사하는 연구는 잘못된 결과와 결론에 이를 수 있다.

일상적 맥락에서 개인의 정서, 행동, 인지 상태를 고해상도로 포착할 수 있는 경험표집법(Experience Sampling Method: ESM)와 생태학적 순간 평가(Ecological Momentary Assessment: EMA)는 순간적인 자기 보고(momentary self- report)를 반복적으로 수집하는 특성상, 응답 스타일 및 SDR과 같은 응답 편향이 데이터의 구조적 특성을 왜곡할 가능성이 지속적으로 제기되어 왔다. 즉, ESM 자료에서 개인 차원의 척도 사용 습관이 반복적으로 지적되는 데(Nezlek, 2017; Shrout & Lane, 2012), MRS, ARS, ERS에서의 개인차는 일상 정서의 개인 내 범위(range), 변량, 왜도, 극단값 빈도를 왜곡할 수 있다. 특히, 집중 종단 자료(intensive longitudinal data, ILD) 또는 반복 측정된 정서 자료를 활용하는 연구에서, 중요한 관심사 중 하나는 정서가 시간에 따라 어떻게 변화하는지의 정서 역동성(affect dynamics)이다.⁷⁾ ILD 자료에서는 ERS와 같은 응답 스타일이 변산성 측정에 영향을 줄 수 있다. ERS 수준이 높은 사람은 극단 범주를 과도하게 선택하는 경향이 있어, 실제로 정서 상태가 크게 변하지 않더라도 높은 변산성이 나타날 수 있다. 반면, 관성(1차 자기회귀 효과)의 경우는 ERS가 높을수록 감소할 수 있다. 이에 대해 직접적이고 정교한 증거를 제공한 Henninger 등(2025)은 1,398명의 대규모 표본을 대상으로, 확률적 보상 과제를 통해 정서 상태를 140회 반복 측정하고, 실험 전에 독립적으로 측정된 ERS와 여러 정서 변화 지표 간의 관계를 분석하였다. 연구 결과, ERS는 정서의 개인 내 변동성(intraindividual variability)과 강하게 정적으로 연관되어, ERS가 높은 개인은 실제 정서 변화가 동일하더라도 평정 값의 진폭(amplitude)이 더 크게 나타났다. 이는 변동성 지표(예, SD, RMSSD 등⁸⁾)가 응답 스타일에 의해 크게 왜곡될 수 있음을 보여주는 것이다. 반면, ERS는 정서가 시간에 따라 이어지는 방식 자체를 바꾸지는 않는다. 즉, 직전에 기분이 좋았으면 다음에도 좋은 편인지(반대로 금방 달라지는지)와 같은 관성(inertia)과 어떤 자극(보상, 스트레스)이 들어왔을 때 얼마나 민감하게 반응하는지의 반응성(reactivity)에는 크게 영향을 미치지 않았다. ERS는 단지 점수를 크게 올리거나 내리게 만드는 ‘표현 방식의 과장’일 뿐, 정서가 실제로 천천히 또는 빨리 변하는 사람인지, 또는 자극에 민감한지 둔감한지 같은 실제 심리적 특성까지 바꾸지는 않는다는 것이다. 이러한 발견은 ILD 또는 ESM(EMA) 기반의 정서 불안정성 연구(예, 경계성 장애, 기분 불안정)에서 높은 변동성이 정서 시스템의 불안정성을 의미하는 것이 아니라, ERS로 인해 과대 추정된 가공물(artifact)일 가능성을 시사한다.

응답 스타일의 탐지

응답 스타일을 탐지하는 여러 가지 방법이 있지만, 탐지 방법은 크게 외현(manifest) 변인 접근과 잠재(latent) 변인 모델링으로 구분된다(Wetzel et al., 2016)⁹⁾. 전자는 빈도 지표를 사용하는 것과 같은 명시적 접근이며, 후자는 응답 스타일 측정을 위한 확인적 요인분석(CFA)이나 문항 반응 모델(item response model)과 같은 잠재 변인 모델링 접근이다.

또한 별도 문항의 사용 여부라는 측면에서도 구분된다. 이것은 관심 특성과 응답 스타일을 평가하는 데 동일한 문항이 사용되는지, 아니면 관심 특성을 측정하는 문항과 별개로 응답 스타일을 평가하기 위한 목적의 문항이 사용되는지로 구분된다. 다음부터 주요한 탐지 방법들을 소개하였다(표 2 참조).

첫째, 응답 스타일 연구의 시초부터 사용된 것으로 빈도 지표가 있다(Greenleaf, 1992a, 1992b). 설문에 포함된 전체 문항에 대해 동의, 비동의, 극단 응답, 중간 응답의 수를 세는 것이다(Baumgartner & Steenkamp, 2001; Weijters, Geuens, & Schillewaert, 2010b). 예를 들어, ERS의 경우, 모든 설문 문항에서 응답자가 선택한 극단 범주의 수를 세는 것이다. ARS의 경우, 동의를 나타내는 응답 범주를 세면 된다. 가장 단순한 이 방법은 설문 문항들이 의미나 내용 측면에서 상당히 이질적일 때 사용할 만한 것이다. 여러 검사 도구에 포함된 이런 빈도 지표들은 검사 결과를 채점하는 과정에서 타당도 체크의 기능을 한다. 예를 들어, NEO-PI 검사에서는 ARS와 DARS를 확인하기 위해 동의 및 비동의한 문항 수를 세도록 권고한다.

둘째, 역점수(reverse scoring) 문항들에 대한 이중 동의(double agreements)를 세는 방법이다. 이 방법은 불성실 응답을 탐지하는 등 여러 목적으로 널리 사용된다(Swain et al., 2008; Weijters et al., 2013). 그런데 역점수 문항은 만들기 어렵거나 이해하기 어려울 수 있고, 신뢰도를 낮추고 별도 요인으로 분리될 위험도 있어 신중한 사용을 권고하기도 한다(Weijters & Baumgartner, 2012). 더불어 역점수 문항에 응답하는 방식에서 해석상의 이슈가 있다(Wong et al., 2003). 핵심은 동일 척도 내 여러 문항이 서로에게 정보 단서로 작동한다는 것인데, 정방향의 문항에 응답할 때 응답자는 이미 앞에서 비슷한 내용의 정방향 문항들에 응답하면서 개략적 이미지나 판단 기준을 만들게 된다. 그래서 새 문항을 볼 때 “아, 이것도 비슷한 거구나”하고 기존에 떠올린 정보를 재사용하고 굳이 새로운 기억이나 사례를 꺼내지 않는다(Weijters et al., 2009). 달리 말하면, 만족화(satisficing)로 추가 정보의 인출을 최소화하는 것이다(Krosnick, 1991). 반면, 역점수 문항에 응답할 때 문항 방향이 바뀌면서 표현이나 초점이 미묘하게 달라진다. 예를 들어, 정방향 문항인 ‘나는 팀에서 일하는 것을 즐긴다’에 응답한 후, 역방향 문항인 ‘나는 혼자 일할 때 더 편안하다’를 보면 사람들은 기존에 사용하던 기준으로 답하기보다는 다른 상황, 다른 에피소드, 다른 관점을 추가로 떠올려서 재평가하는 경향이 있다. 새로운 정보의 인출을 최대화하게 된다. 역점수 문항에 대한 응답 패턴은 문항의 방향 차이가 유발한 인지적 처리 전략의 차이, 즉, 어떤 정보를 얼마나 새로 끌어오는지와 더 관련 있을 수 있다는 것이다. 따라서 Weijters 등(2009)은 역문항에 대한 반응을 곧바로 ARS의 지표로 쓰는 건 적절하지 않을 수 있다고 보았다. Kam 등(2021)의 연구도 역문항에 대한 오응답(misresponse)이 참가자의 비합리적 행동 때문이라는 기존의 관점을 비판한다. 오히려, 특정 특성의 중간 수준에 있는 참가자에게는 겉보기에는 동등해 보이는 진술들에 대해 동의와 비동의를 모두 표현하는 것이 논리적으로 타당할 수 있다(예: “나는 키가 크지 않다. 그러나 그렇다고 키가 작은 것도 아니다.”). 이러한 이유로 단일 차원의 개념을 측정하더라도 정방향 문항과 역방향 문항은 서로 다른 요인에 적재될 수 있다.¹⁰⁾

다특성-다방법(multitrait-multimethod: MTMM) 접근은 여러 특성을 여러 방법으로 반복 측정하여 문항반응의 변량을 특성 요인과 방법 요인으로 분리하는 방법이다(Campbell & Fiske, 1959; Podsakoff et al., 2003). 고전적 MTMM에서 방법효과는 동일한 측정방법이 여러 특성의 측정치에 걸쳐 유발하는 공통변량으로 해석된다. 응답 스타일 연구에서는 이러한 논리를 긍정형 문항과 부정형 문항의 방향에 적용할 수 있다. 구체적으로 내용 요인에는 문항의 긍정 혹은 부정 방향에 따라 서로 반대되는 부호의 요인부하량을 부여하는 반면, 모든 문항에는 동일한 방향의 방법 요인 부하량을 부여함으로써 묵인 응답 스타일(acquiescent response style: ARS)을 내용 변량과 분리한다(Billiet & McClendon, 2000). Billiet와 McClendon (2000)의 확인적 요인분석(confirmatory factor analysis: CFA) 모형에서 특성 요인은 실제로 측정하려는 내용 특성을 반영하고, 방법 요인은 문항 내용과 관계없이 긍정형과 부정형 문항 모두에 동의하려는 묵인 성향을 반영한다. 이 모형에서는 내용 요인의 부하량은 문항 방향에 따라 반대 부호를 갖도록 설정하는 반면, 모든 문항의 방법 요인 부하량은 동일한 방향과 크기, 즉 원 모형에서는 +1로 고정하였다. 이를 통해 긍정형과 부정형 문항 모두에 동의하는 반응 경향을 내용 특성과 구분할 수 있다. Billiet와 Davidov(2008)는 이 모형을 종단 패널자료에 적용하여 ARS 요인이 4년에 걸쳐 상당한 안정성을 나타낸다는 것을 확인하였다. 또한 내용 요인과 방법 요인의 상관을 0으로 제약한 모형에서도 ARS를 내용 요인과 구분하여 추정할 수 있음을 보였다. 다만 이는 모든 상황에서 내용 특성과 ARS가 실질적으로 독립적이라는 것을 의미하지는 않는다. 이와 같은 MTMM 또는 CFA 방법요인 접근은 이미 다방법 측정치나 긍정과 부정 방향으로 균형화된 문항이 포함되어 있는 경우 별도의 응답 스타일 측정문항을 추가하지 않고도 ARS나 문항 방향에 따른 방법효과를 추정할 수 있다는 장점이 있다. 그러나 Billiet와 McClendon(2000)의 모형은 서로 다른 내용 특성을 측정하는 긍정형과 부정형 문항이 적절하게 균형을 이루는 설계에 크게 의존한다. 따라서 부정형 문항이 거의 없거나 특성–방법 조합과 지표의 수가 충분하지 않으면 내용 요인과 방법 요인을 안정적으로 분리하기 어렵고 모형 식별 문제가 발생할 수 있다(Eid et al., 2003; Podsakoff et al., 2003). 또한 이 접근은 ERS(extreme response style)나 MRS(midpoint response style)처럼 특정 반응범주의 선택 패턴에 기초한 응답 스타일을 직접 탐지하기 어렵다. 동일한 특성을 여러 방법으로 반복 측정하는 설계에서는 일관성 동기, 기억효과 또는 반복측정에 따른 반응 의존성이 나타날 가능성도 있다.

이러한 접근의 한계를 보완하기 위해 이후 연구에서는 응답 스타일 변량(stylistic variance)과 실제 내용 변량(substantive variance)을 보다 명확하게 분리할 수 있도록, 관심 특성과 개념적으로 관련이 없는 별도의 문항 집합을 활용하는 방법이 발전하였다(Baumgartner & Steenkamp, 2001; Weijters et al., 2008). 이는 문항 내용과 관계없이 나타나는 일반적인 동의 및 비동의 경향을 측정하려 했던 초기 연구의 전통을 확장한 것으로 볼 수 있다(Couch & Keniston, 1960). 대표적 응답 스타일 지표(representative indicators for response styles: RIRS) 방법은 관심 특성과 관련이 없는 여러 척도에서 대표성 있게 표집한 문항들을 이용하여 응답 스타일을 측정한다. 서로 다른 내용 영역의 문항을 사용함으로써 특정 문항 내용의 영향을 상쇄하고, 반복적으로 나타나는 반응범주 선택 경향을 응답 스타일로 해석하는 것이다. 이를 통해 ARS, DARS, ERS, MRS 및 NARS 등의 지표를 계산할 수 있다. 일반적으로 응답 스타일을 통제변수로 사용하는 연구에서는 응답 스타일 지표별로 약 5개 문항을 사용할 수 있으며, 응답 스타일 자체를 주요 연구대상으로 삼는 경우에는 지표별로 약 10∼14개의 문항을 사용하는 것이 권장된다(Weijters et al., 2008).

RIRS를 확장한 RIRMACS(representative indicators for response styles means and covariance structure) 접근은 여러 응답 스타일을 단순한 관찰 지표가 아니라 잠재 요인으로 모형화한다. 이를 통해 응답 스타일 지표의 측정오차를 고려하면서 응답 스타일 간 수렴타당도와 변별타당도를 평가하고, 응답 스타일이 관심 내용 요인과 다른 변수 간의 관계에 미치는 영향을 추정하고 조정할 수 있다. RIRS와 RIRMACS는 여러 유형의 응답 스타일을 함께 검증할 수 있고, 추정된 응답 스타일을 후속 분석에서 공변인이나 잠재 예측변수로 활용할 수 있다는 장점이 있다. 그러나 관심 특성과 직접 관련이 없는 문항을 다수 추가해야 하므로 검사시간과 응답자 부담이 증가하며, 기존의 2차 자료에는 필요한 대표 문항이 포함되어 있지 않을 수 있다는 현실적인 제약이 있다(Weijters et al., 2008).

조사에 별도의 응답 스타일 척도를 충분히 포함하기 어렵거나 문항 수준의 2차 자료를 분석하면서 Likert 응답을 연속변수로 간주하지 않고 범주별 반응확률을 모형화하려는 경우, 잠재계층 요인분석(latent class factor analysis: LCFA)을 활용할 수 있다. LCFA는 여러 잠재요인을 각각 몇 개의 순서화된 이산 수준으로 표현하고, 문항이 특정 요인에만 적재되도록 하는 등 CFA와 유사한 확인적 측정구조를 설정하는 잠재계층모형의 한 형태이다(Moors, 2003; Morren et al., 2011). 이 모형에서는 내용 요인과 응답 스타일 요인을 함께 추정할 수 있으며, Morren et al.(2011)의 제한된 LCFA에서는 문항반응과 내용 요인의 관계를 순서형·단조적으로 제한하는 한편, ERS 요인과 문항범주의 관계는 명목적으로 설정하여 범주별 효과를 자유롭게 추정한다. 이에 따라 표준적인 CFA 방법요인 모형으로 표현하기 어려운 ERS의 U자형 비단조 효과를 모형화할 수 있다. 또한 긍정 및 부정 방향의 균형 문항이 확보된 경우에는 ARS를 동의 방향으로 작용하는 별도의 순서형 스타일 요인으로 추가하여 ERS와 함께 추정할 수 있다. Kieruj 와 Moors(2013)는 이러한 동시 모형을 제시하였으나, 그들의 자료에서는 ERS에 대한 증거는 강한 반면 ARS에 대한 증거는 약했다. LCFA는 별도의 응답 스타일 지표 없이도 서로 다른 내용영역의 기존 문항반응 패턴을 이용할 수 있고, 이문화 자료에서는 내용 요인과 응답 스타일 요인에 대한 집단 차이를 동시에 추정할 수 있다는 장점이 있다(Morren et al., 2011). 이 접근법은 원칙적으로 MRS나 DARS를 비롯한 다른 범주선호 패턴 및 복수의 스타일 요인으로도 확장할 수 있지만, 여러 스타일을 동시에 구분하려면 각 스타일에 대응하는 범주별 효과에 이론적 제약을 부과하고 적절한 문항구조를 확보해야 한다. 또한 잠재요인의 수준 수, 요인적재의 영 제약과 동일성 제약, 모형 식별 방식을 결정해야 하며 잠재 수준이나 스타일 요인의 수가 증가할수록 계산량과 해석의 복잡성이 커진다.

IRT 기반 응답 스타일 모델링은 응답 스타일을 문항 반응을 산출하는 잠재 과정의 일부로 다룬다. 최근의 논의를 종합하면, 이러한 접근은 크게 다차원 IRT 모형, 혼합 IRT 모형, IRTree 모형으로 구분할 수 있다(Bolt & Meng, 2025). 첫째, 다차원 IRT 모형은 관심 특성과 응답 스타일을 서로 다른 잠재 차원으로 설정하고, 하나의 문항 반응이 두 차원의 영향을 동시에 받는다고 가정한다. 이러한 흐름의 출발점 중 하나로 De Jong 등(2008)은 ERS를 관찰된 극단응답 패턴의 배후에 있는 연속적이고 안정적인 개인 특성으로 간주하는 이분 IRT 모형을 개발하여, 각 문항이 ERS를 어느 정도 반영하는지를 다르게 설정할 수 있도록 하였다. 다만 이 접근에서는 원래의 다범주 문항을 극단/비극단의 이분 지표로 변환하므로, 비극단 범주들 사이의 차이, 관심 특성과 응답 스타일의 동시 작용을 충분히 활용하지 못한다는 한계가 있었다. 이러한 한계를 보완하는 방향에서 Bolt와 Newton(2011)은 각 문항 반응이 관심 특성 요인과 ERS 요인에 동시에 관련되는 다차원 IRT(Multidimensional IRT) 접근으로 확장하였다. 이들은 하나의 문항 반응이 실제 특성 요인(substantive trait)과 응답 스타일(ERS) 요인의 영향을 동시에 받을 수 있도록 모델링하였다. 여기서 응답 스타일 요인은 CFA에서의 ‘방법 요인’과 유사하게 별도의 잠재 차원으로 정의되며, 다차원 IRT 모형 내에서 함께 추정된다¹¹⁾. Bolt 등(2014)은 이러한 접근을 확장하였는데, 그들은 응답 스타일을 측정할 때 기존의 특성 문항 대신 ‘앵커링 빈넷’이라는 보조 문항을 사용했다.¹²⁾ 이 접근의 장점은 빈넷을 활용하면 거의 모든 유형의 응답 스타일을 모델링할 수 있고, 응답 스타일 요인을 특성 요인과 완전히 분리할 수 있다는 점이다. 결과적으로 이 방법은 기존의 ERS 측정 방식이 갖는 한계(예, ERS가 높은 응답자와 실제 점수가 높은 응답자의 구분이 어렵다는 문제)를 해결하며, 실제 특성 요인과 응답 스타일을 하나의 통합된 다차원 모형에서 동시에 추정할 수 있는 강점이 있다.

둘째, 혼합 IRT 모형 또는 혼합 라쉬 모형은 응답자가 동일한 반응 과정을 따른다고 가정하기보다, 서로 다른 응답 전략이나 응답 스타일을 보이는 잠재 계층이 존재한다고 가정한다. 이 접근은 ERS 집단과 비ERS 집단처럼 질적으로 다른 응답자 하위집단을 식별할 수 있으며, 각 계층 내에서 별도의 문항 및 특성 모수를 추정할 수 있다(Rost et al., 1997; Austin et al., 2006). 그러나 응답 스타일을 연속적인 강도 차이로 다루기보다 범주형 이질성으로 다룬다는 점에서, 동일 계층 안의 응답자들이 보이는 응답 스타일 강도의 차이를 충분히 반영하지 못할 수 있다.

셋째, IRTree 모형은 다분 평정 반응을 하나의 단일 판단으로 보지 않고, 여러 하위 의사결정의 연쇄로 분해한다. 예를 들어 응답자는 먼저 긍정 방향과 부정 방향 중 하나를 선택하고, 이후 극단 범주를 선택할지 또는 중간 범주를 선택할지를 결정한다고 볼 수 있다. Böckenholt(2012)는 ERS나 ARS가 단순 편향이 아니라 행동적 의사결정 전략임을 수학적으로 설명하고자 하였다. 그가 제시한 방법은 리커트 응답을 하나의 단일 판단으로 보지 않고, ‘중간점을 넘는가?’, ‘긍정 방향을 선택하는가?’, ‘극단을 선택하는가?’와 같은 여러 하위 의사결정의 연쇄로 분해한다. 그리고 각 하위 결정은 특성 또는 응답 스타일의 영향을 받을 수 있는데, 이를 가짜-결과(pseudo-outcomes)라는 이진 변수들로 표현해 모형에서 각각을 구분한다. 이 방식은 단일 응답 안에 섞여 있던 ‘내용 판단’과 ‘응답 습관(스타일)’을 분리해낼 수 있어, ARS, DARS뿐 아니라 ERS, MRS까지 더욱 정밀하게 탐지할 수 있다는 장점이 있다. 이러한 tree 구조를 사용하면 내용 판단과 응답 스타일 판단을 서로 다른 노드로 분리할 수 있으므로, ARS, DARS, ERS, MRS를 응답 과정 수준에서 동시에 다룰 수 있다(Böckenholt, 2012; De Boeck & Partchev, 2012; Böckenholt & Meiser, 2017). 다만 IRTree는 어떤 tree 구조가 이론적으로 적절한지에 대한 사전 가정이 필요하고, 원래의 다분 반응을 여러 이분 과정으로 재표현하는 과정에서 해석이 복잡해질 수 있다.

지금까지 살펴보았듯이, 응답 스타일을 평가, 탐지하기 위해 다양한 방법들이 제안되었으며, 이들 방법은 응답 스타일을 범주형 변수로 볼지 연속형 변수로 볼지에 대한 기본 가정, 외현 변수와 잠재 변수를 사용하는 접근, 응답 스타일을 모델링하기 위해 별도의 항목을 사용할지 여부, 그리고 특성 변량과 응답 스타일 변량을 분리하는 방법 등에 따라 차이가 있다. 그러나 이러한 다양한 방법이 응답 스타일을 탐지하는 능력을 포괄적으로 비교한 연구나 방법 간의 수렴 타당도를 조사한 연구는 아직 많이 이루어지지 않았다. 앞으로 이 이슈에 대한 더 많은 연구가 필요하다.

응답 스타일의 조정

조사나 검사 자료에서의 변량은 관심 특성의 개인차를 반영하는 참 변량과 무선 오차 변량으로 구성된다. 그러나 응답 편향이 자료에 존재하면 그것은 체계적 변량인 것이며, 적절히 모델링되지 않으면 참 변량으로 가려지게 된다. 앞서 언급했듯이, 응답 편향은 변인 간의 허위(spurious) 관계를 만들어내거나, 관계를 과대 추정함으로써 통계분석의 결과에 영향을 미친다. 응답 스타일의 영향에 대해 특성 점수를 조정하는 다양한 사후 방법이 제안되었다. 이들 중 일부는 이미 응답 스타일의 탐지 부분에서 소개하였으며, 응답 스타일의 탐지와 조정은 함께 이루어진다. 따라서 본 절에서 말하는 조정은 탐지와 완전히 분리된 별도 절차만을 의미하지 않는다.

선형 회귀 기반 조정법은 Webster(1958)가 처음 제안한 절차로, 먼저 응답자가 특정 응답 스타일을 얼마나 보이는지를 나타내는 빈도 지표를 산출하는 것에서 출발한다. 이후 관찰된 특성 점수를 응답 스타일 지표에 회귀시키고, 이 회귀에서 얻은 기대값과 실제값의 차이(회귀 잔차)를 특성 점수의 ‘조정된’ 형태로 사용한다. 이 잔차는 응답 스타일에 의해 설명되는 변량이 제거된 값으로 간주된다. 이 방법은 하나의 응답 스타일 지표뿐 아니라 여러 지표를 동시에 포함하는 다중 회귀 형태로 확장될 수 있으며, 이때 특성 문항과 중복되지 않는 이질적 문항을 사용해 응답 스타일 지표를 구성한다(Baumgartner & Steenkamp, 2001; Weijters et al., 2008). 이 방법의 장점은 구조방정식 모형이나 요인점수 같은 모형 기반 추정치를 요구하지 않고, 단순 합산 점수(raw sum scores)만으로도 구현할 수 있어 적용이 매우 간단하다는 데 있다. 반면, 이 방법은 특성과 응답 스타일 간의 관계가 선형적이라고 가정하는데, 실제 자료에서는 이 가정이 성립되지 않는 경우도 있어 이는 중요한 한계로 지적된다.

응답자가 보이는 ERS나 MRS의 정도를 하나의 지표(index)로 구성하여 분석 과정에서 통제하는 방식도 있다. 대표적 예로 Johnson 등(2005)이 제안한 ERS 총점 지표가 있다. 각 문항에서 극단값을 선택하면 1로, 그렇지 않으면 0으로 코딩한 뒤 이를 합산하면 개인의 ERS 성향을 나타내는 간단한 지표가 된다. 이 지표는 회귀분석 등에서 통제 변인으로 포함되어 ERS에 의한 편향을 부분적으로 조정할 수 있다. 다만 이 방법의 타당도는 지표를 구성하는 문항들이 내용에서 충분히 이질적일 때 가장 높다. 문항 내용이 서로 지나치게 유사하면, 어떤 사람의 극단적 응답이 실제 태도 때문인지, 아니면 응답 스타일 때문인지 구분하기 어려워지기 때문이다. MRS에도 비슷한 방법을 적용할 수 있는데, 서로 관련 없는 내용의 문항들을 제시해 응답자가 주제와 상관없이 늘 중간 범주를 선택하는지 확인하는 방식도 가능하다. 그러나 이러한 문항을 설문에 추가하면 문항 수가 늘어나고, 응답자에게 부자연스럽거나 부담스럽게 느껴질 수 있다는 한계가 있다.

앞서 탐지 절에서 살펴본 IRT 기반 접근은 응답 스타일의 탐지뿐 아니라 특성 점수의 조정에도 활용된다. 혼합 라쉬 모형(mixed Rasch models)은 응답 행동에서 체계적으로 다른 패턴을 보이는 하위집단을 식별하는 데 활용될 수 있다. 이 모형에서는 참가자들이 서로 다른 잠재 계층(latent classes)에 속한다고 가정하며, 각 계층 내에서 별도의 특성 추정치를 산출한다. Rost 등(1997)은 이러한 절차가 응답 스타일로 인한 체계적 영향을 분리하고 조정하는 효과가 있다고 보았다. 혼합 라쉬 접근의 중요한 특징은 최종적으로 산출된 특성 추정치들이 동일한 척도상에서 표현되기 때문에 하위집단 간 비교가 가능하다는 점이다. 또한 이 방법은 특성 문항만을 기반으로 모형을 구성하므로, 응답 스타일을 측정하기 위한 추가 문항이 필요하지 않다는 장점이 있다. 그러나 이 방법의 한계는 ERS 집단과 비ERS 집단처럼 ‘질적’ 차이를 보이는 집단들을 구분할 수는 있지만, 응답 스타일 강도의 ‘양적’ 차이를 추정하는 데에는 적합하지 않다는 점이다.

ARS를 설명하기 위해 특성 요인에 방법 요인을 추가하는 전통적 모형에서는 긍정 및 부정 문항 모두가 동일한 방향으로 방법 요인을 반영한다고 가정한다(Maydeu-Olivares & Coffman, 2006). 그러나 이것은 ARS에만 적용이 가능하고, 문항 방향성이 균형 잡힌 척도가 필요하다는 제약이 있다. 이 한계를 보완하기 위해 다차원 문항 반응 모형(Multidimensional IRT)은 특성 요인과 더불어 ERS와 같은 응답 스타일을 별도의 차원으로 모델링한다. 이 경우 개인의 특성 수준은 ‘특성 차원’과 ‘응답 스타일 차원’의 정보를 동시에 고려하여 추정되며, 따라서 특성 점수는 ERS로부터 부분적으로 조정된 것으로 간주된다(Bolt & Johnson, 2009). 여러 특성 영역에 걸친 문항들을 ERS 차원을 추정하는 데 함께 사용하면, 특성에 기인된 변량과 ERS에 기인된 변량을 더 잘 분리할 수 있다는 점도 제시되었다(Bolt & Newton, 2011). 이러한 접근은 주로 ERS를 다루는 데 활용되었지만, ARS나 MRS 등 다른 응답 스타일에도 쉽게 확장될 뿐 아니라, 복수의 응답 스타일을 동시에 모델링하는 데에도 적용 가능하다(Wetzel & Carstensen, 2017). 이 방법의 주요 장점은 동일한 문항 집합으로 서로 다른 차원(특성과 응답 스타일)을 동시에 모델링할 수 있다는 점이다. 그러나 이 점은 단점이기도 하다. 특히 특성 차원이 하나나 두 개에 불과할 때, 특성 요인과 응답 스타일 요인 간 종속성이 높아져 ‘높은 특성 수준을 가진 사람’과 ‘높은 ERS를 보이는 사람’을 구분하기 어려워질 수 있다. 또 다른 한계는, 이 접근으로 추정된 응답 스타일이 척도 전반에 일반화되지 않고 특정 설문 척도(scale-specific)에만 적용된다는 점이다. 탐지 방법에서 이미 보았듯이, 이러한 문제를 해결하기 위한 대안으로 Bolt 등(2014)은 특성 요인을 추정할 때는 평정 척도 자료를 사용하고, 응답 스타일 요인을 추정할 때는 앵커링 빈넷(anchoring vignettes) 자료를 사용하는 모형을 제안하였다. 이 방식은 척도 특유성 문제를 완화할 잠재력이 있다.

마지막으로, 탐지 방법에서 언급되었듯이, Böckenholt(2012)는 응답 행동을 특성과 관련된 하위 과정과 응답 스타일과 관련된 하위 과정으로 분리하여 모델링할 수 있다는 아이디어에 근거해, 문항반응이론(IRT)을 응용한 접근을 제안하였다. 이 접근에서는 응답자가 다분 평정 척도(예: 1~5점, 1~7점)에 표시한 하나의 최초 응답을, 두 종류의 이분 문항으로 재코딩한다. 하나는 ‘응답자가 해당 특성 수준에 상응하는 방향으로 문항에 동의(비동의)했는가’와 같이 관심 특성과 직접 관련된 하위 과정을 나타내는 유사 문항(pseudo-item)이고, 다른 하나는 ‘극단 범주를 선택했는가(ERS)’ 또는 ‘중간 범주를 선택했는가(MRS)’와 같이 응답 스타일(ERS, MRS 등)과 관련된 하위 과정을 반영하는 유사 문항이다. 이렇게 하면, 원래의 다분 평정 반응 하나가 ‘특성 관련 이분 문항’과 ‘응답 스타일 관련 이분 문항’ 두 갈래로 나뉘어, 각각을 별도의 잠재 요인으로 IRT 모형에 투입할 수 있게 된다. Khorramdel과 von Davier(2014)는 이러한 IRT 기반 다과정 모형을 성격 5요인 설문 자료에 적용하였다. 구체적으로, 응답 과정 중 특성 요소와 연관된 유사 문항들에 대한 반응만을 사용해 잠재 특성 요인을 추정한 결과, 이 요인이 응답 스타일(ERS, MRS 등)의 영향으로부터 상당 부분 분리되어 추정될 수 있음을 보였다. 즉, 동일한 응답 자료로부터 특성 차원과 응답 스타일 차원을 분리 추정함으로써, 응답 스타일의 교란을 통제한 특성 측정이 가능함을 경험적으로 보여준 셈이다. 그러나 이 접근에는 뚜렷한 한계도 있다. 다분 평정 척도에서 얻어지는 원래 정보는 범주 간 ‘정도의 차이(예: 약간 동의–대체로 동의–전적으로 동의)’를 반영하는 서열 및 강도 정보를 포함하지만, 이를 이분 문항(예: 동의 대 비동의, 극단 대 비극단, 중간 대 비중간)으로 재코딩하는 과정에서 이 미세한 정보가 본질적으로 동의/비동의 수준의 구분으로 축소된다. 그 결과, 특성에 대한 세밀한 변별력이 줄어들 수 있고, 척도의 정보량 및 신뢰도에도 손실이 발생할 수 있다는 점이 이 방법의 주요 단점으로 지적된다(Bolt & Meng, 2025).

응답 스타일을 조정한 또는 응답 스타일의 효과를 통제한 특성 추정치를 얻기 위한 다양한 방법이 제안되었지만, 실제로 각 방법이 응답 스타일 변량을 얼마나 효과적으로 제거하는지에 대한 체계적 비교 연구는 거의 이루어지지 않았다. Wetzel 등(2016)은 이러한 공백을 메우기 위해 여러 방법을 비교한 결과, 다차원 IRT 접근이 혼합 라쉬 모형보다 응답 스타일로부터 조정된 특성 추정치를 산출하는 데 더 적합하다고 보고했다. 흥미로운 점은, 이 연구에서 ERS가 존재하는 자료를 단일 차원 IRT 모형으로 분석했을 때(즉 응답 스타일을 전혀 모델링하지 않았을 때조차), 잠재 특성 수준의 회복이 극단적으로 나빠지지는 않았다는 사실이다. 이는 ERS가 존재하더라도 단일 차원 모형이 완전히 실패하지는 않을 수 있음을 시사한다. 최근의 IRT 기반 연구(Bolt & Meng, 2025)는 동일한 자료라도 모형이 응답 스타일을 연속 잠재차원으로 보는지, 잠재 계층으로 보는지, 또는 tree 구조의 하위 결정 과정으로 보는지에 따라 특성 점수와 표준오차가 달라질 수 있음을 보였다. 따라서 응답 스타일 조정은 모든 연구에서 기계적으로 적용해야 하는 절차라기보다, 자료 구조와 연구 목적에 맞게 선택해야 하는 분석 전략으로 간주하는 것이 적절할 것이다. 실제 연구에서는 원자료 분석과 응답 스타일 조정 분석을 함께 제시하면서, 주요 결론이 조정 방법에 얼마나 민감한지 보고하는 방식이 현실적이라 할 것이다.

응답 스타일 효과를 가장 효과적으로 조정하여 신뢰할 수 있는 특성 추정치를 얻는 최적의 방법에 대해서는 여전히 명확한 결론이 없으며, 이 분야에서는 추가적 비교 연구와 검증이 필요하다. 무엇보다 응답 스타일 효과를 효과적으로 조정하여 특성 추정치를 얻는 방법에 대해서는 더 많은 연구가 필요하다.

응답 스타일의 예방

사전에 응답 스타일을 예방하는 방법도 여러 가지 제안되었다(Stantcheva, 2023). 첫째, ARS를 줄이기 위해 질문이나 문항을 모호하게 구성하지 않는다. 모호하거나 복잡한 문항에 직면하면 응답자는 의미를 해석하려 애쓰기보다, 부담을 피하기 위해 단순히 ‘동의한다’라고 응답하는 경향이 있다. 따라서 간결하고 명확한 문항 작성이 기본적인 예방책이다.

둘째, ‘동의–비동의’ 형식의 질문 자체를 피한다(Krosnick, 1999). ‘동의–비동의’, ‘참–거짓’, ‘예–아니오’ 형식의 응답을 요구하는 질문은 ARS를 직접적으로 유발할 수 있다. 대신 문항 내용에 맞춘 구체적이며 좀 더 의미 기반의 응답 범주를 제시하는 것이 바람직하다. 예를 들어, “나는 건강이 좋다”라는 문항에 대해 ‘완전히 비동의-어느 정도 비동의-중간-어느 정도 동의-완전히 동의’의 응답 범주를 제시하기보다는 ‘당신은 자신의 건강을 어떻게 평가하는가?’라는 질문으로 바꾸고 ‘매우 나쁨-나쁨-중간-좋음-매우 좋음’의 선택지를 주는 것이다.

셋째, 양극 구조의 문항에서는 모든 가능한 관점을 반영한 응답 범주를 제공한다. 즉, 예–아니오(또는 진–위) 형식 대신, 응답자가 실제 의견 스펙트럼을 표현할 수 있는 선택지를 제시한다. 예를 들어, “학자금 대출은 모든 사람에게 탕감되어야 한다고 생각하나요?”에 대해 ‘예-아니오’를 제시하기보다 ‘학자금 대출은 모든 사람에게 탕감되어야 하는가, 아니면 그렇지 않아야 하는가?’와 함께 ‘탕감되어야 한다-탕감되지 않아야 한다’처럼 질문 내용을 직접 반영한 선택지를 제공하는 것이 더 낫다.

넷째, 긍정 표현 문항과 부정 표현 문항을 함께 사용하면, ARS를 어느 정도 줄일 수 있다. 예를 들어, ‘나는 일할 때 집중력이 높다’의 긍정 표현과 ‘나는 일할 때 집중력을 유지하기 어렵다’의 부정 표현의 경우 방향은 다르지만, 같은 특성(집중력)을 묻고 있다. 문항을 이렇게 절반은 긍정 방향, 절반은 부정 방향으로 섞어 놓으면 정상적인 응답은 긍정 문항과 부정 문항에서 반대 방향의 응답을 할 것이지만, ARS가 강한 사람은 두 문항에 모두 동의할 가능성이 있다. 이런 패턴을 보면 ARS 영향력을 파악하거나 부분적으로 상쇄할 수 있다. 긍정 표현 문항과 부정 표현 문항을 신중하게 함께 사용하면, ARS를 탐지하거나 통계 모형에서 분리하는 데 도움이 될 수 있다. 예를 들어, 동일한 구성개념을 긍정 방향과 부정 방향에서 모두 묻는 문항이 포함되어 있으면, 문항 내용과 관계없이 모든 문항에 동의하는 응답 패턴을 확인할 수 있고, CFA 방법 요인 모형에서는 내용 요인과 묵인 응답 요인을 구분하는 데 필요한 구조적 정보를 제공할 수 있다. 그러나 이것은 기계적으로 역문항을 추가하는 것이 항상 바람직하다는 뜻은 아니다. 긍정 표현 문항과 부정 표현 문항을 함께 사용하는 방법은 긍정 및 부정 문항이 모두 묵인(acquiescence)에 비슷한 정도로 민감할 때 효과적이다. 왜냐하면, 어떤 문항은 그 자체로 더 동의하기 쉬운 문항(예: 사회적 바람직성이 높은 문항)일 수 있고, 다른 문항은 원래 ‘동의하기 어려운’ 문항일 수 있다. 만약 긍정 문항과 부정 문항 중 한쪽만 ARS의 영향을 더 많이 받는 문항들이라면, 긍·부정 균형을 맞췄더라도 ARS를 정확히 감지하거나 상쇄하기 어렵다. 역문항은 부정문 처리부담, 긍정문과 부정문의 의미 비대칭성, 문항 극단성, 번역 등가성 문제로 인해 신뢰도를 낮추거나 정방향 문항과 별도 요인으로 적재될 수 있다. 따라서 긍정/부정 문항의 병행은 ARS를 줄이는 단순 처방이 아니라, 응답 스타일을 탐지하고 모형에서 식별하기 위한 설계 전략으로 이해해야 한다. 이 전략을 사용할 때는 예비조사, 인지 면접, 요인구조 점검, 문항 기능 검토를 통해 긍정 문항과 부정 문항이 실제로 같은 구성개념의 반대 방향을 측정하는지 확인하는 것이 필요하다.

다섯째, 집단 수준의 ARS를 추정하려면 응답자들에게 두 문항 버전을 무작위로 배정함으로써 집단(국가, 연령 집단 등) 단위의 ARS 경향을 추정할 수 있다. 예를 들어, ‘정부는 세금을 더 낮춰야 한다’와 반대 표현인 ‘정부는 세금을 더 낮출 필요가 없다’의 두 문항을 각각 다른 사람들에게 무작위로 제시하는 것이다. 만약 한 집단에 ARS가 강하게 존재한다면 긍정적 버전을 받은 사람과 부정적 버전을 받은 사람 모두 ‘동의’하는 식의 패턴이 나타날 것이다. 즉, 문항의 실제 내용과 상관없이 그냥 동의 버튼을 누르는 경향이 발견되면 그 집단의 ARS 수준을 추정할 수 있다.

여섯째, 온라인상의 ESM이나 EMA 연구에서, ERS를 줄이기 위한 한 가지 방법은 응답자가 0~100%처럼 연속적인 선(line) 위에서 자신의 상태를 표시하는 방식인 연속 슬라이더(continuous slider)나 시각 아날로그 척도(visual analog scale)를 사용하는 것이다.

이러한 설계 기반의 예방 방법은 조사 문항을 처음 설계하는 단계에서부터 응답 스타일이 나타날 가능성을 줄이는 것이다. 이 접근은 응답자가 의미를 깊이 처리하지 않고 기계적으로 응답하는 만족화(satisficing)를 최소화하는 데 초점을 둔다. 이를 위해 문항과 응답 범주는 맥락적으로 명확해야 하고, 서로 분명히 구분되는 선택지를 제공해야 한다. 예를 들어, 3점 척도처럼 응답 범주가 너무 적으면 응답을 극단값 또는 중간값으로 몰아가 ERS나 MRS처럼 보이게 된다. 또한 MRS를 줄이기 위해 중간 범주를 삭제하는 것은 적절한 해결책이 아니다. 실제로 응답자가 중간적 태도를 가질 가능성이 있기 때문이다. 그보다는 5점 척도에서 7점이나 9점 척도로 선택지 수를 늘려 응답자가 어쩔 수 없이 중간값을 선택하는 상황을 줄이는 것이 더 바람직하다.

비교 문화 연구에서의 응답 스타일

국가 간 태도나 가치를 비교하는 연구는 대개 리커트 척도 문항에 대한 응답을 국가 단위 평균으로 비교하는 방식을 사용한다. 그러나 사람들의 응답은 문항의 실제 내용뿐 아니라 응답 스타일의 영향을 받기 때문에, 국가 비교 연구는 관심 현상의 국가 간 실제 차이를 포착하기보다, 설문 응답 방식의 차이를 반영하는 것일 수 있다. 따라서 비교 문화 맥락에서 응답 스타일은 동일한 심리적 구조를 가진 응답자 집단이 응답 방식의 차이로 서로 다른 결과를 산출할 수 있다는 점에서 중요한 위협 요소이다. 예를 들어, Stening과 Everett (1984)는 9개 국가의 주재원 및 현지 관리자를 대상으로 한 조사에서 국가에 따라 ERS와 MRS에서 두드러진 차이가 있으며, 이것이 편포된 자료에 이르게 한다는 것을 보여주었다.

응답 스타일의 발생 기제는 크게 세 가지 층위에서 이해할 수 있다(Kemmelmeier, 2016). 첫째는 인지적 기제이다. 설문 응답은 문항을 읽고, 그 의미를 해석하며, 관련 정보를 기억에서 인출하고, 판단을 형성한 뒤, 이를 적절한 응답 범주에 대응시키는 과정을 요구한다. 이 과정에서 응답자가 충분한 인지적 자원이나 동기를 투입하지 못할 경우, 최적의 응답을 산출하기보다 충분히 그럴듯한 응답을 선택하는 만족화(satisficing) 전략을 사용할 수 있다. 이 경우 응답자는 문항의 세부 의미를 깊이 처리하기보다 동의하기 쉬운 방향을 선택하거나, 중간 범주를 반복적으로 사용하거나, 익숙한 응답 범주를 기계적으로 선택할 수 있다.

둘째는 의사소통 기제이다. 설문 응답은 단순한 개인 내 판단의 결과가 아니라, 연구자나 질문자에게 자신의 의견을 전달하는 의사소통 행위이기도 하다. 따라서 문화적으로 선호되는 의견 표출 방식은 응답 스타일에 영향을 미칠 수 있다. 예를 들어 어떤 문화에서는 자기 입장을 분명하고 강하게 표현하는 것이 솔직함이나 확신의 표시로 받아들여질 수 있지만, 다른 문화에서는 극단적 표현을 피하고 완곡하게 말하는 것이 신중함이나 예의로 여겨질 수 있다. 이러한 차이는 ERS나 MRS의 차이로 나타날 수 있다. 마찬가지로 ‘항상’, ‘전혀’, ‘절대’와 같은 절대적 표현을 사용하는 데 대한 문화적 편안함이나 거부감도 응답 범주 선택에 영향을 줄 수 있다. 이런 점에서 응답 스타일은 단순한 척도 사용 습관이 아니라, 문화적으로 학습된 표현 방식의 일부로 이해될 수 있다. 또한 문항의 의미가 모호하거나, ‘자주’, ‘가끔’, ‘거의 없다’와 같은 언어적 빈도 표현이 문화권마다 다르게 해석될 경우, 동일한 경험이나 태도도 서로 다른 응답 범주로 표현될 수 있다.

셋째는 규범과 가치의 기제이다. 응답 스타일은 개인이 속한 사회의 관계 규범, 권위 구조, 자기표현 규범, 그리고 바람직한 사람됨에 대한 문화적 기대와도 관련될 수 있다. 예를 들어 조화, 체면, 겸손을 중시하는 문화에서는 자신의 의견을 강하게 드러내기보다 중간적이거나 완화된 응답을 선택하는 경향이 나타날 수 있다. 반대로 자기표현, 확신, 경쟁성, 명확한 입장 표명을 중시하는 문화에서는 극단 범주를 사용하는 것이 더 자연스럽게 받아들여질 수 있다. 또한 권위에 대한 순응이나 사회적 기대에 민감한 문화적 맥락에서는 묵인 응답(ARS)이 강화될 수 있으며, 사회적으로 승인되는 방향의 응답을 선택하려는 경향도 함께 나타날 수 있다. 규범이 강하고 일탈에 대한 허용도가 낮은 문화적 경직성(tightness)이 높은 사회에서도 응답자는 자신의 실제 판단을 그대로 표현하기보다, 사회적으로 적절하다고 여겨지는 응답 범주를 더 신중하게 선택할 가능성이 있다.

이처럼 응답 스타일은 단일한 원인으로 설명되기 어렵다. 인지적 층위에서는 문항 처리 부담과 만족화 전략이, 의사소통 층위에서는 의견과 감정을 표현하는 문화적 방식이, 규범과 가치 층위에서는 조화, 체면, 권위, 자기표현, 규범의 강도와 같은 문화적 가치가 응답 과정에 개입한다. 응답 스타일은 한편으로 측정의 타당도를 위협하는 방법 효과이지만, 다른 한편으로는 특정 문화권에서 의견을 표현하고 사회적 관계를 조율하는 방식이 설문 응답에 반영된 결과로도 이해될 수 있다.

한편, 응답 스타일이나 사회적 바람직성 응답(SDR)과 같은 응답 편향은 주로 모호한 태도, 가치, 자기평가 문항에서 자주 발생한다. 왜냐하면 이러한 문항들은 응답자가 문항 의미나 응답 범주를 주관적으로 해석할 여지가 크기에 언어적 표현 방식이나 문화적 규범의 영향을 쉽게 받을 수 있기 때문이다. 그러나 He와 van de Vijver(2016)는 22개국 OECD 성인 기초역량 조사 자료를 분석하여, 응답 스타일이 태도 문항에만 국한되지 않음을 보여주었다. 이들은 응답자가 제공한 사실 보고형 문항, 인지검사 자료, 면접자 관찰 자료를 활용하여 ERS, MRS, ARS를 분석하였다. 그 결과, 행동 빈도나 경험 여부처럼 비교적 명확한 응답 기준을 가진 사실 문항(factual items)에서도 응답 스타일이 나타났으며, 이러한 응답 스타일은 기존의 태도 및 자기평가 문항에서 발견된 것과 유사한 국가 간 패턴을 보였다.

나가는 말

본 고에서는 자기 보고식 사회조사와 심리측정에서 나타나는 응답 스타일을 중심으로, 주요 유형과 발생 원인, 측정 결과에 미치는 영향, 탐지와 조정 방법, 예방 전략, 그리고 비교문화 연구에서의 문제를 살펴보았다. 묵인 응답 스타일(ARS), 비묵인 응답 스타일(DARS), 극단 응답 스타일(ERS), 중간 응답 스타일(MRS)은 문항의 실제 내용과 관계없이 특정한 응답 범주를 반복적으로 선택하는 경향이다. 이러한 응답 스타일은 단순한 무선 오차가 아니다. 관찰된 점수의 평균과 변량을 바꾸고, 변인 간 상관과 회귀계수, 요인구조 및 집단 간 차이를 왜곡할 수 있는 체계적 측정오차이다(Baumgartner & Steenkamp, 2001; Wetzel, Böhnke, & Brown, 2016).

응답 스타일의 영향은 반복측정 자료에서 더욱 주의 깊게 살펴볼 필요가 있다. 경험표집법(ESM)이나 생태학적 순간 평가(EMA)에서는 같은 응답자에게 여러 차례 자기 보고를 요구한다. 이 경우 개인이 평정 척도를 사용하는 습관이 반복적으로 자료에 반영될 수 있다. 예를 들어 ERS가 높은 응답자는 실제 정서 변화가 크지 않더라도 극단 범주를 자주 사용하기 때문에 정서 점수의 변동성이 크게 나타날 수 있다. 따라서 반복측정 자료에서 높은 변동성이 관찰되었다고 해서 이를 곧바로 실제 심리 상태의 불안정성으로 해석해서는 안 된다(Henninger, Vanhasbroeck, & Tuerlinckx, 2025).

그러나 응답 스타일을 언제나 제거해야 할 잡음으로만 보는 것도 적절하지 않다. 본문에서 살펴보았듯이 응답 스타일은 응답 범주의 수와 라벨, 자료 수집 방식, 문항의 난이도와 모호성, 주제에 대한 관심, 조사 언어와 같은 측정 상황의 영향을 받는다. 동시에 교육 수준, 인지 능력, 성격 및 자기조절 특성과 같은 응답자의 개인차와도 관련된다. 일부 응답 스타일은 여러 문항과 시점에 걸쳐 비교적 안정적으로 나타나지만, 실제로 어느 정도 나타나는지는 문항과 조사 상황에 따라 달라질 수 있다. 따라서 응답 스타일은 응답자에게 고정된 성향이나 설문 형식만으로 설명하기보다, 응답자의 특성과 측정 상황이 함께 작용하여 나타나는 응답 행동으로 이해하는 것이 적절하다.

비교문화 연구에서는 이러한 점이 더욱 중요하다. 응답 스타일은 국가 간 평균 차이나 변인 간 관계를 왜곡하는 측정오차가 될 수 있다. 그러나 동시에 특정 문화에서 의견과 감정을 표현하는 방식, 권위에 반응하는 방식, 조화와 체면을 중시하는 정도와 같은 문화적 의사소통 규범을 반영할 수도 있다. 어떤 문화에서는 자신의 의견을 강하게 표현하는 것이 자연스럽지만, 다른 문화에서는 중간적이고 완화된 표현이 더 적절하게 받아들여질 수 있다. 따라서 국가 간 응답 스타일의 차이를 단순한 개인 습관이나 측정오차로만 해석해서는 안 된다. 개인 수준의 특성뿐 아니라 조사 언어, 사회경제적 조건, 문화적 가치와 의사소통 규범을 함께 고려해야 한다.

응답 스타일을 탐지하기 위해서는 여러 방법이 제안되어 왔다. 가장 간단한 방법은 동의, 비동의, 극단 또는 중간 응답의 빈도를 계산하는 것이다. 이 밖에도 역문항과 균형 문항, MTMM 및 CFA 방법요인 모형, RIRS와 RIRMACS, 잠재계층 요인분석, 다차원 IRT, 혼합 IRT 및 IRTree 모형을 사용할 수 있다. 그러나 이들 방법은 각각 서로 다른 가정과 장단점을 갖는다. 빈도 지표는 계산하기 쉽지만 문항 내용과 응답 스타일을 분명하게 구분하기 어려울 수 있다. 역문항과 균형 문항은 ARS를 탐지하는 데 도움이 되지만, 부정문 처리의 어려움이나 문항 의미의 차이로 인해 별도의 방법효과가 나타날 수 있다. 잠재변인이나 IRT 기반 모형은 관심 특성과 응답 스타일을 함께 추정할 수 있지만, 충분한 문항과 표본이 필요하고 모형의 식별과 제약 방식에 따라 결과가 달라질 수 있다.

같은 자료를 사용하더라도 응답 스타일을 어떻게 정의하고 모형화하는가에 따라 결과가 달라질 수 있다. 예를 들어 응답 스타일을 연속적인 개인차로 볼 수도 있고, 서로 다른 응답 유형을 가진 잠재계층으로 볼 수도 있으며, 일련의 하위 의사결정 과정으로 볼 수도 있다. 이러한 선택에 따라 추정되는 특성 점수와 표준오차가 달라질 수 있다(Bolt & Meng, 2025). 따라서 하나의 방법을 모든 연구에 적용할 수 있는 최선의 방법으로 보기보다는, 연구 목적, 척도 구조, 문항 수, 표본 크기와 모형 가정을 고려하여 적절한 방법을 선택해야 한다.

응답 스타일에 대한 사후적 조정도 신중하게 사용해야 한다. 회귀 잔차화나 개인 내 표준화는 적용하기 쉽지만, 응답 스타일과 함께 실제로 존재하는 개인차나 집단 차이까지 제거할 수 있다. 잠재변인이나 IRT에 기초한 조정도 선택한 모형과 가정에 따라 결과가 달라질 수 있다. 따라서 조정된 점수를 곧바로 편향이 제거된 참점수로 간주해서는 안 된다. 실제 연구에서는 원자료를 사용한 결과와 조정된 자료를 사용한 결과를 함께 제시하고, 서로 다른 조정 방법을 적용했을 때 주요 결론이 얼마나 달라지는지를 확인하는 것이 바람직하다. 즉, 응답 스타일 조정은 모든 연구에서 반드시 적용해야 하는 기계적 절차라기보다 연구 결과의 강건성을 확인하기 위한 민감도 분석의 하나로 사용하는 것이 적절하다.

비교문화 연구에서는 측정 불변성 검증과 응답 스타일 조정을 함께 고려해야 한다. 측정 불변성이 확보되었다고 해서 응답 스타일의 영향이 자동적으로 사라지는 것은 아니다. 반대로 측정 불변성이 충족되지 않았다고 해서 그 원인을 모두 응답 스타일로 돌릴 수도 없다. 척도의 바닥효과와 천장효과, 번역과 문항 의미의 차이, 문화별 척도 사용 방식, 사회적 바람직성 응답, 실제 문화적 합의가 모두 측정 불변성 결과에 영향을 줄 수 있기 때문이다(Fischer et al., 2023; Welzel et al., 2023). 따라서 국가 간 비교에서는 측정 불변성, 응답 스타일, 문항 기능, 외부 변인과의 관계를 함께 검토할 필요가 있다.

응답 스타일에 대처하는 가장 현실적인 방법은 사후 조정에만 의존하지 않고 설문과 척도를 설계하는 단계에서 문제를 줄이는 것이다. 문항은 간결하고 명확하게 작성하고, 가능하면 일반적인 동의–비동의 형식보다 문항의 내용에 직접 맞는 응답 범주를 사용하는 것이 좋다. 응답 범주에는 분명한 언어적 라벨을 제공하고, 응답자가 자신의 판단을 충분히 표현할 수 있도록 적절한 수의 범주를 마련해야 한다. 중간 응답을 줄이기 위해 중간 범주를 무조건 삭제하는 것은 바람직하지 않다. 실제로 중간적인 태도를 가진 응답자의 답을 왜곡할 수 있기 때문이다.

긍정 문항과 부정 문항을 함께 사용하는 방법도 신중하게 적용해야 한다. 이 방법은 ARS를 자동으로 없애는 방법이라기보다, 내용 요인과 묵인 응답 요인을 구분하기 위한 정보를 제공하는 설계 방법이다. 그러나 부정 문항은 정방향 문항보다 이해하기 어려울 수 있고, 두 문항이 실제로 같은 구성개념의 반대 방향을 측정하지 않을 수도 있다. 따라서 역문항이나 반대 방향 문항을 사용할 때는 예비조사와 인지 면접을 통해 응답자가 문항을 어떻게 이해하는지 확인해야 한다. 또한 요인분석과 IRT 기반 문항 분석을 통해 문항과 응답 범주가 의도한 방식으로 기능하는지 점검할 필요가 있다.

최근에는 응답시간(response time: RT)을 이용하여 응답 스타일을 응답 과정 수준에서 이해하려는 연구도 증가하고 있다. Henninger와 Plieninger(2021)는 응답자가 자신이 평소 선호하는 응답 범주를 선택할 때 응답시간이 짧아지는 경향을 보여주었다. 이는 응답 스타일이 단순히 문항을 충분히 생각하지 않은 결과만은 아님을 시사한다. 특정 범주가 어떤 응답자에게 익숙하고 쉽게 선택할 수 있는 응답 전략이기 때문에 더 빠르게 선택될 수도 있다.

Lyu와 Bolt(2024)는 응답시간을 설명할 때 관심 특성과 응답 스타일을 함께 고려해야 한다고 보았다. 선택한 범주가 응답자의 특성 수준에서 볼 때 그럴듯할수록 응답시간이 짧았으며, 동시에 그 응답자가 평소 자주 사용하는 범주일수록 응답시간도 짧았다. 두 과정 중 하나만 고려하면 다른 과정의 효과가 잘못 추정될 수 있었다. Kim과 Bolt(2024)도 빠른 응답과 느린 응답에서 문항이 관심 특성과 응답 스타일을 반영하는 정도가 다를 수 있음을 보여주었다. 특히 빠른 응답에서는 응답 스타일과 관련된 변별력이 상대적으로 더 크게 나타났다. 따라서 응답시간은 부주의한 응답을 선별하기 위한 단순한 지표가 아니라, 관심 특성과 응답 스타일, 문항 처리 과정이 함께 반영된 과정 자료로 이해할 필요가 있다.

앞으로의 연구에서는 몇 가지 과제가 중요하다. 첫째, 서로 다른 탐지 방법이 실제로 같은 응답 스타일을 측정하는지 확인할 필요가 있다. 둘째, 응답 스타일을 연속적인 특성, 잠재계층 또는 하위 의사결정 과정으로 보는 여러 모형을 체계적으로 비교해야 한다. 셋째, 문항 반응과 응답시간을 함께 분석하여 실제 특성에 따른 응답과 응답 범주 사용 습관을 보다 정확하게 구분할 필요가 있다. 넷째, 반복측정 자료와 비교문화 자료에서는 개인 수준과 상황 및 국가 수준의 요인을 함께 고려하는 다층적 연구가 필요하다. 마지막으로 응답 스타일을 조정한 점수가 외부 행동, 실제 수행 및 의사결정의 예측을 실제로 향상시키는지 검증해야 한다.

궁극적으로 타당한 자기 보고식 측정은 응답 스타일을 통계적으로 제거한 하나의 점수를 얻는 것만으로 이루어지지 않는다. 응답자가 문항을 어떻게 읽고 이해하는지, 어떤 정보를 떠올리는지, 어떤 판단을 내리고 이를 응답 범주에 어떻게 연결하는지를 함께 이해해야 한다. 따라서 응답 스타일에 대한 대처는 명확한 문항과 응답 범주의 설계, 적절한 자료 수집, 응답 과정에 대한 측정, 이론에 근거한 통계 모형, 그리고 조정 전후 결과의 비교를 포함하는 통합적인 과정이어야 한다. 이러한 관점에서 응답 스타일은 단순히 제거해야 할 오차가 아니라, 자기 보고식 측정이 어떤 조건에서 타당하게 이루어지는지를 이해하기 위한 중요한 연구 대상이다.