바로가기메뉴

본문 바로가기 주메뉴 바로가기
 
 

logo

메뉴

질적 연구에서 인간 연구자와 LLM의 판단 패턴 비교: 사회정의 옹호 역량 분류 과제를 중심으로

Comparing Judgment Patterns Between Human Researchers and an LLM in Qualitative Research: Focusing on the Classification of Social Justice Advocacy Competencies

초록

본 연구는 상담 및 심리치료 분야의 질적연구에서 동일한 이론적 준거를 적용했을 때 인간 연구자와 생성형 대규모 언어모델(LLM)에서 나타나는 판단 패턴을 비교․분석하였다. 이를 위해 미국상담학회(ACA)의 사회정의 옹호 역량 모형을 이론적 준거로 설정하고, 대학상담사의 사회정의 옹호 상담 경험 인터뷰에서 도출된 32개 진술문을 GPT-SG 모델로 분류하였다. 이를 상담학 질적연구 전문가 3인의 합의 결과(reference standard)와 비교한 결과, 전체 일치율은 53.1%로 나타났으며 유형에 따라 일치와 불일치 양상이 확인되었다. 불일치 사례에서는 LLM이 개입 수준과 옹호 개념을 인간 연구자와 다르게 적용하거나, 다층적인 맥락 단서와 상담 전문직의 역할에 대한 이해를 충분히 반영하지 못하는 판단 패턴이 나타났다. 본 연구의 결과는 인간 연구자와 LLM의 판단 과정 비교를 통해 사회정의 옹호 개념에 포함된 해석적․맥락적 판단 요소를 가시화할 수 있음을 보여주며, 질적연구에서 AI가 연구자의 개념 적용 기준을 점검하고 분석적 성찰을 지원하는 도구로 활용될 가능성을 시사한다.

keywords
생성형 인공지능, 대규모 언어모델, 질적 자료 분석, 사회정의 옹호

Abstract

This study explored judgment patterns between human researchers and a large language model (LLM) when provided with identical theoretical criteria in qualitative counseling research. Using the American Counseling Association (ACA) Social Justice Advocacy Competencies, 32 statements from interviews with university counselors were classified using GPT-SG. The model’s classifications were compared with the consensus judgments of three qualitative research experts (reference standard). Overall agreement was 53.1%, with variation in agreement across categories. In mismatched cases, the LLM differed from human researchers in judging intervention levels and applying advocacy concepts, and showed limited consideration of multilayered contextual cues and professional counseling roles. These findings suggest that comparing human and LLM judgments can illuminate the interpretive and contextual nuances inherent in social justice advocacy, and that an LLM may serve as a reflective tool for qualitative researchers to examine conceptual criteria and facilitate analytical reflection.

keywords
Generative Artificial Intelligence, Large Language Model, Qualitative Data Analysis, Social Justice Advocacy
투고일Received
2026-03-16
수정일Revised
2026-05-06
게재확정일Accepted
2026-06-16
출판일Published
2026-08-31

logo