The Effect of Feedback-Enhanced Hybrid collaboration on Group Decision Making in Hidden Profile Situations

“백지장도 맞들면 낫다”라는 우리 속담은, “머리 둘이 하나 보다 낫다(Two heads are better than one)”라는 영어 표현과 그 의미가 일맥상통한다. 이러한 속담과 격언은 협력의 가치와 중요성을 강조하며, 협력이 선택이 아닌 현대 사회에서 필수적인 요소임을 일깨운다. 이와 일관되게 많은 연구에서는 특정 상황에서 진실을 찾는 최선의 방법으로 다수의 의견을 묻고 그 평균을 취하는 것을 주장한다(Armstrong, 2001; Lorge et al., 1958). 서로위키(Surowiecki, 2004)가 <대중의 지혜(The Wisdom of Crowds)>에서 강조하듯이, 집단의 평균적인 답이 객관적 사실에 부합할 때가 많다. 그렇지만 협력이 늘 긍정적인 결과를 가져오는 것은 아니다. 협력을 방해하는 여러 요인이 존재하기 때문이다. 따라서 협력의 부작용을 줄이면서도 좋은 성과로 이어지는 협력 방안이 필요하다.

본 연구에서는 집단 의사결정의 질을 높이기 위한 새로운 방안을 제시하고 그 효과를 검증하였다. 이 새로운 방안은, 하이브리드 협력을 발전시킨 것이다. 하이브리드 협력에서는 개인이 먼저 과제를 수행하게 한 다음, 협력하여 과제를 완성하게 한다. 이 방법을 사용하여 아이디어를 산출하게 하면, 처음부터 협력할 때보다, 더 우수한 성과를 보인다(Girotra et al., 2010). 본 연구에서는 하이브리드 협력에 피드백을 추가하여, 구성원들이 각자의 결정에 대해 서로 피드백을 교환한 뒤 토론을 진행하는 방안을 탐구하였다. 피드백 과정은 사고의 독립성을 유지하게 하여, 소수의견이 활발하게 교류될 것으로 예상하였다. 실험에 대한 상세한 설명에 앞서 본 연구에서 다루어지는 주요 개념과 최근의 연구 동향을 소개하면 다음과 같다.

집단 의사결정

오늘날 조직에서 중요한 의사결정은, 정보가 너무 많고 복잡해, 개인보다는 소규모 집단에서 이루어진다(Buckingham & Goodall, 2019). 집단이란 ‘둘 이상의 개인이 상호작용을 통해 서로에게 영향을 미칠 수 있는 집합(McGrath, 1984)’으로, 집단 의사결정은 집단 내 구성원들이 공동의 목표를 달성하기 위해 여러 가지 대안 중 하나를 선택하는 과정으로 정의된다(Stasser & Abele, 2019).

토론 과정에서 집단의 오류가 확대된다는 증거는 여러 실험 연구에서 찾아볼 수 있다. 구성원들은 자신이 가진 정보나 스스로의 판단보다 타인의 결정에 의존하고, 자신의 생각을 공유하지 않음으로써 집단에 해를 끼칠 수 있다(Lorenz et al., 2011; Hung & Plott, 2001; Anderson & Holt, 1997). 또한, 사람들은 개인일 때보다 집단에 속해 있을 때 그들의 판단을 과도하게 신뢰하는 경향이 있으며(Puncochar & Fox, 2004), 집단 내에서 초기에 형성된 잘못된 판단은 나중에 얻은 정확한 정보로도 쉽게 수정되지 않는다(Anderson & Holt, 1997).

토론을 통해 집단의 성과가 오히려 저하된다는 연구 결과들이 제시되면서, Stasser와 Titus (1985; 2003)는 집단의 정보 교환과 의사결정 과정에서 일어나는 편향을 알아보기 위해 숨겨진 속성(hidden profile) 과제를 개발하였다. 이 과제에서는 집단 구성원들이 공유되지 않은 독특한 정보를 공유할 때 정확한 의사결정을 도출할 수 있다. 그러나 대부분의 집단이 숨겨진 속성 과제를 사용하였을 때, 공유 정보만을 언급하여 최적의 결정을 내리지 못했다(Stasser, 1999; Stasser & Abele, 2019; Stasser & Titus, 1985; Greitemeyer & Schulz-Hardt, 2003). 또한, 충분한 정보 교환이 이루어지지 않고 특정 선택지를 지지하는 정보가 충분히 논의되지 않으면, 집단은 정확한 결정을 내리지 못했다(Schulz-Hardt & Mojzisch, 2012).

하이브리드 방식: 개별 수행이 결합된 방식

협력 효과를 높이기 위해, 집단 내 상호작용 방식을 조작하는 연구가 최근 활발히 이루어지고 있다(Kim & Park, 2023; Girotra et al., 2010; Korde & Paulus, 2017). Girotra 등(2010)은 각자 개별적으로 과제를 수행한 다음 모여서 남은 시간 동안 토론을 진행하는 방식을 하이브리드 방식이라 정의하였다. 이들은 이 방식을 전통적인 브레인스토밍 방식과 비교하는 실험을 통해, 하이브리드 방식에서 더 우수한 아이디어와 더 많은 아이디어가 산출된다는 결과를 보고하였다. Korde와 Paulus(2017)는 개별 수행과 집단 수행을 번갈아가며 실시하는 방식이 집단 수행만을 지속하는 방식보다 더 다양하고 독창적인 아이디어를 생성한다는 결과를 얻었다. Kim과 Park(2023)은 영어 단어 생성 과제를 사용하여, 하이브리드 협력 방식이 전통적 협력 방식보다 더 우수한 성과를 보인다는 것을 확인하였다.

하이브리드 방식에서 얻어진 이상의 긍정적인 연구 결과는, 토론 과정에서 발생할 수 있는 집단의 오류를 줄이는 방안으로 활용될 수 있다. 하이브리드 방식에서는 개별 수행 이후 토론이 이루어지기 때문에, 구성원들이 다른 사람들의 의견에 영향을 받지 않고 독립적인 판단을 내릴 수 있다. 이 가능성은 오래전에 Deutsch와 Gerard(1955)가 간접적으로 탐구한 바 있다. 이들은 참가자들에게 다른 사람들의 의견을 듣기에 앞서 각자 자신의 판단을 쓰도록 하였는데, (1) 참가자의 의견이 공개되지 않는 조건, (2) 참가자의 의견이 실험 진행자에게만 공개되는 조건, (3) 참가자의 의견을 스스로 지울 수 있는 매직 패드에 작성하는 조건을 비교하였다. 실험 결과, 참가자가 최초의 입장을 번복할 수 있는 조건인 일명 ‘매직 패드’ 조건에서 타인의 의견에 동조하는 현상이 가장 두드러졌다. 반면 다른 두 조건에서는 타인의 의견에 영향을 받지 않고 자신의 초기 의견을 고수하는 데 더 효과적이었다. 연구자들은 다수에 동의하려는 동기가 클 때 개인의 판단이 쉽게 달라지며, 구성원들 각자의 독립적인 판단을 표현하도록 장려하지 않으면 집단의 잠재력이 약화될 수 있음을 확인하였다(Deutsch & Gerard, 1955). 이 결과는 구성원들이 타인의 의견을 듣기 전에 개별적인 결정을 내리는 것만으로는 타인의 영향을 벗어나기 어려움을 시사한다.

글쓰기와 피드백: 동료 평가의 효과

Deutsch와 Gerard(1955)의 연구에서, 의견이 공개되는 조건과 공개되지 않는 조건 사이에 유의미한 차이는 발견되지 않았고, 초기 의견을 변경할 확률은 매직 패드를 사용할 때보다 약 3배 낮았다. 종이에 쓴 의견이 공개되었든 그렇지 않든, 매직 패드처럼 바꿀 수 있는 방법 대신, 영구적으로 자신의 의견을 작성한 참가자들은 다른 사람들의 의견을 듣고 나서도 자신의 초기 의견을 고수하였다. 이처럼 글쓰기는 단지 자신의 생각을 표현하는 것 이상의 활동이다. 많은 연구에서 글쓰기는 사고를 명확하게 하는 데 기여한다는 것이 확인되었다(Yore, et al., 2006; Galbraith, & Baaijen, 2018). 글을 쓰는 동안 능동적으로 주장을 구성하고 이를 뒷받침하는 증거를 제시하게 되면서 자신의 생각을 보다 분명히 할 수 있고, 정보 또한 통합적으로 이해할 수 있게 된다(Kelly & Takao, 2002; Sandoval & Millwood, 2005; Rivard & Straw, 2000).

글쓰기가 여러 교육 장면에서 활용되면서 피드백, 동료 피드백(peer feedback)과 동료 평가(peer review; peer assessment)에 대한 연구가 활발히 이루어지고 있다(Park, 2017; Sadler & Good, 2006). 동료 피드백은 학생들이 서로의 수행에 대해 의견을 교환하는 활동을, 동료 평가는 의견과는 별개로 점수나 등급 등 채점을 포함하는 활동을 가리킨다(Liu & Carless, 2006). 피드백은 교수자의 평가 부담을 줄이는 것뿐 아니라, 학생들에게 다양한 교육적 이점을 제공한다. 특히 피드백을 통해 학생들은 비판적 사고를 함양할 수 있다(Russell et al., 2017; Tsai & Chuang, 2013). 이와 같은 효과는 다른 연구에서도 반복적으로 확인되었다(Çiftçi & Koçoğlu, 2012; Joordens, et al., 2009; Xiao & Lucking, 2008).

피드백은 또한 활발한 토론을 촉진한다(Park, 2017). Park(2017)은 온라인 동료 평가 시스템을 예습을 위한 도구로 사용하는 방안을 제안하였다. 학생들은 강의 전에 학습 자료를 혼자 공부한 다음, 제시된 과제에 대해 글을 쓰고 질문을 올리며, 다른 학생들의 글에 피드백을 작성하고 평가하였다. 강의 시간에는 학생들이 제출한 질문에 대한 소집단 토론을 진행하였다. 그 결과 상당히 활발한 토론이 이루어졌다.

토론에서 비판과 소수의견의 중요성

토론은 둘 이상의 참가자가 자유롭게 의견을 나누며 합의에 이르거나 차이를 확인하는 활동을 가리킨다(Brookfield & Preskill, 2012). 이때 서로에 대한 비판적 태도는 토론에 긍정적인 영향을 미친다. Postmes 등(2001)은 합의보다는 비판적 사고를 집단 규범으로 만들면 토론이 더 활발해지고 의사결정의 정확성이 높아진다는 것을 발견하였다. 마찬가지로, Nemeth 등(2004)은 미국과 프랑스 대학생들을 대상으로 비판을 금지한 조건과 적극적으로 비판을 장려한 조건의 집단으로 나누어 창의적 수행을 비교하였다. 그 결과, 적극적 비판을 장려한 조건에서 창의적 수행이 더 높게 나타났다. 적극적 비판이 토론에서 중요한 이유는, 소수의견이 공유되고 반대의견이 장려되기 때문이다(Nemeth et al., 2004; Postmes et al., 2001). 대법원의 판결문을 분석한 다른 연구에서는 이념과 무관하게, 소수의견을 가진 대법관 집단이 양측의 입장과 관련 증거를 충실히 언급한다는 것을 확인하였다(Gruenfeld, 1995). 소수의견이 존재하면 대법관들은 다양한 시각에서 문제를 해석하고 여러 가능성을 수렴하여 현명한 의사결정을 내린다는 것이다. 이처럼 소수의견과 반대의견은 문제를 해결하는 과정에서 확산적 사고를 자극하며(Nemeth et al., 1990; Nemeth & Kwan, 1987) 동시에 여러 정보를 통합적으로 평가하는 능력을 강화시킨다(Nemeth & Wachtler, 1983). 반대의견에 노출되면 다양한 관점으로 문제를 접근하게 하여 더 나은 해결책을 찾으려 하고, 자신의 오류를 깨닫게 될 확률이 높아진다(Nemeth, 2018).

이상의 논의는 집단 토론에 앞서, 각 구성원이 먼저 생각하고 글로 쓰게 하는 하이브리드 협력 방식에 피드백을 추가하는 경우 다음과 같은 이점이 생길 수 있음을 시사한다. 먼저 글을 쓰게 하고 서로 피드백을 교환하게 하면, 각자가 자신의 의견을 고수할 가능성이 높아질 수 있다. 따라서 후속 토론에서 소수의견이 공유되고 반대의견이 표출될 가능성이 높아져, 결과적으로 비판적 사고를 강화할 수 있다는 것이다. 본 연구는 이 가능성을 검증하기 위해 수행되었다.

연구 문제와 가설

본 연구는 피드백이 추가된 하이브리드 협력이 의사결정 장면에서 집단의 수행을 향상시키는지 알아보기 위해 수행되었다. 참가자들을 전통적 협력, 하이브리드 협력, 그리고 피드백이 추가된 하이브리드 협력의 세 조건으로 나누어 과제를 수행하게 한 다음, 의사결정의 질(decision quality)과 토론의 질(discussion quality)을 비교하였다.

전통적 협력 조건은 개별 과제 수행 없이 처음부터 토론을 진행하는 반면, 하이브리드 협력 조건은 개별 과제 수행 후 토론을 진행하였다. 본 연구에서 새롭게 제안하는 피드백이 추가된 하이브리드 협력 조건은 개별 과제 수행 후 이에 대한 피드백을 교환한 다음 토론을 진행하였다. 본 연구에서 피드백은 ‘구성원들이 서로의 과제 수행에 대해 의견을 주고받는 활동’으로 정의되었다. 여기서 ‘과제’는 각 구성원이 작성한 의사결정문을 의미하며, ‘의견’은 그 의사결정문의 타당성을 비판적으로 평가하는 내용을 가리킨다.

본 연구의 주 목적은 피드백이 추가된 하이브리드 협력이 전통적 협력과 하이브리드 협력보다 우수한 성과를 보이는지 확인하는 것이다. 피드백이 추가된 하이브리드 협력은 전통적 협력과 하이브리드 협력에 비해 각자의 독립적인 판단을 표현하도록 장려한다는 주요한 차이점을 지닌다. 이 방식은 토론 전에 구성원들이 서로의 의견을 인지하기 때문에 토론 중에 소수의견이 확보될 가능성이 높을 것으로 예상되었다. 소수의견은 집단 의사결정에 긍정적 영향을 미치므로(Gruenfeld, 1995), 피드백이 추가된 하이브리드 협력은 정보의 다양성과 통합성을 높여 의사결정과 토론의 질을 향상시킬 것으로 예상되었다.

이에 반해, 전통적 협력과 하이브리드 협력에서는 토론 중에 소수의견이 드러나지 않을 수 있다. 사람들은 다른 사람들의 개인적인 판단을 알게 되었을 때, 스스로의 판단 보다는 다수의 판단에 부합하는 결정을 내리며(Anderson & Holt, 1997; Hung & Plott, 2001; Lorenz et al, 2011), 의견을 번복할 수 있는 상황에서는 초기 의견을 바꿀 가능성이 더 높기 때문이다(Deutsch & Gerard, 1955). 전통적 협력과 마찬가지로 하이브리드 협력에서 또한, 개인의 판단이 토론 과정 중에 드러나기 때문에, 집단의 영향에서 자유롭지 않을 수 있다.

소수의견은, 의견을 주고받는 상황에서 더욱 중요하다. 토론이 집단에 미치는 부정적인 영향 때문이다. 토론 중에 다른 구성원의 의견에 영향을 받거나 집단의 분위기에 동조하려는 경향이 강하다(Rietzschel et al., 2006). 이로 인해 공유 정보에 집중하고 개인이 가진 독특한 정보는 공유되지 않을 가능성이 높다(Hastie et al., 1983). 피드백이 추가된 하이브리드 협력 방식에서는 이러한 악영향이 효과적으로 감소할 것으로 예상되었다. 피드백이 추가된 하이브리드 협력에서 참가자들은 초기 의사결정문에 대해 비판적인 피드백을 교환한 다음에 토론을 진행하였다. 토론 전에 교환한 솔직한 피드백은 집단 내 비판적인 논쟁을 촉진할 것이라 기대하였다. 반면, 전통적 협력과 하이브리드 협력의 경우, 집단이 토론의 부정적인 영향을 극복하지 못할 것으로 예상되었다.

본 연구의 또 다른 목적은 숨겨진 속성 과제를 통해 하이브리드 협력 방식의 일반성을 알아보는 것이다. Girotra 등(2010)은 아이디어 산출 과제를, Kim과 Park(2023)은 단어 뒤섞기(Word Scramble)와 애너그램(Anagram)이라는 두 가지 영어 단어 조합 과제를 사용하여 전통적 협력 방식과 하이브리드 방식의 성과를 비교하였다. 실험 결과, 하이브리드 협력 방식은 아이디어 산출 과제(Girotra 등, 2010)와 애너그램 과제(Kim & Park, 2023)에서 전통적 협력 과제보다 우수한 수행을 보였지만, 단어 뒤섞기 과제에서는 차이가 없었다(Kim & Park, 2023). 따라서 하이브리드 협력이 전통적 협력과 차이가 없는 경우도 있기 때문에, 차이를 나타내는 상황을 명확히 할 필요가 있다. 이런 맥락에서 숨겨진 속성 과제에서 하이브리드 협력의 효과를 전통적 협력과 비교할 필요가 있다.

연구 가설은 피드백이 추가된 하이브리드 협력의 수행이 전통적 협력의 수행과 하이브리드 협력의 수행보다 더 높다는 것이다. 구체적으로 숨겨진 속성 과제 수행 시, 다른 두 협력 조건에 비해 피드백이 추가된 협력 조건에서 의사결정과 토론의 질이 더 좋을 것으로 예상하였다.

방 법

연구대상

본 연구는 대학 기관심의위원회(IRB)의 승인을 받아 수행되었다(IRB No. 2108/004-007, 2308/002-027). 심리학 교양 강좌를 수강하는 4년제 대학교 학부생 총 267명(남성 112명, 여성 155명)이 실험 참가 점수를 받는 조건으로 실험에 참여하였다. 참가자들은 “팀 과제 수행에 관한 연구”라는 주제로 실험에 참여하였다. 참가자들의 평균 연령은 22.81세(SD = 3.03)였으며, 세 명의 참가자가 하나의 집단으로 구성되어 함께 실험을 수행하였으며, 모두 89개의 집단이었다. 참가자들은 세 가지의 실험 조건(전통적 협력 조건, 하이브리드 협력 조건, 피드백이 추가된 하이브리드 협력 조건) 중 하나에 무선 배정되었다. 총 89개의 집단 중 지침을 준수하지 않거나 온라인 연결 문제로 인해 6개 집단이 표본에서 제외되었다. 결과적으로 83개의 집단이 다음과 같이 분석되었다: 전통적 협력 조건(n = 81, G = 17), 하이브리드 협력 조건(n = 84, G = 28), 피드백이 추가된 하이브리드 협력 조건(n = 84, G = 28). 조건 간 연령에는 유의미한 차이가 존재하지 않았다: 전통적 협력 조건(M = 22.43, SD = 2.54), 하이브리드 협력 조건(M = 22.74, SD = 3.75), 피드백이 추가된 하이브리드 협력 조건(M = 22.86, SD = 2.77).

실험 과제

실험 과제로는 Ro(2014)가 개발하고 사용한 숨겨진 속성 과제를 사용하였다. 이 과제에서 공유 정보는 모든 구성원에게 제공되는 반면, 비공유 정보는 일부 구성원에게만 제공된다. 따라서 모든 구성원이 동일한 정보를 갖고 있지 않기 때문에, 비공유 정보가 충분히 교환되지 않으면 집단 전체의 결정이 완전한 정보에 기반하지 못할 수 있다.

본 연구에서 사용된 과제는 이사를 오는 친척을 위해 대신 집을 선택하는 상황으로 설정되었다. 제공된 선택지(집)는 총 세 가지(A, B, C)였으며, 각 선택지는 35개의 정보로 구성되어 전체 105개의 정보로 구성되었다. 이 105개의 정보는 공유 정보와 비공유 정보로 구분되었다. 참가자들에게는 각 선택지에 대한 공유 정보 20개와 비공유 정보 5개가 제공되었다. 모든 선택지는 긍정적 정보를 20개씩 가지고 있으며, 선택지 A와 C는 각각 부정적 정보를 15개씩 가지고 있고, 선택지 B는 부정적 정보 8개와 중립적 정보 7개를 포함하고 있다. 따라서 모든 정보를 종합적으로 고려할 때 부정적 정보가 가장 적은 선택지 B가 최적의 결정이다. 구체적인 정보의 분배는 표 1에 표시하였다.

표 1.

세 선택지(집)에 대한 정보의 분배

정보 종류와 분배	집 A		집 B			집 C
정보 종류와 분배	긍정정보	부정정보	긍정정보	중립정보	부정정보	긍정정보	부정정보
공유 정보	11	9	8	4	8	14	6
비공유 정보	3	2	4	1	0	2	3
전체	20	15	20	7	8	20	15

절차

모든 절차는 온라인으로 진행되었다. 참가자들은 온라인 설문 조사 플랫폼인 퀄트릭스(Qualtrics)를 통해 숨겨진 속성 과제를 제공받고, 동시에 화상회의 플랫폼인 줌(Zoom)에 접속하여 실험 진행자로부터 실험 절차에 대한 안내를 받았다. 세 명씩 집단을 구성하였고, 같은 집단의 참가자는 동일한 시간에 줌에 접속하였다. 각 집단은 서로 다른 시간에 실험에 참여했는데, 이것은 실험의 통제를 강화하고 집단 간 상호작용이 연구 결과에 미치는 영향을 최소화하기 위한 목적이었다. 사회적 요인을 통제하기 위해 참가자들이 서로 알지 못하는 사이인지를 확인한 후 실험을 시작하였고, 마이크만 사용하는 익명 토론을 진행하도록 하였다. ‘이름’, ‘얼굴’, ‘나이’와 같은 사회적 요인이 참가자들 사이에 공유되지 않도록 개인 정보를 최대한 제한하였다.

참가자들은 세 가지 조건 중 하나에 무선적으로 배정되었으며, 실험은 다음의 순서로 40분간 진행되었다(그림 1). 전통적 협력 조건에서 참가자들은 10분 동안 정보를 읽은 후 30분 동안 토론을 진행하였다. 하이브리드 조건의 참가자들은 처음 16분 동안 정보를 읽고 개인 의사결정문을 작성한 다음, 24분 동안 토론을 진행하였다. 피드백이 추가된 하이브리드 협력 조건에서 참가자들은 다음과 같은 절차에 따라 실험을 수행하였다: 참가자들은 처음 16분 동안 정보를 읽고 개인 의사결정문을 작성하였다. 그다음 8분 동안은 동료의 결정문을 읽고 이에 대한 주장과 근거에 대해 비판적인 피드백을 작성했고, 이어서 4분 동안 동료로부터 받은 피드백을 확인하였다. 마지막으로 12분간 최종 결정을 위한 토론을 진행하였다. 모든 조건의 참가자들은 주어진 40분 동안 배분받은 정보를 참고할 수 있었다.

그림 1.

협력 조건별 실험 절차

이러한 조건 간 시간 배분은 Girotra 등(2010)과 Galinsky와 Kray(2004)의 연구를 참고하였다. Girotra 등(2010)의 실험에서는 전통적인 협력 조건이 30분 동안 토론을 진행하였고, 하이브리드 조건은 10분간 개인별 아이디어 발상 시간을 가진 후 20분간 토론을 진행하였다. 반사실적 사고방식을 유도한 Galinsky와 Kray(2004)의 실험에서 참가자들은 20분간 개별적으로 과제를 수행한 다음, 3인 1조로 모여 20분 동안 토론을 진행하였다. Ro(2014)의 연구에서 또한 집단 토론 시간은 20분으로 설정되었다. 개별 학습이 토론의 학습효과에 미치는 영향을 탐구한 Lim과 Park(2023)의 연구에서도 개별 학습과 토론 시간은 각각 18분 동안 진행하였다. 이러한 선행연구를 근거로 하여, 토론 시간은 조건별 최소 12분에서 최대 30분으로 설정하였다. 본 연구에서 각 참가자에게 제공된 정보의 개수는 75개였으며, 정보를 이해하는 데 필요한 시간을 고려하여 하나의 정보당 8초를 할당함으로써 총 10분의 정보 확인 시간을 제공하였다(75개 X 8초 = 600초). 이러한 정보 확인 시간은 실험 조건 간 정보 이해도의 차이가 집단의 수행 결과에 영향을 미치지 않도록 설정되었다.

토론이 끝나면 집단 단위에서 하나의 결정을 내리도록 하였고, 이후 다시 개인적으로 어떤 결정을 내릴 것인지를 물었다. 토론은 비구조화된(unstructured) 형태로 진행되어 연구 진행자가 내용이나 진행에 일절 관여하지 않았고, 토론의 질 평가를 위해 내용은 녹음되었다. 진행자는 참가자들에게 구성원 각자가 서로 다른 정보를 배분받았다는 과제의 특성을 알리지 않았다. 실험 중 이와 관련된 질문이 있는 경우, 진행자는 ‘그럴 수도 있다’고 답변하였고 그 외의 질문은 허용하지 않았다. 이러한 제한은 선행연구(Galinsky & Kray, 2004; Ro, 2014)를 따른 것이다. 또한, 음성 토론을 제외한 직접적인 정보 교환, 예를 들어 줌의 채팅이나 화면공유 기능을 이용한 정보 공유 등은 허용되지 않았다.

본 연구는 총 60분이 소요되었다. 실험 진행에 앞서 연구 참가자들은 연구에 대한 설명문을 읽고 동의서를 작성하였다. 온라인으로 실험이 진행되었기 때문에, 마이크와 인터넷 연결 상태를 실험 시작 전에 확인하였고, 실험이 종료되면 참가자들은 개인 인적 사항을 포함하여 본 연구와 관련된 설문들에 응답하였다. 특히, 하이브리드 협력 조건과 피드백이 추가된 하이브리드 협력 조건의 참가자들은 하이브리드 협력 경험 유무와 본 연구에 사용된 온라인 동료 피드백 시스템인 Classprep의 사용 경험 여부에 대한 질문에 답변하였다.

실험 조작 및 문항

개인 의사결정문

하이브리드 조건과 피드백이 추가된 하이브리드 조건에서의 개인 수행은 개인 의사결정문 작성을 통해 이루어졌다. 개인 의사결정문 작성은 Park(2017)이 개발한 온라인 동료 평가 시스템인 Classprep(https://classprep.io)을 통해 진행되었다(그림 2). Classprep은 동료 평가를 예습 도구로 활용하는 방안으로 활발히 사용되고 있다(Bae & Park, 2016; Oh et al., 2018; Park, 2017). Classprep에서 학생들은 예습과제로 주어진 질문에 답하는 형식으로 글을 쓰고, 동료 학생들의 글에 피드백을 작성하고 자신의 글에 대한 평가를 받는다. 하이브리드 조건과 피드백이 추가된 하이브리드 조건에서의 참가자들은 숨겨진 속성 과제를 확인한 다음, ‘이사를 오는 친척을 위한 최적의 집’을 개별적으로 결정하고 근거를 포함하여 의사결정문을 작성하였다. 개인 의사결정문 작성에 대한 구체적인 지시문은 아래와 같다.

그림 2.

Classprep에서 개별 의사결정문 작성 화면

이사를 오는 친척을 위해 혼자서 결정해야 한다면, 세 가지 집 중 어떤 집을 선택하겠습니까? 하나의 집만 선택해주시고, 그러한 결정을 내린 이유를 세 가지 집의 정보를 근거로 하여 작성하여 주십시오.

상호 피드백

피드백이 추가된 하이브리드 조건에서 참가자들은 Classprep을 통해 개별 의사결정문을 작성한 후, 이에 대한 피드백을 주고받았다(그림 3). Classprep을 통한 개인 수행과 피드백 과정은 다음과 같다: (1) 참가자들은 각자 의사결정문을 작성하여 제출한다. (2) 제출된 결정문은 작성자를 제외한 두 명의 동료에게 익명으로 배분되며, 모든 참가자는 받은 두 개의 결정문에 대해 피드백을 작성한다. (3) 피드백 작성이 완료되면, 피드백은 결정문 원 작성자에게 다시 전달된다. 원 작성자는 동료로부터 받은 피드백을 확인하며, 모든 피드백은 익명으로 제공된다. 피드백이 추가된 하이브리드 조건에서의 참가자들은 결정문의 타당성에 대해 비판적으로 평가하였다. 피드백 작성에 대한 구체적인 지시문은 아래와 같다.

그림 3.

Classprep에서 피드백 작성 화면

글쓴이의 결정과 그 결정을 뒷받침하는 근거에 대해 평가하여 주십시오. 제공된 정보와 자신이 작성한 결정문을 바탕으로, 글쓴이의 결정의 타당성에 대해 비판적으로 평가하여 주십시오.

설문 문항: 집단 의사결정 문항과 개인의 사후 결정 문항

모든 조건의 참가자들은 퀄트릭스를 통해 집단 의사결정과 개인의 사후 결정에 대해 응답하였다. 토론이 종료되면, 참가자들은 집단이 결정한 최적의 집에 대해 개인적으로 응답하여 제출하였다(집단 의사결정). 이어서 개인적으로 생각했을 때 최적의 집이 무엇인지 다시 한번 선택하였다(개인의 사후 결정). 참가자들은 이 두 문항에 대해 독립적으로 응답하였으며, 서로의 응답을 확인할 수 없었다. 이후 연구자가 세 명의 응답지를 취합하여, 각 집단의 결정을 도출하였다. 집단의 결정과 개인 사후 결정이 다른 경우에는 미합의로 간주하여 분석 데이터에 포함시키지 않았다. 집단 의사결정과 개인의 사후 결정에 대한 구체적인 문항은 아래와 같다.

집단 의사결정 문항: 토론이 종료된 후 집단이 도출한 결정은 어떤 집인가요? 아래의 선택지 중에서 하나만 선택하여 주세요. (1) A (2) B (3) C

개인의 사후 결정 문항: 토론과 집단의 의사결정이 모두 끝났습니다. 그런데 다시금 귀하께서 혼자 결정을 내려야 한다면, 어떤 집을 택하시겠습니까? 이 결정은 다른 참가자에게 공개되지 않으므로, 솔직하게 답변해주십시오. 토론에서 하나의 결정으로 정해졌다 하더라도, 결정을 바꿀수 있습니다. 아래 선택지 중 하나만 선택하여 주십시오. (1) A (2) B (3) C

종속변인

본 연구의 가설은 피드백이 추가된 하이브리드 협력의 수행이 전통적 협력의 수행과 하이브리드 협력의 수행보다 더 높다는 것이다. 구체적으로, 피드백이 추가된 하이브리드 협력이 숨겨진 속성 과제에서 의사결정과 토론의 질이 더 좋을 것이라 예상하였다.

의사결정의 질

‘의사결정의 질’은, 의사결정의 정확성, 즉 최적의 결정에 도달하는 정도를 의미한다(Postmes et al., 2001). 선행연구에서는 숨겨진 속성 과제를 사용하여 집단이 최적의 결정을 내리는 비율로 의사결정의 질을 측정하였다(Galinsky & Kray 2004; Postmes et al., 2001; Schulz-Hardt et al., 2006; Ro, 2014). 의사결정의 질은 집단 의사결정 문항에 대한 응답으로부터 정확한 선택을 내린 결정은 ‘1’로, 그렇지 않은 결정은 ‘0’으로 코딩하여 평가되었다.

토론의 질

‘토론의 질’은, 참가자들 간 상호작용의 활성화 정도와 정보 교환의 깊이를 포함하는 복합적인 지표이다. 이는 참가자들이 얼마나 활발하고 다양하게 정보를 공유하는지에 대한 질적 평가를 통해 측정된다(Schulz-Hardt et al., 2006). 토론의 질을 평가하기 위해 모든 집단의 토론 내용은 녹음되었고, 실험 가설에 대해 알지 못하는 두 명의 독립적인 평정자가 토론에서 언급된 정보의 항목과 빈도를 코딩하기 위한 훈련을 받았다. 평정자들은 지침과 코딩 기준이 담긴 서면 매뉴얼을 제공받고, 언급된 정보의 항목과 그 발언자를 식별하여 코딩하였다. 매뉴얼에는 원래 문구에서 어느 정도의 편차까지 허용되는지 등 언급된 정보를 평가하는 기준이 포함되었다. 평정자들은 기준을 만족하지 않는 경우 언급으로 코딩하지 않았다. 구체적인 예를 들면, 아래의 경우는 평정자들이 항목 ‘전용면적이 작음’에 대해 1회 언급으로 코딩하였다. (1) 참가자들이 선택지와 함께 항목을 직접 언급하는 경우(예: “A집은 전용면적이 작아요”), (2) 선택지와 항목을 맥락에 맞게 간접적으로 언급한 경우(예: “A집은 살기에 좁을 것 같아요.”), (3) 새로운 항목을 언급하는 경우 언급으로 코딩하였다(예: “B집에서는 넓은 옥상을 사용할 수 있는데, A집의 전용면적이 작아요”). 또한, 다음과 같은 상황에서는 평정자들이 항목에 대해 2회 언급으로 코딩하였다: 한 참가자가 항목을 언급한 후에 다른 참가자가 다른 항목을 하나 이상 언급하면서 그 항목을 다시 언급하는 경우(예: 참가자 1: “A집의 전용면적은 작아요”, 참가자 2: “B집은 넓은 옥상을 사용할 수 있는데, A집은 확실히 혼자 살더라도 좁을 것 같긴 해요”).

한 명의 평정자가 83개의 집단 토론을 모두 코딩하였다. 코딩 신뢰도를 평가하기 위해 두 번째 평정자는 24개의 토론을 독립적으로 코딩했으며, 조건 간 여덟 집단씩 무작위로 선정하였다. 두 명의 평정자의 코딩은 토론에서 언급된 정보에 대해 87% 일치하였다. 데이터 분석에는 첫 번째 평정자의 데이터를 사용하였다.

토론 코딩 데이터를 통해, 각 정보의 언급 횟수를 집단별로 도출하였고, 이를 통해 토론의 질과 관련된 종속변인을 측정하였다. 토론의 질에 대한 종속변인은 연구자에 따라 다르게 정의되지만, 일반적으로 토론 강도(discussion intensity)와 토론 편향(discussion bias)을 고려한다(Ro, 2014; Schulz-Hardt & Mojzisch; 2012). 토론 강도는 토론에서 언급된 정보의 양을 의미하며, 토론의 활발함 정도를 반영한다(Ro, 2014; Schulz-Hardt & Mojzisch; 2012). 본 연구의 세 협력 조건은 절차적 차이로 인해 토론 시간에 차이가 발생하였다. 이에 따라 언급된 정보의 총횟수를 세는 것은 적절하지 않다고 판단하여, 본 연구에서는 토론 강도를 시간당 언급된 정보의 양으로 계산하였다. 토론 강도는 토론 중 얼마나 많은 정보가 시간당 언급되었는지를 의미하며, 토론에서 언급된 정보의 총횟수를 토론 시간으로 나눈 값을 가리킨다. 토론 편향은 집단이 이용할 수 있는 전체 정보를 충분히 반영하지 않고 정보를 언급하는 경우를 가리킨다(Schulz-Hardt & Mojzisch; 2012). 숨겨진 속성 과제에서는 비공유 정보를 활발하게 언급하는 것이 최적의 결정을 내리게 하는 데 필수적이다(Ro, 2014; Schulz-Hardt & Mojzisch; 2012). 이 때문에 선행연구에서 토론 강도와 더불어 토론 편향이 함께 측정되었다(Ro, 2014; Lu et al., 2012; Schulz-Hardt et al., 2006; Schulz-Hardt & Mojzisch; 2012). 본 연구에서는 Schulz-Hardt 등(2006)과 Stasser 등(2000)를 따라, 토론 편향을 비공유 정보 대비 공유 정보의 언급 비율로 정의하였다. 토론 편향은 공유 정보의 언급 비율을 공유 정보와 비공유 정보의 언급 비율의 합으로 나누어 계산하였다. 공유 정보와 비공유 정보를 동일하게 언급하는 경우 토론 편향은 .5이고, 토론에서 공유 정보를 더 많이 언급할수록 토론 편향은 1에 가까워진다.

본 연구의 가설을 종합하면 다음과 같다: 첫째, 피드백이 추가된 하이브리드 협력이 전통적 협력과 하이브리드 협력보다 의사결정의 질이 높을 것이다. 둘째, 피드백이 추가된 하이브리드 협력이 전통적 협력과 하이브리드 협력보다 토론 강도가 높을 것이다. 셋째, 피드백이 추가된 하이브리드 협력이 전통적 협력과 하이브리드 협력보다 토론 편향이 낮을 것이다.

결 과

의사결정의 질

집단이 최적의 결정을 내리는 비율로 계산된 의사결정의 질에 대한 결과는 다음과 같다. 전체 83개의 집단 중 34개 집단(41.0%)이 올바른 의사결정을 내렸다. 전통적 협력 조건에서 최적의 선택지를 택한 비율은 25.9%, 하이브리드 조건에서는 28.6%, 피드백이 추가된 하이브리드 조건에서는 67.9%로 나타났다. 세 가지 협력 조건에서 선택지에 따른 선택의 자세한 비율은 표 2에 제시되었다.

의사결정의 질(1 = 정확한 결정, 0 = 부정확한 결정)에 대한 카이제곱 분석 결과, 조건 간 유의미한 차이가 있는 것으로 나타났다, χ²(2, G = 83) = 12.68, p < .01. 이러한 차이를 명확히 하기 위해 사후 분석을 수행하였다. 그 결과, 피드백이 추가된 협력 조건과 전통적 조건 간 유의미한 차이를 발견하였다, χ²(1, G = 55) = 8.09, p < .001. 피드백이 추가된 협력 조건과 하이브리드 조건 간에도 유의미한 차이를 발견하였다, χ²(1, G = 56) = 7.15, p < .001. 전통적 협력 조건과 하이브리드 조건 간 유의미한 차이는 발견되지 않았다, χ²(1, G = 55) = 1, p > .05. 이러한 결과는 피드백이 추가된 하이브리드 협력이 전통적 협력과 하이브리드 협력보다 의사결정의 질이 높을 것이라는 본 연구의 가설을 지지한다. 전통적 협력과 하이브리드 협력을 비교했을 때, 하이브리드 협력에서의 의사결정의 질은 2.7% 더 높았지만, 이 차이는 유의미하지 않았다.

표 2.

협력 조건별 의사결정의 질: 정확한 의사결정의 빈도와 비율

조건	정확한 의사결정	부정확한 의사결정
조건	선택지 B 결정	선택지 A 결정	선택지 C 결정
전통적 협력 (G = 27)	7 (25.9%)	8 (29.6%)	12 (44.4%)
하이브리드 협력 (G = 28)	8 (28.6%)	13 (46.4%)	7 (25.0%)
피드백이 추가된 협력 (G = 28)	19 (67.9%)	3 (10.7%)	6 (21.4%)

토론의 질: 토론 강도

토론 강도는 시간당 언급된 정보의 양으로 측정되었는데, 이는 토론 동안 언급된 정보의 총횟수를 토론 시간으로 나눈 값이다. 세 협력 조건에 따른 토론 강도에서의 차이를 확인하기 위한 분산분석(ANOVA) 결과 조건 간에 유의미한 차이가 관찰되었다, F(2, 80) = 39.73, p < .001, MSE = .872, η² = .50. Scheffe test를 통한 사후 분석 결과, 피드백이 추가된 협력과 하이브리드 협력 간에 유의미한 차이가 확인되었다, t(42.127) = 2.16, p = .04, d = 0.67. 또한, 피드백이 추가된 협력과 전통적 협력 간 유의미한 차이가 발견되었으며, t(31.951) = 8.13, p < .001, d = 2.88, 전통적 협력과 하이브리드 협력 간에도 유의미한 차이를 확인하였다, t(41.826) = 9.54, p < .001, d = 2.95. 이러한 결과는 피드백이 추가된 하이브리드 협력이 전통적 협력과 하이브리드 협력보다 토론 강도가 높을 것이라는 가설을 지지한다. 협력 조건별 토론 강도의 평균과 표준편차는 표 3에 제시되어 있다.

표 3.

협력 조건별 토론 강도의 평균 및 표준편차

조건	전통적 협력	하이브리드 협력	피드백이 추가된 하이브리드 협력
토론 강도	1.00 (.41)	2.55 (.75)	3.18 (1.36)

토론의 질: 토론 편향

비공유 정보 대비 공유 정보의 언급 비율인 토론 편향의 협력 조건별 평균과 표준편차는 표 4에 제시하였다. 공유 정보와 비공유 정보를 동일하게 언급하는 경우 토론 편향은 .5이고, 토론에서 공유 정보를 더 많이 언급할수록 토론 편향은 1에 가까워진다. 전체 83개 집단에서의 토론 편향은 .70으로 .50과 큰 차이를 보였다.

표 4.

협력 조건별 토론 편향의 평균 및 표준편차

조건	전통적 협력	하이브리드 협력	피드백이 추가된 하이브리드 협력
토론 편향	.71 (.09)	.72 (.08)	.68 (.12)

t(81) = 18.96, p < .001, d = 2.09. 협력 조건에 따른 토론 편향에서의 차이를 확인하기 위한 분산분석 결과 토론 편향의 차이는 유의하지 않았다, F(2, 79) = 1.19, p = .309, MSE = .010, η² = .30. 따라서 피드백이 추가된 하이브리드 협력이 전통적 협력과 하이브리드 협력보다 토론 편향이 낮을 것이라는 가설은 지지되지 않았다.

논 의

하이브리드 협력은 개인이 먼저 과제를 수행한 후 동료들과 함께 과제를 수행하는 방식으로, 본 연구에서는 하이브리드 협력에 피드백을 추가하여, 서로 피드백을 교환한 다음 토론을 진행하는 방안의 효과를 탐색하였다. 이를 위해 숨겨진 속성 과제를 사용하여, 이 방식과 하이브리드 협력, 그리고 전통적 협력이 의사결정과 토론의 질에 미치는 영향을 비교하였다. 가설을 중심으로 한 본 연구의 주요 결과는 다음과 같다.

첫째, 피드백이 추가된 하이브리드 협력이 전통적 협력과 하이브리드 협력보다 의사결정의 질이 높을 것이라는 가설은 지지되었다. 세 협력 방식에 따른 의사결정의 질에서는 유의미한 차이가 발견되었다. 피드백이 추가된 하이브리드 협력에서 의사결정의 질이 가장 높았으며, 전통적 협력과 하이브리드 협력에서의 차이는 유의하지 않았다. 둘째, 피드백이 추가된 하이브리드 협력이 다른 두 방식보다 토론의 질이 높을 것이라는 가설은 부분적으로 지지되었다. 토론 강도의 경우 피드백이 추가된 하이브리드 협력, 하이브리드 협력, 마지막으로 전통적 협력의 순서로 강도가 낮아졌다. 그러나, 토론 편향에서는 세 집단 간 유의미한 차이는 발견되지 않았다.

이러한 결과는 적어도 숨겨진 속성 과제에서는 피드백이 추가된 하이브리드 협력 방식이 의사결정의 정확성을 높이고 토론 강도를 강화할 수 있음을 보여준다. 숨겨진 속성 과제는 구성원들에게 공유 정보와 비공유 정보를 분산하여 제공함으로써, 혼자서는 정답을 찾을 수 없도록 설계되었다. 이런 설계는 조직에서의 협력 상황과 유사하다. 모두가 같은 정보를 가지고 있지 않고 일부분만 공유되고 나머지는 자신만이 알고 있기 때문이다. 이런 상황에서 독립적 글쓰기와 평가에 이은 토론은 다양한 의견 교류를 가능하게 하여, 집단 내 소수의견이 존재할 때처럼, 관련 정보를 더 심도 있게 고려하게 한 것으로 보인다.

그렇다면 하이브리드 협력이 집단 성과를 향상시키지 못한 이유는 무엇일까? 하이브리드 협력에서도 토론 전에 개인이 혼자서 과제를 수행하기에 독립적 사고를 촉진할 수 있다. 하지만 피드백이라는 상호작용이 없어 비판적 사고를 활성화시키지 못해, 토론에서 다양한 정보의 탐색을 제한하였기 때문으로 보인다.

피드백이 추가된 하이브리드 협력에서 토론 강도가 가장 높다는 결과는, 피드백이 비판적 사고를 자극했을 가능성을 시사한다. 참가자들은 자신의 주장과 근거에 대해 비판받고, 동료의 주장과 근거를 비판하는 과정을 거친다. 이 과정에서 각자의 생각이 다르다는 것을 인식하고, 간과되었던 정보를 토론 과정에서 탐색하였다는 것이다.

이런 가능성에 대한 대안적 설명은, 피드백이 추가된 하이브리드 협력 조건에서 기존 하이브리드 협력 조건과 비교하여 긍정적인 효과가 관찰된 것은, 토론 전에 다른 구성원들의 견해를 파악할 수 있었기 때문이라는 가능성이다. 실제로 독립적인 판단을 공개적으로 표현하도록 하는 것이 협력에 긍정적이라는 결과가 있다(Deutsch & Gerard 1955). 문제는 그렇지 않다는 연구 결과도 있다는 점이다(Stewart et al., 1998). 따라서 현재로서는 이 가능성을 배제할 수 없다. 이 가능성을 검증하는 한 방법은 피드백 교환 과정 없이 개인 과제 수행 후 그 결과를 공개하고 토론을 진행할 때와 본 연구에서 제안된 방식의 성과를 비교하는 후속 연구이겠다.

본 연구에서는 협력 방식에 따른 토론 편향에서의 차이는 확인되지 않았다. 모든 협력 방식에서 공유 정보가 토론 중에 더 많이 언급되는 토론 편향이 나타났다. 그 이유는 분명하지 않은데, 한 가지 가능성은 토론 시간 자체의 차이이다. 전통적 협력 방식에서는 토론 시간이 30분이었고, 하이브리드 협력에서는 24분, 그리고 피드백이 추가된 협력 방식에서는 단 12분이었다. 다른 조건에 비해 피드백이 추가된 하이브리드 조건에서의 토론은 최종 결정에 초점을 두었기 때문에, 비공유 정보의 언급 비율보다는 다양한 주장을 얼마나 통합하고 여러 가능성들을 어떻게 수렴했는지 분석하는 것이 더 타당한 비교일 수 있다. 이 가능성은 현재의 결과로는 판단하기 어렵기에 후속 연구로 미룰 수밖에 없다.

언급된 후속 연구를 통해 추가로 확인될 부분이 있기는 하지만, 피드백이 추가된 하이브리드 조건이 숨겨진 속성 과제에서 의사결정의 성과를 높인다는 발견은 중요하다. 뿐만 아니라, 본 연구는 협력과 관련하여 다음과 같은 실용적 시사점을 제공한다. 첫째, 온라인 피드백 시스템을 사용하여 집단 의사결정을 향상시킨 최초의 연구다. 코로나바이러스감염증-19 이후 협력 장면에서 화상회의 등 온라인을 활용한 기술적 사용이 증가하고 있다. 하이브리드 협력에 대한 기존의 연구는 실험실에서 대면으로 이루어졌다. 본 연구는 온라인상에서 개인 과제를 수행하고 피드백을 주고 받도록 하여 후속 토론의 성과를 높였다. 이 방식은 실제 회의 장면에서의 적용 가능성이 높아 협력 연구에 새로운 도구를 제공한다는 점에서 중요하다. 두 번째로, 토론 중 반대의견을 유발하기 위해 역할 배정과 같은 인위적인 조작이 토론 성과에 미치는 효과에 대한 상반된 결과가 있는 상황에서(예, Brodbeck et al., 2002 vs Nemeth et al., 2001), 본 연구는 구성원들이 자연스럽게 반대의견을 제시할 수 있는 새로운 방법을 제안한다. 예를 들면, 지구 온난화와 같은 논쟁적인 주제에 대해 본 연구에서 제안하는 방식으로 글을 쓰고 피드백을 주고받은 다음 토론을 하게 한 다음, 그 내용을 분석하는 연구가 가능하다. 이 방법은 추가적인 훈련이 필요하지 않아 적용이 용이하다는 강점도 추가할 수 있겠다.

물론 본 연구에서 확인한 피드백이 추가된 하이브리드 협력 방식의 효과를 보다 일반화하기 위해서는 추가적인 연구가 요구된다. 다양한 유형의 과제를 적용하는 것이 필요하며, 특히 선행연구에서 사용된 아이디어 생성 과제나 영어 단어 조합 과제를 통해 피드백이 추가된 하이브리드 협력 방식에서의 성과를 기존 하이브리드 협력 방식과 비교 분석할 필요가 있다. 실제 협력 상황을 반영할 수 있는 실험 설계도 필요하다. 본 연구에서는 한정된 시간 내에 진행된 단일 회기 실험이었으나, 향후 연구에서는 여러 회기에 걸친 협력 과정을 알아보고, 개별 작업 수행 후 토론으로 이어지는 시간 간격도 다변화시킬 필요가 있다. 이 과정에서 협력에 선행하여 피드백을 교환하는 하이브리드 방식이 구성원들의 주관적 만족도에 미치는 영향도 탐색할 필요가 있다. 이상의 여러 후속 연구의 지향점은 더 나은 협력 방식을 찾아내는 것이다. 인류 발전의 주요 동력인 협력을 향상시키는 만큼 교육은 물론 조직 장면에서 학습 성과와 업무 효율성을 높일 수 있기 때문이다.

Ack

이 논문은 과학기술정보통신부의 인공지능 첨단 유망 기술 개발 사업(200-20240001)의 지원을 받아 수행하였음.

참고문헌

Anderson, L. R., & Holt, C. A. (1997). Information cascades in the laboratory. The American Economic Review, 87(5), 847-862. https://www.jstor.org/stable/2951328

Armstrong, J. S. (Ed.). (2001). Principles of Forecasting: A Handbook for Researchers and Practitioners (Vol. 30).

Bae S. J., & Park, J. (2016). The validity of using cumulative peer assessed scores for final grades in college courses. Korean Journal of Cognitive Science, 27(2), 221-245.

Brookfield, S. D., & Preskill, S. (2012). Discussion as a Way of Teaching: Tools and Techniques for Democratic Classrooms.

Brodbeck, F. C., Kerschreiter, R., Mojzisch, A., Frey, D., & Schulz‐Hardt, S. (2002). The dissemination of critical, unshared information in decision making groups: The effects of pre-discussion dissent. European Journal of Social Psychology, 32(1), 35-56.

Buckingham, M., & Goodall, A. (2019). The feedback fallacy. Harvard Business Review, 97(2), 92-101. https://hbr.org/2019/03/the-feedback-fallacy

Ciftci, H., & Kocoglu, Z. (2012). Effects of peer e-feedback on Turkish EFL students' writing performance. Journal of Educational Computing Research, 46(1), 61-84.

Deutsch, M., & Gerard, H. B. (1955). A study of normative and informational social influences upon individual judgment. The Journal of Abnormal and Social Psychology, 51(3), 629-636.

Galbraith, D., & Baaijen, V. M. (2018). The work of writing: Raiding the inarticulate. Educational Psychologist, 53(4), 238-257.

Galinsky, A. D., & Kray, L. J. (2004). From thinking about what might have been to sharing what we know: The effects of counterfactual mind-sets on information sharing in groups. Journal of Experimental Social Psychology, 40(5), 606-618.

Girotra, K., Terwiesch, C., & Ulrich, K. T. (2010). Idea generation and the quality of the best idea. Management Science, 56(4), 591-605.

Greitemeyer, T., & Schulz-Hardt, S. (2003). Preference-consistent evaluation of information in the hidden profile paradigm: Beyond group-level explanations for the dominance of shared information in group decisions. Journal of Personality and Social Psychology, 84(2), 322-339.

Gruenfeld, D. H. (1995). Status, ideology, and integrative complexity on the US Supreme Court: Rethinking the politics of political decision making. Journal of Personality and Social Psychology, 68(1), 5.

Hastie, R., Penrod, S. D., & Pennington, N. (1983). Inside the Jury.

Hung, A. A., & Plott, C. R. (2001). Information cascades: Replication and an extension to majority rule and conformity-rewarding institutions. American Economic Review, 91(5), 1508-1520.

Joordens, S., Desa, S., & Paré, D. (2009). The pedagogical anatomy of peer-assessment: Dissecting a peerScholar assignment. Journal of Systemics, Cybernetics & Informatics, 7(5), 11-15. https://www.researchgate.net/publication/267295713_The_Pedagogical_Anatomy_of_Peer-Assessment_Dissecting_a_peerScholar_Assignment

Kelly, G. J., & Takao, A. (2002). Epistemic levels in argument: An analysis of university oceanography students' use of evidence in writing. Science education, 86(3), 314-342.

Kim, S., & Park, J. (2023). The effect of hybrid collaboration method on performance. Korean Journal of Cognitive and Biological Psychology, 35(4), 229-242.

Korde, R., & Paulus, P. B. (2017). Alternating individual and group idea generation: Finding the elusive synergy. Journal of Experimental Social Psychology, 70, 177-190.

Lim, J., & Park, J. (2023). Self-study enhances the learning effect of discussions. Journal of the Learning Sciences, 32(3), 455-476.

Liu, N. F., & Carless, D. (2006). Peer feedback: the learning element of peer assessment. Teaching in Higher Education, 11(3), 279-290.

Lorenz, J., Rauhut, H., Schweitzer, F., & Helbing, D. (2011). How social influence can undermine the wisdom of crowd effect. Proceedings of the National Academy of Sciences, 108(22), 9020-9025.

Lorge, I., Fox, D., Davitz, J., & Brenner, M. (1958). A survey of studies contrasting the quality of group performance and individual performance, 1920-1957. Psychological Bulletin, 55(6), 337-372.

Lu, L., Yuan, Y. C., & McLeod, P. L. (2012). Twenty-five years of hidden profiles in group decision making: A meta-analysis. Personality and Social Psychology Review, 16(1), 54-75.

McGrath, J. E. (1984). Groups: Interaction and Performance (Vol. 14).

Nemeth, C. (2018). In Defense of Troublemakers: The Power of Dissent in Life and Business.

Nemeth, C., Brown, K., & Rogers, J. (2001). Devil's advocate versus authentic dissent: Stimulating quantity and quality. European Journal of Social Psychology, 31(6), 707-720.

Nemeth, C., & Kwan, J. L. (1987). Minority influence, divergent thinking and detection of correct solutions. Journal of Applied Social Psychology, 17(9), 788-799.

Nemeth, C., Mayseless, O., Sherman, J., & Brown, Y. (1990). Exposure to dissent and recall of information. Journal of Personality and Social Psychology, 58(3), 429-437.

Nemeth, C., Personnaz, B., Personnaz, M., & Goncalo, J. A. (2004). The liberating role of conflict in group creativity: A study in two countries. European Journal of Social Psychology, 34(4), 365-374.

Nemeth, C., & Wachtler, J. (1983). Creative problem solving as a result of majority vs minority influence. European Journal of Social Psychology, 13(1), 45-55.

Oh, Y., Kwon O.N., Park, J. (2018). The reliability and validity of online peer assessment on proofs in a number theory course. Korean Society of Mathematical Education, 57(3), 215-229.

Park, J. (2017). ClassPrep: A peer review system for class preparation. British Journal of Educational Technology, 48(2), 511-523.

Postmes, T., Spears, R., & Cihangir, S. (2001). Quality of decision making and group norms. Journal of Personality and Social Psychology, 80(6), 918-930.

Puncochar, J. M., & Fox, P. W. (2004). Confidence in Individual and Group Decision Making: When" Two Heads" Are Worse Than One. Journal of Educational Psychology, 96(3), 582-591.

Rietzschel, E. F., Nijstad, B. A., & Stroebe, W. (2006). Productivity is not enough: A comparison of interactive and nominal brainstorming groups on idea generation and selection. Journal of Experimental Social Psychology, 42(2), 244-251.

Rivard, L. P., & Straw, S. B. (2000). The effect of talk and writing on learning science: An exploratory study. Science Education, 84(5), 566-593.

Ro, H. K. (2014). Bias in Information Processing and Decision Making: A Study of Group Decision Making by Hidden Profile Paradigm. Korean Journal of Social and Personality Psychology, 28(2), 177-199.

Russell, K. C., Gillis, H. L. L., & Kivlighan Jr, D. M. (2017). Process factors explaining psycho-social outcomes in adventure therapy. Psychotherapy, 54(3), 273-280.

Sadler, P. M., & Good, E. (2006). The impact of self-and peer-grading on student learning. Educational Assessment, 11(1), 1-31.

Sandoval, W. A., & Millwood, K. A. (2005). The quality of students' use of evidence in written scientific explanations. Cognition and Instruction, 23(1), 23-55.

Schulz-Hardt, S., Brodbeck, F.C., Mojzisch, A., Kerschreiter, R. & Frey, D., (2006), Group decision making in hidden profile situations: Dissent as a facilitator for decision quality. Journal of Personality and Social Psychology, 91(6), 1080-1093.

Schulz-Hardt, S., & Mojzisch, A. (2012). How to achieve synergy in group decision making: Lessons to be learned from the hidden profile paradigm. European Review of Social Psychology, 23(1), 305-343.

Stasser, G. (1999). The uncertain role of unshared information in collective choice. In L. L. Thompson, J. M. Levine, & D. M. Messick (Eds.), Shared cognition in organizations: The management of knowledge (pp. 49-69).

Stasser, G., & Abele, S. (2019). Group Creativity and Collective Choice. In Paulus, P. B., Nijstad, B. A. (Eds.), The Oxford Handbook of Group Creativity and Innovation, 197-213.

Stasser, G., & Titus, W. (1985). Pooling of unshared information in group decision making: Biased information sampling during discussion. Journal of Personality and Social Psychology, 48(6), 1467-1478.

Stasser, G., & Titus, W. (2003). Hidden profiles: A brief history. Psychological Inquiry, 14(3), 304-313.

Stasser, G., Vaughan, S. I., & Stewart, D. D. (2000). Pooling unshared information: The benefits of knowing how access to information is distributed among group members. Organizational Behavior and Human Decision Processes, 82(1), 102-116.

Stewart, D. D., Billings, R. S., & Stasser, G. (1998). Accountability and the discussion of unshared, critical information in decision-making groups. Group Dynamics: Theory, Research, and Practice, 2(1), 18-23.

Surowiecki, J. (2004). The Wisdom of Crowds: Why the Many are Smarter Than the Few and How Collective Wisdom Shapes Business, Economies, Societies, and Nations.

Tsai, Y. C., & Chuang, M. T. (2013). Fostering revision of argumentative writing through structured peer assessment. Perceptual and Motor Skills, 116(1), 210-221.

Xiao, Y., & Lucking, R. (2008). The impact of two types of peer assessment on students' performance and satisfaction within a Wiki environment. The Internet and Higher Education, 11(3-4), 186-193.

Yore, L. D., Florence, M. K., Pearson, T. W., & Weaver, A. J. (2006). Written discourse in scientific communities: A conversation with two scientists about their views of science, use of language, role of writing in doing science, and compatibility between their epistemic views and language. International Journal of Science Education, 28(2-3), 109-141.