2.1 언어학과 인접 학문

언어학은 구어와 문어를 포함한 인간의 언어를 연구하는 과학이다. 언어의 구조와 기능, 의미와 사용 등 이론언어학의 기초를 탐구하며, 전산언어학 ‧ 코퍼스언어학 ‧ 심리언어학 ‧ 사회언어학 등 다른 인접 과학과도 관계가 있다. 이론언어학은 크게 인간의 말소리가 어떤 방식으로 만들어지고 인식되는지를 연구하는 음성학(Phonetics), 추상적 말소리가 어떻게 체계적으로 기능하는지를 설명하는 음운론(Phonology), 형태소 또는 단어의 내부 구조에 대해서 연구하는 형태론(Morphology), 문장을 구성하는 규칙에 대한 통사론(Syntax), 단어나 문장의 의미를 연구하는 의미론(Semantics), 인간의 언어가 문맥(context)에 따라 사용방식과 의미가 어떻게 달라지는지를 탐구하는 화용론(Pragmatics)으로 구분된다. 또한 언어학 자체가 다학제적인(interdisciplinary) 특성이 강해서 여러 인접 학문들과 관련이 되어 있는데, 전산언어학 ‧ 코퍼스언어학 ‧ 심리언어학 ‧ 사회언어학 ‧ 인지언어학 ‧ 언어교육 등이 그것이다.

그림 1.

언어학과 인접 학문(Aitchinson 2010:9)

오늘날, 디지털 인문학과 관련하여서 가장 중요한 언어학 분야는 전산언어학이다. 사실 과거에 언어학과 가장 거리가 멀었던 인접 학문이 컴퓨터공학과 통계학이었다. 현대 이론언어학의 시작은 프랑스의 언어학자 Saussure(1916)였다. Saussure(1916)는 전통적인 역사비교언어학에서 공시적인 이론언어학으로 패러타임을 전환하였다. 이후 언어를 체계적으로 연구하기 시작하였고, Chomsky(1957)는 자연어 문장 기술에 대한 최초의 형식화를 제안하였다. Chomsky(1957)는 ‘엔트로피(entropy)’ 개념을 창안한 Shannon(1948)과 함께 전산언어학과 자연어처리(Natural Language Processing)의 기초가 되었다2. Shannon(1948)은 정보 이론(Information Theory)에서 정보 내용에 대하여 확률 ‧ 통계적으로 설명하려고 하였다. Weaver(1949)와 함께 이러한 접근 방식을 통하여 인간 언어의 의사소통을 일반화하려고 노력하였으며, 엄격한 통계적 방법으로 자연어 사용을 설명하려는 최초의 시도였다. 실제로 Shannon(1949)은 영어 문장의 통계적 분석으로 영어 엔트로피의 최댓값과 최솟값을 계산하였고, 띄어쓰기가 실제로 문장의 불확실성을 감소시킨다는 것을 발견하기도 하였다. Shannon(1948, 1949)과 Chomsky(1957)의 연구들은 언어학의 큰 전환점이 되었으며, 전산언어학의 탄생에 큰 기여를 하였다.

2.2 전산언어학

전산언어학은 언어학과 컴퓨터공학의 학제적 연구 분야로서, 컴퓨터로 인간의 언어(natural language)를 처리하기 위한 기초·응용 분야이다. 기본적으로는 이론언어학적 지식과 자연어처리 지식이 필요하며, 수학(확률, 통계, 정보 이론, 형식언어 이론 등) ‧ 논리학 ‧ 심리학 ‧ 인지과학 등의 지식도 요구된다.

전산 언어학은 여러 학문 분야에서 중복적으로 다루어질 수 있고, 종종 여러 분야를 동시에 다루는 프로젝트도 있다. 우선 이론 전산언어학 분야는, 이론언어학과 유사하게, 음운론 ‧ 형태론 ‧ 통사론 ‧ 의미론 등과 같이 다양한 수준에서 언어기술의 형식이론을 다룬다. 따라서 이러한 하위분야는 전산음운론, 전산형태론, 전산통사론, 전산의미론 등으로 불리기도 한다. 언어기술의 형식시스템 정의와 언어학 ‧ 인지과학 ‧ 인공지능을 결합하는 특정 연구 방향도 여기에 속한다. 확률 전산언어학은 확률 및 통계적 방법과 기계학습을 자연어처리의 특성에 적용하는 연구 분야이다. 확률이론, 통계, 최적화 및 수치 수학, 대수학 및 심지어 미적분학까지 광범위한 수학을 사용하기도 한다. 응용 전산언어학은 자연어처리 분야에서 잘 정의된 문제를 해결하려고 시도하는 분야이다. 분석 측면에서는 음성학과 음운론, 형태소 분석, 파싱(parsing) 및 구문 분석을 다룬다. 단어의 중의성 해소를 통해 문맥에서 다의성을 해결하려고 하며, 전산언어학의 다른 응용 프로그램에 의한 어휘집(lexicon) 생성 및 사용과 밀접한 관련이 있다. 언어모델링(Language Modeling)은 주로 확률론적 방법 기반 시스템에서 사용되며, 기계번역(Machine Translation)은 위에서 언급한 대부분의 분야를 결합하여 하나의 자연어에서 다른 자연어로 번역하는 과정을 연구하고 탐색하는 분야이다. 이 외에도 정보검색(Information Retrieval), 정보추출, 정보요약, 음성인식과 합성 등의 하위 분야도 있다.

그러나 이러한 하위 분야의 분류는 무 자르듯이 명확하게 구분되는 것은 아니며, 정확할 수도 없다. 종종 전산언어학의 프로젝트는 위의 여러 하위 분야를 활용하며, 때로는 물리학이나 생물학과 같이 관련 없는 분야의 분석방법이나 알고리즘까지 사용한다. 또한, 인문학의 다른 많은 분야와 달리, 전산언어학 연구의 매우 중요한 측면 중 하나는 수치로 평가가 가능하다는 점이다. 일반적으로 테스트 데이터 셋이 미리 준비되고, 시스템 결과는 미리 정의된 메트릭스(predefined metric)을 사용하여 계량적으로 비교할 수 있다. 객관적이고 자동화된 시스템 평가는 통계적 방법의 부활과 함께 전산언어학에 도입되었으며, 이러한 시스템 평가가 전산언어학의 빠른 발전에 원동력이 되었다고 여겨진다.

3.1 1940~50년대 전산언어학

인공지능과 전산언어학 연구의 출발은 1940년대이다. McCulloch & Pitt(1943)는 뉴런(Neuron) 활동을 논리적인 계산으로 표현한 최초의 시도였으며, 현대적인 모습의 인공지능과 전산언어학의 연구의 시작으로 평가받는다. McCulloch & Pitt(1943)는 신경계 활동을 논리적 계산으로 표현하고 이를 통해 인간의 사고와 계산 능력을 수학적으로 모델링하는 것이었다. McCulloch & Pitt(1943)의 모델은 학습 능력이 없고 입력과 출력이 활성화(on) 또는 비활성화(off)로 제한된 이진 모델(binary model)이었으나, 신경계가 정규언어(Regular Language)를 생성하고 처리할 수 있다는 가능성을 입증하였다. 이후 정규언어이론과 유한오토메타(finite automata) 연구의 기반을 마련한 중요한 출발점이었다.

Weaver(1949)도 기계번역(Machine Translation)의 출발점으로 여겨지며, 전산언어학 분야에 지속적인 영향을 끼친 연구로 평가받는다. Weaver(1949)는 얼마나 많은 문맥(context)이 필요한지가 주제와 단어를 다르게 할 수 있으며, 통계적 의미 속성에 대한 관찰이 매우 유용할 것이라고 믿었으며, 논리적 언어요소를 가정하여 McCulloch & Pitt(1943)가 증명한 유한오토메타의 이론을 통해 번역의 기계화(mechanization of translation)가 정당화될 수 있다고 생각하였다(정성훈, 2019:10).

그림 2.

Weaver(1949)의 memorandum(Weaver 1952에서 인용)

Turing(1950)도 흔히 ‘튜링 테스트(Turing Test)’로 알려진 ‘모방게임(imitation game)’ 개념이 소개된 역사적인 논문으로, 인공지능과 전산언어학의 초석을 다진 연구이다. Turing(1950)은 ‘기계(machine)’와 ‘생각하다(think)’의 정의가 명확하지 않으므로 ‘기계가 생각할 수 있는가?(Can machines think?)’라는 질문은 ‘기계가 지능(intelligence)을 측정하는 테스트를 통과할 수 있는가?’라는 질문으로 대체하는 접근법을 취하였다. 즉 Turing(1950)은 기계의 지능을 인간 수준의 성능을 낼 수 있는 능력으로 정의하였고 ‘기계가 생각할 수 있는가?’라는 질문에 대한 대안으로 ‘모방게임’이라는 테스트를 제안하였다. ‘모방게임’에서 질문자(인간)가 질문에 대한 답변을 보고 답변자가 인간인지 기계인지 구별하지 못한다면 기계는 그 테스트를 통과한 것으로 평가하는 것이다. Turing(1950)이 제안한 ‘모방게임’은 여러 비판에도 불구하고, 인공지능을 평가하는 철학적 틀을 제공하였으며 인간과 유사한 지능을 지닌 기계를 개발하려는 초기 인공지능과 전산언어학 연구를 촉진하였다.

1950년대는 인공지능과 전산언어학 연구의 ‘태동기’라고 할 만하다. 위의 연구들에 힘입어, 기계를 활용한 자동번역 프로젝트가 본격적으로 가동되었다. 1951년에 시작된 MIT 프로젝트는 Weaver(1949)의 메모에 기반하여 기계번역을 체계적으로 연구한 최초의 사례이다. MIT 프로젝트는 언어 처리와 기계번역 알고리즘 개발을 위한 이론적인 틀을 제공하였으며, 전산언어학과 자동 기계번역에 대한 기반을 마련하였다3. 1952년에는 MIT에서 기계번역과 관련한 첫 번째 국제학술대회를 조직하였고, 이 학술대회에 참가한 전산언어학자와 기계번역 연구자들은 기계번역의 실현가능성을 입증하는 것이 제일 중요하다는 데 의견을 모았다.

MIT 프로젝트의 첫 번째 국제학술대회에 참가한 학자 중에는 조지타운대학의 언어학자 Léon Dostert가 있었다. Dostert는 미국 정부와 IBM의 지원을 받아 GAT(Georgetown Automatic Translation)(1952) 프로젝트를 진행하였다. 러시아어로 작성된 물리학 분야의 문서를 영어로 번역하고자 한 자동 기계번역 시스템이었다. 1954년 1월에 최초의 기계번역 시연이 이루어졌는데, 러시아어 문법규칙 6개와 어휘 250개로 이루어진 작은 사전을 이용하여 49개의 러시어어 문장을 번역하였다. 그 결과, 49개의 문장에서는 적절히 구현되었으나, 대량의 코퍼스에서는 문법규칙과 어휘의 수가 충분하지 않다는 것이 밝혀졌다. 그러나 이전의 연구들이 이론적으로만 제안되었다면 GAT 프로젝트는 실제 컴퓨터로 수행된 최초의 기계번역 시스템이었다는 점에서 의의가 있으며, GAT 프로젝트에서 제안한 단계적 분석 방식(형태론적 분석-통사론적 분석-구문론적 분석)은 전산언어학과 기계번역 연구와 그 발전에 큰 기여를 하였다.

1956년 다트머스 회의(Dartmouth Conference)도 중요한 사건이다. 이 회의에서는 ‘인공지능(Artificial Intelligence)’이라는 용어가 처음 제안되었으며, 이후 인공지능(AI)은 인간 지능의 다양한 측면을 기계적으로 모방하거나 구현하려는 연구를 포괄하는 개념으로 사용되었다4. 특히 기계학습(Machine Learning)과 자연어처리(Natural Language Processing) 분야 등이 연구 핵심 영역으로 설정되었다. 다트머스 회의는 언어, 수학, 컴퓨터, 심리학, 철학 등 다양한 학문 간 협력을 촉진하며 AI 연구를 학제적으로 확장하는 계기가 되었으며, 인공지능과 전산언어학의 미래에 대한 낙관적 전망을 확산시켰다.

3.2 1960~70년대 전산언어학

1960년대 후반부터 인공지능과 전산언어학 연구의 ‘겨울’이 시작되었다5. 1950년대의 낙관론에 기대어 인공지능과 전산언어학에 대한 지원은 크게 늘었으나, 연구자들의 예측과 달리 기술적 진전은 잘 이뤄지지 않았다. Minsky & Papert(1969)는 Rosenblatt(1957)의 퍼셉트론 한계를 수학적으로 증명하였는데, 이는 인공신경망 연구가 관심의 대상에서 멀어지게 되는 직접적인 계기가 되었다 Rosenblatt(1957)은 McCulloch & Pitt(1943)의 뉴런 모델을 발전시켜 인공신경망의 기초가 되는 퍼셉트론(Perceptron) 모델을 제안한 바 있었는데, 예측값과 실제값 사이의 오차를 기반으로 가중치를 조정하는 지도학습 알고리즘이었다. 선형 분류 문제를 해결할 수 있는 최초의 기계학습 알고리즘이었으나 Minsky & Papert(1969)는 Rosenblatt(1957)의 퍼셉트론은 XOR 문제, 연결성 판별 문제 등과 같이 선형적으로 분리가 불가능한 문제를 해결할 수 없다는 점을 수학적으로 증명하였다6. 이 시기, 전산언어학과 기계번역 분야에서도 연구가 진행될수록 오히려 언어의 복잡성 문제가 크게 대두되었다. 특히 미국 국방부, CIA, 국립과학재단 등의 기계번역을 많은 투자를 하였던 기관들은 기계번역의 전망을 다시 검토하기 시작하였다. 미국의 국립과학아카데미는 1964년에 'ALPAC(Automatic Language Processing Advisory Committee)'을 구성하여 기계번역의 연구와 개발상황에 대하여 조사하였고, 1966년 보고서는 ‘기계번역이 인간의 도움 없이 번역하는 시스템이라고 한다면 그런 시스템은 지금까지 개발된 적도 없고 미래의 가능성도 매우 희박하다’는 결론을 내렸다(ALPAC 1966:19-24). 이에 기계번역에 대한 지원을 중단할 것과 자동사전과 같이 번역기를 위한 보조도구의 개발이나 전산언어학 기초 연구에 대한 지원으로 전환하기를 권장하였다. ALPAC의 보고서(1966)로 인해 대규모 지원이 사라지고 여러 기계번역 프로젝트들이 실패한 것으로 인식되었으며 전산언어학이나 기계번역에 대한 연구도 많이 위축되었다. 이에 인공신경망과 전산언어학에 대한 연구와 관심이 줄어들면서 지식 기반 전문가 시스템(Knowledge Based Expert Systems)과 같은 규칙 기반(symbolic) 접근으로 연구 방향이 전환되었다.

사실, 1960년대 들어오면서 전산언어학은 지식 기반 전문가 시스템으로 그 범위를 확장하고 있었다. 지식 기반 전문가 시스템은 인간 전문가가 지닌 의사결정 능력이나 경험 등을 컴퓨터가 모방하여 특정 분야의 복잡한 문제를 해결할 수 있도록 설계된 시스템이다. 전문가의 지식을 컴퓨터가 이해할 수 있는 형태로 표현하고 추론엔진을 통해 새로운 지식을 도출하기도 한다. 지식 기반 전문가 시스템 중에서 가장 기본적인 것은 지식 기반 질의응답 시스템(Q&A System)이다. 1961년 미국 MIT의 Bert Green이 개발한 BASEBALL 시스템은 최초의 질의응답 시스템으로서 미국 프로야구 경기의 모든 자료를 데이터베이스화 하고 이를 자연어로 검색하려는 목적으로 개발되었다. 인간이 입력한 질문을 구문분석하여, 속성-값(attribute-value) 쌍으로 기반으로 한 데이터베이스에서 필요한 정보를 검색하고 출력하는 방식이었다. 비교적 간단한 문법과 데이터 구조를 사용하여 효율성을 향상시켰으며, ‘야구’라는 제한된 도메인 정보만을 이용하여 높은 정확도를 보여주었다. BASEBALL 시스템은 자연어를 사용하여 인간과 컴퓨터 간의 상호작용 가능성을 확인하였고, 특화된 질의응답 시스템이 실용적으로 활용될 수 있음을 입증하였다. Weizenbaum(1966)은 초기 자연어처리 프로그램 중 하나인 ELIZA를 개발하였는데, 최초의 컴퓨터 대화형 프로그램이었다. ELIZA는 인간과 기계 사이의 의사소통을 탐구하기 위해 설계되었고, 키워드 인식과 단순한 패턴 매칭을 기반으로, CRT 환경에서 인간과 대화 상황을 제공하였다. ELIZA는 스크립트를 통해 인간과의 대화를 유도하기는 하였으나 실제로는 인간이 입력한 텍스트의 의미를 이해하지 못하였다. 그럼에도 불구하고 ELIZA는 기계가 인간처럼 보이는 대화를 할 수 있다는 가능성을 처음으로 제시하여 자연어처리와 챗봇(chatbot) 기술 발전에 큰 영향을 끼쳤다. 또한 인간과 기계의 상호작용 연구 및 윤리적 ‧ 철학적 논쟁을 촉발시켰다.

1970년대에는 전산언어학의 이론들이 발전하면서 텍스트 이해와 질의응답 생성에서 여러 프로젝트가 진행되었고, 특화된 전문 도메인을 대상으로 하는 지식 기반 전문가 시스템으로 크게 발전하였다. 1970년대 대표적인 지식 기반 전문가 시스템은 LUNAR 시스템이었다. LUNAR 시스템은 아폴로 11호가 가져온 달의 돌과 흙에 대한 정보를 자연언어를 이용하여 검색할 수 있도록 하기 위해 개발된 정보검색 시스템이다. 3,500 개의 어휘와 ATN 문법에 의한 영어 통사 규칙, 데이터베이스 자료 검색 요청을 해석하기 위한 의미 규칙 등으로 구성된 언어 처리기를 부착하였으며 자연어 문장을 질의어(query language)로 바꾸어 데이터베이스에 있는 정보를 검색하였다. 과학자들의 지질학적 분석을 지원하기 위한 도구였기 때문에 농도 비교, 성분 분석 등의 고급 질의를 비교적 효과적으로 수행하였다. 이러한 지식 기반 전문가 시스템의 공통적인 특징은 특정한 도메인의 전문가가 직접 작성한 핵심 데이터베이스 또는 지식 시스템을 갖추고 있었다는 점과 지식 영역 내에서 반복적이고 유효한 응답을 제공하였다는 점이다.

한편, 이 시기에 전산언어학이나 기계번역에 대한 연구가 완전히 중단된 것은 아니었다. 미국 외의 지역에서는 정부의 지원으로 연구가 계속되기도 하였다. CETA(Centre D’etude Pour la Traduction Automatique) 프로젝트와 TAUM(Tranduction Automatique de Universite de Montreal) 프로젝트 등이 대표적인데, 일부 기계번역의 성과들이 나타나기도 하였다7. CETA는 1961년 프랑스의 Grenoble 대학에서 시작된 기계번역 프로젝트로서, 언어학 이론과 지식을 바탕으로 러시아어를 프랑스어로 번역하는 것을 목적으로 하였다. 1967년에 완성되어 1971년까지 사용되었으며, IBM의 어셈블리어로 프로그램이 되어 있었다. 언어의 독립적인 표현을 추구하여 중간언어(interlingua) 방식을 시도하였는데, 중간언어 방식은 원본 텍스트가 가진 문장의 표층구조를 없앰으로써 오히려 번역의 품질이 나빠진다는 사실을 발견하였고 통사적으로 유사한 언어들은 심층구조를 분석하는 것보다는 직접 번역하는 것이 더 효과적일 수 있다는 것을 밝혀냈다(정성훈 2019:12). TAUM은 1965년에 캐나다 정부의 지원을 받은 몬트리올 대학에서 시작된 기계번역 프로젝트로서, 순수한 변환 방식을 이용한 최초의 시스템이었다. 특히 TAUM-METEO는 캐나다 기상청(CMC)의 일기예보를 영어에서 프랑스어로 자동번역하기 위한 시스템으로, 1976년에 프로토타입이 개발되었으며 1977년에 실제로 운영하였다. 일기예보의 문장은 제한된 어휘와 간단한 문법 구조를 사용하는 정형화된 구조가 많았기 때문에 기계번역에 적합한 도메인(domain)이었고, 실제로 높은 정확도를 달성하며 특정 분야에서 기계번역의 실용성을 입증하였다.

SYSTRAN은 최초의 상품화된 기계번역 시스템으로, 1970년에 미국 연방 정부 FTD (Foreign Technology Department)에서 처음 사용되기 시작하였고, 1974년에는 NASA에서 러시아어-영어 번역, 1976년에는 유럽연합(EU)에서 영어-프랑스어 번역, 1979년에는 영어-이탈리아어 번역 등에 사용되었다. 이후 유럽연합은 1985년에 프랑스어-독일어, 영어-독일어 번역에도 SYSTRAN 시스템을 이용하여, SYSTRAN은 80년대 후반까지 꾸준하게 사용되었다. 규칙기반 기계번역에서 출발한 SYSTRAN은 번역 언어쌍의 제한과 도메인 확장의 한계 등이 약점으로 꼽히지만 신경망 기계번역 시스템으로 발전하여 현재까지도 성공한 기계번역 시스템의 하나로 평가받고 있다(정성훈 2019:13).

3.3 1980~90년대 전산언어학

1980년에 들어오면서 기계번역 연구가 다시 활기를 띠기 시작하였다. SYSTRAN이 유럽연합에서 실용적으로 사용되면서, 기계번역의 중요성이 다시 조명되었다. 1940년대와 1950년대의 기계번역 연구에 대해서 집중적인 재검토가 이루어졌고, 기계번역을 위한 실용적 도구들이 개발되기 시작하였다.

1983년부터 1987년까지 영국 정부는 Alvey 프로젝트를 지원하였는데 인공지능, 자연어처리, 지식 기반 시스템 등 다양한 분야에서 협력적인 연구를 촉진하는 것을 목표로 하였다. 영국의 주요 대학과 세계적인 IT 기업들이 참여하였고 우리나라에서도 1987년 7월 맨체스터에서 열린 Alvey 회의에 참석하여 그 성과를 공유하였다(방승양 1987). Alvey 프로젝트는 산학연 협력 모델로서는 성공에 이르지 못하였으나, 그때까지 자연어처리와 인공지능 분야에서 이루어낸 성과를 검토하고 기초 연구를 활성화하여 이후 전산언어학과 인공지능 분야의 기술 발전에 토대를 마련하였다.

1985년에는 프린스턴 대학교의 인지과학 연구소에서 영어 단어들 간의 의미관계를 체계적으로 정리하는 전산언어학 프로젝트가 시작된다. Miller 외(1988)가 구축한 WordNet은 인간의 심리적 언어 모델을 기반으로 하여, 인간이 직관적으로 이해하기 쉬운 어휘 관계 데이터베이스이다. WordNet은 사전(dictionary)과 시소러스(thesaurus)의 기능을 결합 ‧ 확장하여 자연어처리, 정보검색, 의미 분석 등과 같이 전산언어학과 인공지능 분야에서 활용할 수 있는 도구를 제공하는 것을 목적으로 하였다. WordNet은 1993년 첫 번째 버전이 공개되었고, 이후 지속적으로 수정되고 확장되고 있다. WordNet은 BSD 스타일 라이선스로 제공되어 누구나 자유롭게 사용할 수 있으며, 여러 언어로 확장되어 글로벌 연구 커뮤니티에서 널리 활용되고 있다. 현재 WordNet은 200개 이상의 언어로 번역되었고, 글로벌 WordNet 협회(Global WordNet Association)가 이를 관리하고 있다.

그림 3.

WordNet과 그 확장: Universal Wordnet(UWN)8

1980년대 후반부터는 전산언어학의 큰 변곡점이 생기기 시작한다. 데이터 기반(data-driven)의 분석 방법과 통계·확률 기반의 모델이 결합하여 전산언어학의 새로운 방향이 생겨난 것이다. 그 대표적인 모델이 은닉 마르코프 모델(Hidden Markov Model)과 N-gram 언어모델이다. 은닉 마르코프 모델은 직접 관찰할 수 없는 내부 요인(은닉 상태)에 의존하는 관찰가능한 사건의 진화를 설명하기 위한 통계적 모델이다. 은닉 마르코프 모델은 1906년 Andrey Markov가 처음 제안한 마르코프 체인(Markov chain)이라는 확률과정 모델에서 출발하였으며, 1960년대 프린스턴 대학의 Baum(1966)이 은닉 마르코프 모델의 이론적 기초를 세운다. 1970년대 음성 인식 분야에서 활용되기 시작하였으며, 이후 생물 정보학, 자연어처리 등 다양한 분야에서 중요한 도구로 각광받기 시작하였다. 또한 1990년대부터 은닉 마르코프 모델은 음성 인식뿐만 아니라 자연어처리와 결합하여 품사 태킹(Pos Tagging), 개체명 인식, 구문 분석 등에 활발히 사용되었다. N-gram 언어모델은 통계를 기반으로 빈도에 기반한 통계적 언어모델의 한계점인 희소성(spasity)의 문제를 보완하기 위해 등장하였다. N-gram 언어모델은 Shannon(1948)에서부터 시작된다. Shannon(1948)은 엔트로피의 개념을 제안하면서 N-gram 모델의 속성을 연구하였다. 1980~1990년대에 들어서면서 대규모 코퍼스의 구축 및 컴퓨터 하드웨어의 급속한 발전과 함께 N-gram 언어모델은 재조명되었으며, 더 많은 문맥 정보가 반영될수록 텍스트에 대한 혼란도(perplexity)가 크게 감소하는 것이 확인되었다. 당시 기계번역 시스템의 표준으로 사용되기도 하였고, 은닉 마르코프 모델과 결합하여 단어 시퀀스의 확률을 효과적으로 추정하고 오류율을 낮추는 데 크게 기여하였다.

3.4 2000년대 이후 전산언어학

2000년대 이후 현재까지는 ‘단어임베딩(Word Embedding)’과 ‘인공신경망(Artificial Neural Networks)’의 시대라고 할 수 있다. 딥러닝(Deep Learning)이라는 강력한 패러다임의 등장과 함께 신경망 연구는 전산언어학의 핵심 기술로 자리매김했다.

Hinton 외(2006)은 사전훈련(pre-training) 방식을 제안하여 다층 신경망 학습의 어려움을 극복하는 데 중요한 기여를 하였다. 초기 다층 신경망은 충분한 양의 레이블링된 데이터가 부족했고 역전파 알고리즘을 적용했을 때 기울기 소실(vanishing gradient) 문제가 발생하여 신경망 학습이 제대로 이루어지지 않는 경우가 많았다. Hinton 외(2006)은 전체 신경망을 한꺼번에 학습시키는 방식 대신에 비지도학습을 통해 각 층위별로 학습하게 하였고, 사전훈련 방식을 통해 어느 정도 의미 있는 특징을 학습한 후 실제 레이블링된 데이터를 사용하여 전체 신경망을 지도학습 방식으로 미세조정하였다. 이러한 Hinton 외(2006)의 방식은 딥러닝 연구의 중요한 토대가 되었으며 특히 음성인식 분야에서 획기적인 성능 향상을 이끌어내었다.

2007년에는 Graves 외(2007)가 필기체 인식 대회에서 LSTM(Long Short-Term Memory Network) 모델로 우승하여 기계학습과 패턴인식에 대한 인공신경말 모델의 재평가가 이루어졌다. LSTM 모델은 RNN의 특별한 종류로서, Hochreiter & Schmidhuber(1997)이 제안하였으나 Graves 외(2007)와 추후 연구들로 유명해졌다. LSTM은 기억셀(cell state)라는 개념을 도입하여 오래된 정보도 잘 보존하기 때문에 긴 의존기간을 필요로 하는 학습에 유리하여 여러 분야의 문제를 굉장히 잘 해결하였다. 즉, 긴 시퀀스(sequence)에서 장기 의존성(long-term dependency)을 효과적으로 학습할 수 있고, 기울기 소실 문제를 해결하여 더 깊은 신경망 학습이 가능하게 하였다. 또한 피드백 루프를 통해 다른 신경망보다 패턴 인식에 더 우수한 성능을 보이는 것으로 알려져 있다. 그러나 계산 과정이 다소 복잡하고, 대량의 데이터와 컴퓨팅 자원이 필요로 하는 단점도 존재하였다.

2013년에는 Mikolov 외(2013)가 CBOW(Continuous Bag-of-Words)와 Skip-gram 알고리즘을 통해 대규모 코퍼스로부터 단어 간의 분포 기반 의미 유사성을 효과적으로 추출해내어 큰 주목을 받았다. 대규모 코퍼스를 학습하여 각 단어의 주변 단어 정보를 고차원의 실수 공간의 벡터로 변환한다. 이러한 단어임베딩 방식은 단어의 사용 문맥에 기반하여 벡터를 학습하며, ‘king - man + woman ≈ queen’과 같이 벡터 연산으로 의미적 유추(inference)가 가능하였다.

그림 4

벡터 공간에서 단어의 유사성과 추론 (Mikolov 외, 2013)

Vaswani 외(2017)은 트랜스포머(Transformer) 모델을 제안하여, 순차적 시퀀스 처리에서 탈피하여 문맥을 동시 처리할 수 있는 새로운 방향을 제시하였다. RNN, LSTM 등 기존의 순차적 구조의 신경망 모델은 입력 순서를 기반으로 문맥 정보를 처리하지만, 긴 문장의 장기 의존성을 해결하는 데에 한계가 있거나 연산의 병렬화가 어려워 대규모 데이터를 학습하기 어렵다는 실용적 문제가 있었다. 트랜스포머 모델은 입력 시퀀스의 각 단어가 전체 시퀀스 내 다른 단어들과 서로 ‘주의(attention)’를 할 수 있도록 하여, 각 단어가 어떤 문맥에서 사용되고 있는지를 학습한다. 이 과정에서 각 단어는 Query, Key, Value 벡터로 변환되어 dot-product를 통해 가중치를 할당받고, 이를 통해 문맥이 반영된 새로운 벡터 표현을 획득한다. 트랜스포머 모델은 이후 BERT(Bidirectional Encoder Representations from Transformers), GPT(Generative Pre-trained Transformer)와 같은 대형 사전학습 언어모델(Large Language Model)의 기반이 되었고, 이러한 모델은 단어뿐 아니라 문장 전체의 의미까지 포괄적으로 표현하는 데까지 이르렀다. 즉 단순한 벡터화 수준의 임베딩을 넘어서 언어의 구조와 의미, 문맥적 흐름을 포괄하는 ‘동적 언어 표현(dynamically contextualized representation)’의 가능성을 열었다9.

3.5 전산언어학의 최신 동향

인공지능(AI) 기술의 급성장은 인간의 언어를 이해하고 생성하는 것을 목표로 하는 전산언어학에 새로운 도전과 기회를 제공하고 있다. 특히 트랜스포머 기반의 대규모 언어 모델의 등장은 자연어처리 과제(task)에서 괄목할 만한 성능 향상을 이루며 사회 전반에 걸쳐 그 중요성이 증대되고 있다. 텍스트 생성, 기계번역, 질의응답, 챗봇 등 다양한 응용 분야에서 대규모 언어 모델은 인간과 유사한 수준의 언어 능력을 보여주며, 인간의 의사소통 방식과 정보 접근 방식에 급격한 변화를 가져오고 있다. 또한 대규모 언어 모델뿐만 아니라 최근에는 멀티모달 AI, 실시간 번역, 윤리적 AI 등 다양한 분야에서 새로운 혁신을 이루고 있다. 전산언어학의 최신 동향을 정리하면 (1)과 같다.

(1) 전산언어학의 최신 동향

최근 언어 모델의 규모가 확대되고 다양화 되면서 더 많은 파라미터와 더욱 큰 데이터 세트를 활용하여 모델의 성능을 지속적으로 향상시키려는 시도가 계속되고 있다. 이와 함께 기존의 이미지나 텍스트뿐만 아니라 음성, 비디오 등 다양한 형태의 데이터를 함께 이해하고 처리하는 멀티모달 모델 연구가 급부상하고 있다 또한 특정 도메인에서 미세조정을 통해 언어 모델을 맞춤형으로 학습시키거나 적응시키려는 연구도 활발히 진행되고 있다. 한편, 언어 모델의 잠재력을 최대한 활용하기 위한 효과적인 프롬프트 엔지니어링 연구가 중요한 분야로 부상하고 있으며, 블랙박스로 알려진 언어 모델의 예측 및 의사 결정 과정을 인간이 이해할 수 있도록 설명하는 XAI(Explainable AI) 연구의 중요성도 강조되고 있다.

위와 같이, 전산언어학은 디지털 시대에서 인간과 컴퓨터, 인간과 인간 간의 소통을 혁신하며, 다양한 산업에 걸쳐 실질적인 가치를 창출하고 있다. 그러나 전산언어학의 최신 기술들이 극복해야 할 과제들도 산적해 있다. 특히 다음과 같은 과제들은 시급하게 해결해야 할 문제로 보인다.

(2) 전산언어학의 향후 과제

현재까지의 전산언어학의 최신 기술들은 기계번역이나 검색 시스템 등 일부 특정 분야에서만 적용되고 사용되어 왔으나, 앞으로는 인간 생활에 실질적인 도움이 되는 법률, 의료, 금융 등 다양한 분야에서 실용적으로 활용될 수 있도록 특화된 시스템을 구축할 필요가 있다. 그러나 언어 모델의 편향성 완화, 허위 정보의 생성 방지, 범죄의 악용 가능성 차단 등 윤리적인 문제 해결 및 안전성 확보를 위한 연구가 선행되어야 할 것이다. 또한 오픈소스 라이브러리와 클라우드를 기반으로 하는 서비스를 통해 전산언어학의 여러 기술을 더 많은 일반 사용자가 더욱 쉽게 사용할 수 있는 도구를 제공하여 그 접근성을 확대해야 하는 과제도 있다.