2.1.1 규칙 기반 분석

일반적으로 형태소 분석기는 크게 입력 텍스트로부터 형태소의 가능한 조합을 분리해내고(형태소 분리), 그 중 가장 적절한 형태소 배열을 선택(품사 부착)하는 과정을 통해 형태소를 분석해낸다. 규칙 기반 분석에서는 대체로 이 두 과정 모두를 연구자가 설계한 규칙에 의해 수행한다. 대표적으로 김성용6과 권오욱7은 Tabular Parsing에 기반해 형태소 분리를 수행하고 다양한 제약 조건을 바탕으로 최적의 후보를 선택하는 방식을 사용했다. 효율적인 형태소 분리를 위해 양방향 최장일치법8이나 부분 어절의 기분석9 방법이 제안되기도 했다. 또한 형태소 분리 단계에서의 과생성을 해결하기 위해 언어학적 정보를 사용하는10 기법과 형태소 간의 계층 구조11를 이용한 연구도 있었다. 또한 알려지지 않은 형태소 문제를 해결하기 위해 음절 패턴 기반의 예측 모델12이 제안되기도 했다.

2.1.2 통계 기반 분석

통계 기반의 접근법은 말뭉치로부터 모델을 학습할 수 있으므로 연구자가 일일이 규칙을 작성할 필요가 없고 특정 태그집합에 종속적이지 않기 때문에 연구의 확장성이 높다. 때문에 다양한 한국어 말뭉치(ETRI, KAIST, 21세기 세종계획)들이 구축되면서 형태소 분석기 연구의 관심은 통계 기반으로 옮겨 갔다. 이도길과 임해창13은 표면형으로부터 형태소를 생성하는 확률 모델을 세우고 이를 최대우도법으로 학습시킴으로써 한국어 형태소 분석이 연구자가 별도로 작성한 규칙 없이 확률 모델만으로도 수행될 수 있음을 보였다. 이재성14은 형태소 분리 과정에서 원형 복원을 별도 단계로 나누어 각 단계를 단순화시키고 형태소 전이 확률을 기반으로 형태소 분리함으로써 분석 성능을 높였다.

한편 형태소 분리에는 어휘집(Lexicon)을 사용하고 품사 부착에는 통계적 모델을 사용한 하이브리드 접근법도 제안되었다. 대표적인 것이 Kudo의 연구15로 그는 규칙에 기반한 어휘집을 통해 텍스트를 형태소 격자로 구성하고, 조건부 무작위장(Conditional Random Field, CRF)를 이용해 품사를 부착하는 방식을 사용했다. 그는 이 기법으로 일본어 형태소 분석기인 MeCab16을 개발하여 오픈소스로 공개했다. 특히 MeCab은 확장성이 높아 어휘집을 교체하고 CRF 모델을 새로 학습하면 다른 언어를 분석하는 데에도 사용이 가능하다. 덕분에 국내에서도 MeCab용 한국어 형태소 사전을 구축하려는 시도인 은전한닢 프로젝트17가 진행되었다. 이 프로젝트의 결과물로 2013년 공개된 한국어 오픈소스 형태소 분석기 MeCab-ko는 빠른 속도와 높은 정확도로 현재도 널리 쓰이고 있다.

나승훈18은 Kudo와 유사하게 격자를 사용하지만 품사 부착에 Averaged Perceptron을 사용한 뒤 미등록어 분리를 위한 후처리를 추가한 한국어 형태소 분석기를 제안했고 이를 통해 높은 정확도를 달성할 수 있었다. 한편 심광섭19은 음절 단위에 CRF를 적용하여 품사를 부착하는 방식을 제안했다. 이 방식은 음절에 바로 CRF를 적용하므로 별도의 형태소 분리 단계가 필요 없어 높은 성능을 유지하면서도 시스템 구조를 단순화할 수 있다는 장점이 있다.

2.1.3 딥러닝 기반 분석

최근 심층신경망(Deep Neural Network)이 NLP 과제에 있어서 매우 뛰어난 성능을 보인다는 것이 확인됨에 따라 형태소 분석에도 신경망 모델을 도입하려는 다양한 시도가 이어지고 있다. 딥러닝 기반 분석기에서 두드러지는 접근법은 end-to-end로 이는 신경망 외의 다른 중간 과정을 거치지 않고 입력 텍스트로부터 바로 형태소 분석 결과를 출력해내는 방법들을 일컫는 표현이다. 대표적으로 서대룡20은 심광섭이 시도한 음절 기반 접근법에 신경망을 적용하였다. 순환신경망(Recurrent Neural Network, RNN) 모델의 일종인 BiLSTM에 CRF를 결합시켰고 한글 자모를 분리하여 음절단위로 입력함으로써 자모가 바뀌는 오타에도 강건한 모델을 구축할 수 있었다. 카카오에서 공개한 오픈소스 형태소 분석기인 Khaiii21 역시 유사한 아이디어를 바탕으로 한다. 대신 Khaiii는 RNN 대신 병렬처리가 가능한 합성곱 신경망(Convolutional Neural Network, CNN) 모델을 채용하여 속도를 높여 실용적인 시스템을 구축했다. 또한 훈련 데이터셋인 세종 계획 말뭉치의 오류를 수정하여22 모델의 정확도를 크게 개선했고 쉽게 사용할 수 있도록 Python 바인딩을 제공한 덕분에 Khaiii는 현재도 다양한 곳에서 널리 사용되고 있다.

한편 기계 번역에 주로 사용되는 구조인 Sequence-to-sequence를 채용한 연구도 있다. 이건일23은 형태소 분석을 입력 텍스트를 품사가 부착된 출력 텍스트로 변환하는 번역 과제로 보고 Sequence-to-sequence 모델을 학습하였다. 정확도는 기존의 판별 모델 기반의 분석기를 앞서지는 못하였지만 형태소 분리와 품사 부착 등 여러 단계로 구성된 기존의 형태소 분석기와는 달리 어휘집이나 규칙 없이 모델만으로 입력 텍스트에서 바로 품사 부착된 결과를 생성하는 것이 충분히 가능하다는 것을 보였다는 점에서 이 연구는 의미가 있다. 최병서24는 이 연구에서 더 나아가 입력 자질로 음절뿐만 아니라 자모와 음절 Bigram을 함께 사용함으로서 띄어쓰기 오류나 신조어가 포함된 문장의 분석 성능을 높였다.

2019년 BERT25가 발표된 이후 BERT를 한국어 형태소 분석에 사용하려는 연구도 등장했다. 민진우26와 박천음27의 연구가 대표적이다. 두 연구는 모두 BERT에 LSTM-CRF를 결합하여 사용한다는 점에서는 동일하지만 민진우의 연구는 입력 단위를 Subword로, 박천음의 연구는 입력 단위를 음절로 설정했다는 차이가 있다. 특히 후자는 입력 단위가 음절이라는 점에서 이전에 심광섭이나 서대룡이 제안한 모델 구조와 유사하지만 핵심 모델이 BERT로 교체됨에 따라 정확도가 크게 향상되었다.

3.1.1 Kiwi의 한글 표현 방법

한글은 자음과 모음이 개별적으로 존재하지만 이를 한 음절로 모아서 표기하는 독특한 특징이 있다. 이 때문에 컴퓨터 내에서 한글을 인코딩하는 방법에 대해서도 개별 자모를 최소 단위로 보는 방법(조합형)과 음절을 최소 단위로 보는 방법(완성형)이 각각 제안되어 어느 쪽이 더 효율적인지 경쟁한 바가 있다. 유사한 논쟁이 형태소 분석기 내에서도 존재한다. 분할 단계에서 사용하는 형태소 사전의 문자 집합을 설정하는 문제가 바로 그것이다. 분할 단계에서는 텍스트 내에 잠재하는 형태소 후보를 최대한 추출하기 위해 대규모의 형태소 사전을 이용한다. 이 과정을 효율적으로 수행하기 위해 형태소 사전은 트라이(Trie)라는 자료구조로 저장된다. 트라이 구조의 탐색 속도는 문자 집합의 크기가 작을수록 또 입력 문자열의 길이가 짧을수록 더 빨라진다.

그런데 문자 집합을 어떻게 설정하느냐에 따라 입력 문자열의 길이가 함께 달라지기 때문에 최적의 문자 집합을 설정하는 것은 단순하지 않은 문제가 된다. 예를 들어 음절 단위를 문자 집합으로 잡으면 ‘글자’라는 텍스트는 문자 ‘글’과 ‘자’로 이뤄진 길이 2의 문자열이 되겠지만, 자소 단위를 문자 집합으로 잡으면 ‘ㄱ’, ‘ㅡ’, ‘ㄹ’, ‘ㅈ’, ‘ㅏ’로 이뤄진 길이 5의 문자열이 된다. 음절 단위를 문자 집합으로 잡아서 문자 집합을 크게 가져가는 대신 입력 문자열의 길이를 짧게 하는 것과 자소 단위를 문자 집합으로 문자 집합을 작게 하는 대신 입력 문자열의 길이를 길게 하는 것 중 더 효율적인 것을 찾아 선택해야 하는 것이다.

표 1은 다양한 한글 표현 방법을 비교한 것으로, Kiwi는 여기서 음절과 자소의 절충안인 ‘초성과 중성은 결합하되 종성만 분리하여 표현하는 방법’을 선택했다. 효율적인 메모리 활용을 위해서는 문자 집합의 크기를 작게 유지하는 것이 필수인데, 자소의 경우 문자 집합은 67개(초성 19개 + 중성 21개 + 종성 27개)로 충분히 작지만 문자열 길이가 음절당 평균 2.454개로 너무 길어지는 문제가 있었고, 반대로 음절의 경우 음절당 평균 1개로 문자열을 짧게 표현할 수 있지만, 문자 집합의 크기가 1만이 넘어가는 문제가 있었기 때문이다. 하지만 종성만 별도로 분리하면 문자 집합의 크기가 427개(초성 19개 × 중성 21개 + 종성 27개)로 비교적 작으면서도 음절당 평균 길이도 1.454이 되어 메모리와 속도 양쪽의 균형을 잡을 수 있는 표현 방법이 된다.

이와 더불어 몇 가지 유용한 특징을 추가로 지닌다. 분석 과정에서 용언의 활용형에 대해서 원형을 복원해야 하는 작업이 필요한데, 음절 단위에서는 모든 활용형이 다 다른 음절을 가지므로 활용형들 사이에서 공통 접두사45가 거의 존재하지 않는다. 반면 종성만 분리한 경우에서는 자소 단위에서와 마찬가지로 모든 활용형들에 대해 대체로 2~3개의 공통 접두사를 추출해내는 것이 가능하다.

또한 종성만으로 이뤄진 어미나 조사 등의 형태소가 결합하는 경우, 음절 단위 표현법에서는 음절에 종성이 붙는 것을 별도로 계산하는 절차(버리 + ㅁ → 버리ㅁ → 버림)가 필요하지만, 종성만 분리하는 표현 방법에서는 그대로 이어붙일 수 있다(버리 + ㅁ → 버리ㅁ).

이런 점을 고려하여 Kiwi에서는 내부 한글 표현 방법으로 종성만 분리하는 것을 채택했고, 표준으로 사용되는 한글 인코딩 방법인 유니코드와의 호환을 위해 형태소 분석 전에는 입력된 텍스트에서 종성만 분리하는 전처리 단계를, 분석 후에는 분리된 종성을 다시 결합하는 후처리 단계를 추가하였다.

3.1.2 품사 태그

Kiwi에서는 형태소 품사 태그로 21세기 세종계획47의 품사 태그 집합을 채택하고 몇 가지 태그를 추가로 정의하여 사용하였다. 전체 태그는 표 2와 같고 이 중 추가로 정의한 태그에는 별표(*)를 붙였다. 세종계획의 품사 태그에서 사실상 거의 쓰이지 않는 태그인 분석 불능 범주(NA, NF, NV)를 제외하였고 웹 텍스트 분석 시의 편의성을 위해 URL 주소(W_URL), 이메일 주소(W_EMAIL), 해시태그(W_HASHTAG), 멘션(W_MENTION), 일련번호(W_SERIAL) 패턴에 대한 품사 태그를 추가하였다. 또한 웹 상에서는 ‘했어용’, ‘했어욥’ 처럼 어미 뒤에 받침을 덧붙여서 다양하게 변형된 말투를 자주 사용하는데, 여기서 덧붙은 받침을 분리할 때 사용하도록 Z_CODA라는 품사 태그도 정의하였다. 또 인용 부호 및 괄호의 시작과 끝을 구분할 수 있도록 SS 태그를 SSO, SSC로 세분화하였고, 순서 있는 글머리를 위한 품사 태그인 SB를 추가했다. 그리고 부사 파생 접미사를 위한 품사 태그 XSM을 추가로 정의하였다.

또한 규칙 활용 용언과 불규칙 활용 용언을 구분하기 위해 -R, -I 태그를 신설하였다. 이 두 태그는 단독으로 사용되는 게 아니라 용언 태그의 접미사로 쓰인다. 예를 들어 VV-R은 규칙활용 동사, VA-I는 불규칙활용 형용사를 가리킨다.

3.2.1 형태소 결합 규칙

한국어 맞춤법에서는 가능하면 형태소를 밝혀서 한국어를 적도록 규정하고 있으나 용언이 활용되면서 어미와 결합하면 그 형태소가 온전하게 드러나지 않는 일이 잦다. 따라서 형태소 분석기에서는 활용된 용언의 원형을 찾아서 어간과 어미를 분리하는 작업이 필수적이다. 다행히도 한국어 용언의 활용은 유형별로 규칙에 의해 정의될 수 있으므로 규칙과 이에 대한 일부 예외만 처리하면 쉽게 원형 복원이 가능하다.

Kiwi에서는 초기화 단계에서 규칙에 기반하여 결합 가능한 형태소들의 조합을 모두 탐색하여 이를 어휘집에 저장한다. 이 방법은 형태소 분석에 앞서 초기화에 소요되는 시간이 증가한다는 단점이 있으나, 사용자가 새 형태소를 사전에 추가한 경우 이 형태소의 활용형까지도 자동으로 형태 사전에 등재되므로 사용자의 요구에 맞춰 사전을 조작하는 게 더 용이하다는 장점이 있다. Kiwi에서 사용하는 형태소 결합 규칙 중 일부는 표 3과 같다.

Kiwi에서 사용하는 결합 규칙은 총 20가지로, 각 규칙들은 적용 대상이 되는 품사와 그 형태를 되도록 한정적으로 정의하여 분석기 초기화 단계에서 결합 가능한 형태소 조합을 효율적으로 탐색할 수 있게 하였다.

3.2.2 어휘집 기반의 형태소 분리

형태소 분석기 초기화 단계에서 가능한 결합 규칙을 미리 적용해 어휘집에 등록해 두었으므로 실제 분석 시에는 트라이를 통해 텍스트 내에서 형태소 후보를 추출할 수 있다. 특히 아호 코라식(Aho-corasick) 알고리즘49을 사용하면 추출 과정을 크게 가속할 수 있다. 다만 모든 형태소가 어휘집에 등록되어 있을 수는 없기 때문에 미등록어를 다루기 위해 몇 가지 경험론적 보정 규칙을 도입하였다.

첫째는 패턴 기반 일치로 이는 특수 문자, 숫자, 로마자, 한자 등으로 구성된 문자열을 별도로 처리하기 위해 도입하였다. 예를 들어 세종 품사 태그에서는 임의의 숫자열에는 SN 태그를, 영단어에는 SL을 일괄적으로 부여하고 있다. 따라서 이런 문자열에 대해서는 별도로 어휘집 탐색 절차를 거치지 않고 패턴 일치 후 바로 태그를 부여하도록 하였다. 다만 419나 Rh+와 같이 특수 문자로 구성되어 있더라도 고유명사로 쓰이는 단어에 대해서는 어휘집에서 처리하도록 하였다.

둘째는 규칙 기반의 오타 교정이다. 한국어에서 발생하는 오타나 맞춤법 오류의 유형은 다양하지만 그 중 많은 비율이 음가가 비슷한 글자나 글자열을 헷갈려 잘못 사용하는 것에 기인한다. 규칙 기반의 오타 교정은 한국어에서 통용되는 발음 규칙에 기반하여 어휘집 탐색 범위를 조절하여 오타에 대해서도 강건한 분석기를 구현할 수 있게 한다. ‘마갔다(막았다)’와 같은 입력을 예로 들자면, 받침의 자음과 초성의 ㅇ이 연쇄하는 경우 받침을 뒤로 넘겨 적는 변형이 가능하다고 규칙을 정의하면 실제 탐색 과정에서 시스템은 ‘마가’라는 문자열을 발견한 뒤 어휘집에서 ‘마가’뿐만 아니라 ‘막아’도 함께 탐색하도록 할 수 있다. 다만 이 경우 실제 ‘마가’를 의도하고 적은 문자열까지 ‘막아’로 잘못 교정될 수 있으므로 ‘마가’가 ‘막아’로 변형될 때는 어느 정도 벌점을 부여하여 과도 교정을 막았다. 오타 교정 규칙은 Kiwi의 소스 코드50에서 확인할 수 있다.

어휘집과 규칙을 통해 입력 문자열이 형태소 후보로 분할되었다면 언어 모델이 이를 효율적으로 탐색할 수 있게 최종적으로 격자(Lattice) 구조로 변환한다. 격자 구조에는 시작점과 끝점이 존재하며 그 사이에는 다양한 형태소 후보가 놓이게 된다. 따라서 시작점에서 끝점까지를 잇는 경로가 다양하게 존재하게 되는데 언어 모델은 이 중 가장 확률이 높은 경로를 찾는 역할을 수행한다.

3.2.3 언어 모델 기반의 품사 부착

Kiwi에서 사용하는 언어 모델은 앞서 언급한 것처럼 통계를 기반으로 한 n-gram 언어 모델이다. n-gram 언어 모델은 이전 n-1 개의 단어 맥락을 이용하여 다음 단어가 등장할 확률을 계산하는 모델로 복잡한 연산 없이도 말뭉치 내에 존재하는 단어들의 빈도를 조사하는 것만으로 확률을 계산할 수 있어서 신경망 기반 언어 모델에 비해 효율적이다. 단 말뭉치 내에 등장한 적이 없는 단어열에 대해서는 확률을 계산할 수 없다는 희소 문제(sparsity problem)가 있고 이를 개선하기 위해 다양한 평탄화(smoothing) 기법이 제안되어 왔다. Kiwi에서는 현재 알려진 평탄화 기법 중 가장 품질이 좋은 것으로 알려진 Modified Kneser-Ney smoothing을 사용한 n-gram 언어 모델(KNLM)을 형태소열에 맞게 살짝 변형하여 사용한다. 구체적으로 Kiwi에서는 형태소열 m₁⋯n-1이 주어졌을 때 다음 형태소로 m_n이 나타날 확률을 계산하기 위하여 말뭉치에서 빈도를 계산하는 방식 N(m₀,m₁,⋯,m_n)을 다음과 같이 바꾸어 정의하였다.

여기서 c(m₀)은 말뭉치에서 형태소 m₀이 등장한 빈도를 나타내고, c(POS(m₀),m₁,⋯,m_n)은 형태소 m₀의 품사 태그와 동일한 형태소 아무것이나 등장한 이후 형태소열 m₁,⋯,m_n이 차례로 등장한 빈도를 나타낸다. 즉, 길이가 2이상인 형태소열의 빈도를 탐색할 때 첫 번째 형태소는 품사 태그만 일치해도 전체가 일치한 것으로 간주한다는 점이 일반적인 KNLM과 다른 점이다. n=3인 경우를 예를 들자면 주어진 형태소 m₃ 앞의 형태소 2개 m₁,m₂와 더불어 그 앞의 형태소의 품사 태그 POS(m₀)까지 고려하는 언어 모델이 된다. 따라서 배열의 길이가 4이므로 4-gram 언어 모델의 일종이지만 실제 온전한 형태소는 3개이고 제일 앞의 1개는 품사태그만 고려하므로, 이를 편의상 3.5-gram 품사-형태소 언어 모델이라고 부를 수 있을 것이다. 모델을 이렇게 변형한 까닭은 n-gram 언어 모델은 n이 클수록 더 긴 문맥을 고려할 수 있어 성능이 향상되지만 동시에 과적합 문제와 희소 문제가 심화되고 모델을 저장하는 데에 필요한 메모리가 기하급수적으로 증가하기 때문이다. 그러나 품사-형태소 언어 모델은 일반적인 형태소 기반 n-gram 모델보다 1만큼 더 긴 문맥을 유지하면서도 모델 크기를 줄일 수 있고 또한 과적합 문제 및 희소 문제를 어느 정도 피할 수 있다.

3.2.4 장거리 의존성 해소를 위한 Skip-Bigram 언어 모델

Kiwi에서 기본적으로 채택한 n-gram 품사-형태소 언어 모델은 가까운 거리 내에 있는 형태소 간의 관계는 잘 계산해낼 수 있지만 멀리 떨어져 있는 형태소 간의 관계는 전혀 고려하지 못한다. 한국어에서 자주 쓰이는 문법 형태소인 조사와 어미는 바로 앞에 위치한 체언 혹은 용언과의 관계를 통해 쉽게 그 분포를 추정할 수 있기 때문에 문법적 문제는 n-gram 언어 모델로 비교적 쉽게 해결될 수 있다. 그러나 의미적 문제는 멀리 떨어진 형태소들 간의 관계를 고려해야만 풀 수 있는 경우가 많기 때문에 단순히 n-gram 언어 모델로는 풀기 어렵다. 특히 한국어는 어순이 비교적 자유로운 편이고 주어와 술어 사이에 목적어가 끼어드는 어순을 가지기에 장거리 의존성(Long-term dependency)이 발생하는 경우가 더욱 많다.

Kiwi는 이런 경우를 해결하기 위해 조금 더 개선된 언어 모델인 Skip-Bigram(SBG)을 고안하여 추가적으로 도입하였다. SBG은 Word2Vec51의 학습 방법 중 하나인 Skipgram의 아이디어를 발전시킨 것으로 기본적으로 KNLM의 확률 계산에 의존하지만 실질 형태소에 대해서는 앞의 문맥에 따라 확률을 보정하는 방식으로 작동한다. Word2Vec Skipgram 모델은 특정 단어로부터 일정한 거리 내의 있는 단어들이 그 어순과는 관계없이 그 단어의 등장에 영향을 준다는 가정을 바탕으로 한다. SBG에서도 이와 동일한 가정을 사용하며 구체적으로 SBG의 형태소 등장확률 P_SBG는 다음과 같이 계산된다.

여기서 P_KN은 KNLM에 의한 형태소 등장 확률이며, P_B(m_n|m_i)는 실질 형태소 m_i가 왼쪽에 등장했을 때 형태소 m_n이 등장할 확률, S는 모든 실질 형태소의 집합, d(m_n)는 형태소 m_n의 등장확률을 계산할 때 얼마나 P_B 확률을 반영할 것인지 조절하는 가중치를 뜻한다. 여기서 P_KN은 인접한 n개의 형태소만을 형태소의 순서를 고려해 확률 계산에 사용하지만, P_B는 왼쪽의 위치한 형태소라면 거리에 관계없이 모두 확률 계산에 사용한다. 다만 순서는 고려하지 않는다. P_B는 R^|S|×|S|의 행렬로, d는 R^|S|의 벡터로 표현 가능하므로 SBG모델을 저장하는 데에는 전체 실질 형태소 개수의 제곱만큼의 추가 메모리가 필요하다. 다행히도 P_B를 나타내는 행렬은 대부분의 값이 0에 가까운 희소 행렬(sparse matrix)이므로 이를 효율적으로 저장하는 자료구조를 이용하면 모델이 사용하는 메모리를 효과적으로 줄일 수 있다. 먼저 학습이 완료된 KNLM과 SBG 학습에 사용할 말뭉치가 주어진 경우, 신경망 학습에 흔히 사용하는 확률적 경사 하강법(Stochastic Gradient Descent)을 사용하여 SBG모델을 쉽게 학습할 수 있다.

3.2.5 규칙 기반 후처리 보정

품사-형태소 언어 모델 기반의 확률 점수는 모델이 적절한 형태소를 선택하는 데에 큰 역할을 하지만 때때로 통계 모델의 결과가 한국어 문법 규칙과 어긋나는 경우도 존재한다. 이를 개선하기 위해 Kiwi에서는 언어 모델 탐색 이후 마지막 단계로 규칙 기반의 보정을 시도한다. 사용하는 규칙은 띄어쓰기 벌점과 형태 벌점, 두 종류이다.

띄어쓰기 벌점은 왼쪽에 띄어쓰기가 요구되는 품사(조사, 어미가 아닌 품사)임에도 띄어쓰기가 없거나 반대로 왼쪽에 띄어쓰기가 없어야 하는 품사(조사와 어미)임에도 띄어쓰기가 있는 경우에 언어 모델 점수에 벌점을 부여하여 해당 탐색 결과가 선택될 확률을 낮춘다. 형태 벌점은 불규칙 활용 용언에 규칙 어미가 결합하거나 양성 모음 용언에 음성 모음 어미가 뒤따르거나 혹은 반대의 경우 등에 벌점을 부여한다.

이와 같이 문법 규칙상 허용되지 않는 형태소에 대해 언어 모델 탐색 과정에서 해당 경로를 아예 기각하지 않고 탐색 후에 벌점만 부여하는 것은 비문이나 오타가 섞인 문장에 대해서도 어느 정도 정확도를 보장하기 위해서이다. 만약 띄어쓰기 및 형태 규칙을 언어 모델 탐색 과정에 전에 적용한다면 ‘막었다’와 같은 표현을 ‘막/VV 었/EP 다/EP’로 분석할 수 없게 된다. 그러나 이를 후처리 과정에서 벌점만 부여하는 방식으로 처리한다면 해당 경로의 확률이 벌점을 받아 낮아졌을지라도 그보다 더 적절한 분석 경로가 없을 때에는 해당 경로가 선택될 수가 있어 ‘막었다’를 바르게 분석할 수 있다.