텍스트분석기술:자연어 처리의 첫 단계, 형태소 분석

 원하는 데이터를 얻기 위해서는 먼저 데이터를 수집하고 수집된 데이터를 정제하는 과정을 거쳐야 합니다. 특히 빅데이터 분석과정 중에 중요한 것이 ‘정제’과정인데요. 정제는 수집된 수많은 데이터 중에서 핵심적인 키워드를 추출하는 것을 말합니다. 따라서 정제과정은 수집된 수많은 데이터 속에서 분석에 필요한 것만 추출해내는 과정으로, 빅데이터 분석에 있어서 아주 중요한 부분이죠.

특히 텍스트 데이터 분석 정제에는 아주 고도화된 기술을 필요로 합니다.

우리가 쓰는 텍스트는 숫자나 통계 데이터와 같이 정형화되어 있지 않기 때문에(비정형 데이터라고 하죠?) 정제과정이 매우 복잡하고 까다롭습니다. 우리가 사용하는 언어체계가 복잡한 만큼 텍스트 데이터를 정제하는 과정도 복잡하다고 이해하시면 쉬울 겁니다.

하지만 이러한 텍스트 데이터 정제 과정을 편리하게 만들어주는 기술이 있는데요. 그것이 바로 ‘자연어 처리 기술’입니다.

자연어 처리기술의 개요

자연언어 혹은 자연어(Natural Language)는 사람들이 일상적으로 쓰는 언어를 뜻합니다. 우리는 같은 의미를 가지고 있는 단어들도 다양한 표현방식을 사용하죠. ‘사용하다’, ‘사용한다’, ‘사용합니다’, ‘사용했죠’ 등이 결국은 ‘사용하다’는 동사와 같죠. 이러한 자연어를 데이터를 분석하는데 사용되는 컴퓨터가 인식할 수 있도록 인공어(Artificial Language)로 만들어주는 것이 바로 자연어처리기술입니다.

자연어 처리의 첫 단계, 형태소 분석

자연어 처리 기술의 첫 단계로는 자연어(기사 내용, SNS 포스팅, 웹문서 등 기존 텍스트 데이터)를 형태소로 바꾸는 작업이 이루어집니다. 즉, 문장을 최소단위로 쪼개는 작업이 필요합니다.

형태소 (morpheme)

- 형태소는 의미의 최소단위로써, 더 이상 분석 불가능한 가장 작은 의미 요소

- 문법적 혹은 관계적인 뜻을 나타내는 단어 또는 단어의 부분

- 단순어의 어근(원형), 어미나 조사, 접두사, 접미사 등

형태소 분석의 장벽

형태소 분석은 띄어쓰기를 기준으로 어절을 구분하고 조사를 제외한 각 어절 단위로 구분한 뒤, 어간과 어미 부분으로 구분하는 과정을 거칩니다. 이렇게 글로 보면 매우 간단해보이지만  실제로 형태소 분석은 위의 한 문장처럼 간단하지 만은 않습니다.

우리가 일상적으로 쓰는 언어 속에는 뜻이 명확하지 않거나 의미가 변형된 신조어, 은어 등이 포함되어 있는 경우가 많으며, 오탈자, 띄어쓰기 오류 등의 문제들이 형태소 분석을 진행하는데 있어 큰 장벽으로 작용합니다. 이러한 이유로 실제 텍스트 마이닝에는 문법을 가장 정확하게 사용하는 신문기사 등이 주로 활용됩니다.

형태소 분석의 모호성

형태소 분석에 대한 문제는 또 있습니다. 바로 복합 명사의 문제가 있는데요. 보통 복합명사는 A+B가 됩니다. 하지만 a+B, A+b 등 다양하게 분해할 수 있어 어느 것이 옳은 것인지 판단하기 힘들어지죠.

- 감기는: (N 감기)+(J 는), (V 감)+(E 기)+(J 는), (V 감기)+(E 는), ...

위의 예와 같이, 질병 "감기"를 말할 수 도 있고, "줄을 감다" 할 때의 ‘감기‘ 또는 "머리를 감기다" 할때의 감기 등 한가지 단어지만 다양한 의미로 사용되기 때문에 단어를 나누어 분석한다고 해도 형태소의 모호성은 여전히 문제가 됩니다. 사실 이러한 형태소 분석의 모호성은 한국어 뿐만 아니라, 영어에서도 존재합니다. 또한 영어 뿐만 아니라 모든 언어는 이러한 모호성을 가지고 있죠.

- flies: (N fly)+(PL s), (V fly)+(3S s), like: (V like), (PREP like)

이러한 형태소의 모호성은 어절 자체 정보만으로는 중의성을 해소하기가 어렵고, 전체 문맥 정보를 파악이 필요하며 때에 따라서는 다양한 배경 지식이 필요합니다. 때문에 형태소 분석에 있어서는 형태소 분석 사전이 필수적으로 필요하죠. 많은 프로그램에서 기본적인 형태소 분석 사전을 구현하여 이러한 문제를 해결하기 위해 노력하고 있으며, 나아가 사용자가 직접 형태소 분석 과정에 개입할 수 있도록 구현하여 보다 명확한 형태소 분석이 가능하도록 하는 경우도 있습니다.