[퀀텀포커스] 버려지는 '비정형 데이터', 정교한 AI 기술의 열쇠

인공지능(AI)에게 데이터는 곧 경쟁력이다. 학습한 데이터의 양이 많으면 많을수록 더 정교하고 정확한 AI 프로그램·서비스를 만들 수 있기 때문이다.

우리는 셀 수 없을 만큼 많은 데이터를 만들며 살아가지만, 실제 기업이 분석해 의미를 도출할 수 있는 데이터는 일부에 지나지 않는다. 따라서 한정된 데이터를 효율적으로 분석하고 원하는 결과를 찾아낼 수 있는 분석 기술이 절실히 필요하다.

그동안은 이용자의 카드 결제 정보, 검색 이력, 이동 거리 등 정형화된 데이터를 중심으로 분석이 진행됐다. AI 기술이 고도화됨에 따라 냄새, 주관적인 정도 등 비정형 데이터를 정형화하려는 노력이 곳곳에서 나타나고 있다.

◇ 데이터 분석 방법의 혁신, '증강 분석'

대화형 인터페이스, NLP(Natural Language Processing), NLQ(Natural Language Query) 등 AI 기법을 이용해 자동으로 데이터를 준비한다. 모인 데이터를 바탕으로 통찰력을 발견하고 해석하는 일련의 과정을 '증강 분석(Augmented Analytics)'이라 부른다.

시장은 끊임없이 변화한다. 기업들은 변덕스러운 시장과 고객에 맞춰 리스크를 최소화하는 의사결정을 해야 한다. 이에 많은 기업이 효율적인 의사결정을 도와주는 BI(Business Intelligence)를 도입한다. 여전히 한계는 존재한다. BI는 구조화 데이터·개인 데이터를 분석해 기업의 상황에 대한 통찰은 제공하지만, 미래에 발생할 상황을 예측하거나 대비하는 것은 불가능하다.

증강 분석은 데이터의 전처리부터 가공까지 기계학습을 통해 자동으로 수행해 미래 예측·분석뿐 아니라 대안 제시까지 도와준다. 이에 글로벌 리서치 기업 가트너(Gartner)는 기업 데이터 분석을 주도한 시각화 플랫폼의 다음 단계가 증강 분석이 될 것이라고 전망했다.

데이터 분석 시간을 줄여줄 뿐 아니라 알고리즘 자체적인 의사 결정으로 인간에게 데이터 통찰력을 제공한다. 이러한 효율적 의사결정은 노동생산성을 높여준다. 더불어 일반인도 데이터에 쉽게 접근하고 분석할 수 있게 된다.

아직 '시리(Siri)', '빅스비(Bixby)'와 같은 AI 비서에게 사람과 같은 수준의 대화 능력을 요구할 수 없다. 증강 분석은 자연어처리, 음성인식을 통해 질문을 처리한다. 따라서 머지않아 AI 비서와 개인별 대화 맥락 이해, 의견 제안 등 더욱 자연스러운 대화가 가능해질 것이다.

◇ 기업의 숨겨진 정보 자산, '다크데이터'

우주는 무엇으로 구성돼있을까?

과학자들은 우주의 신비를 밝히기 위해 꾸준히 연구해왔다. 그럼에도 오늘날까지 인류가 밝혀낸 우주의 비밀은 5% 정도에 지나지 않는다. 비율로 환산하면, 우주는 우리가 정확히 규명할 수 없는 68%의 암흑 에너지, 27%의 암흑물질로 이뤄져 있다.

데이터도 이와 같다. 조금씩 차이가 있지만, 사람이 현재 사용하고 있는 데이터는 20% 정도밖에 되지 않는다. 나머지 80%는 설치하지 않은 압축파일, 촬영본 중 버려지는 영상, 방치되고 있는 공공 데이터 등 알려지지 않은 데이터다.

가트너는 이러한 비정형 데이터를 '다크 데이터'라고 정의했다. 조직이 정기적인 비즈니스 활동 중 수집, 처리·저장했으나 사용할 수 없는 모든 데이터는 여기에 해당한다.

AI 기술이 발달함에 따라 다크데이터의 가치가 높아지고 있다. 컨설팅 기업 액센추어(Accenture)에 따르면, 기업이 다크데이터를 활용해 직원에게 초개인화 건강관리 서비스를 제공했을 때, 2018년부터 2030년까지 약 2천억 달러의 경제적 이득이 발생한다. 개인 질병으로 인한 생산성 손실을 조기에 차단할 수 있기 때문이다.

2017년 아마존은 하비스트(Harvest)를 인수해 자사의 사이버 보안 부문을 강화할 것이라 밝혔다. 하비스트는 서비스 이용자의 행동 데이터를 분석해 해킹을 방지하는 대표적인 다크데이터 분석업체다.

애플 또한 다크데이터 분석 기업 'Lattice Data'를 인수했다. AI 비서 시리와 결합해 음성정보에서 사용자의 정보를 파악하기 위함으로 분석된다.

이처럼 AI를 활용해 기업에 유의미한 정보를 발굴하려는 기업들의 노력은 앞으로도 계속될 것으로 보인다.

◇ 데이터 가치 보호를 위한 정책적 접근의 필요성

사회적 수용성은 데이터의 양과 질 만큼이나 AI 확산에 영향을 준다. 데이터 가치사슬의 형성, 활용을 막는 국가·사회적 장벽을 어떻게 넘어설 것인가를 고민해야 할 시점이다.

데이터가 곧 국가 경쟁력이 되는 시대에서, 국내 산업과 국가 안보 차원에 맞는 정책적 고려가 있어야 한다. 또한 데이터의 생산부터 활용에 이르는 데이터 가치사슬의 관점에서 데이터 자원을 어떻게 보호할 것인지에 대한 논의가 필요하다.

자국 내 AI 기술 규제가 세계 시장의 관점에서는 경제 규제로 이어질 수 있다. AI 산업에서 국가 경쟁력을 획득하기 위해선 보다 섬세한 접근이 선행되어야 한다.

차진희 기자 postmoneynews@gmail.com

더저스티스(The Justice)는 모든 기사에 대한 독자여러분의 의견을 수렴하고 있습니다. 위 기사에 대한 소감, 정정이나 이의제기, 반박등의 의견이 있으시면 아래 이메일로 보내주시기 바랍니다. 보내주신 내용을 확인 후, 신속히 답변 드리겠습니다.

postmoneynews@gmail.com