Voyage AI: AI 환각 현상을 줄이기 위한 RAG 툴 개발

인공지능(AI)은 최근 다양한 분야에서 놀라운 혁신을 보여주고 있지만, 사용자들에게는 여전히 해결해야 할 큰 문제들이 남아 있습니다. 그 중 가장 큰 문제 중 하나는 바로 '환각(hallucination)' 현상입니다. AI가 실제와 다른 정보를 만들어 내거나 잘못된 답변을 제시하는 경우가 발생하기 때문입니다.

특히 기업 환경에서는 이러한 AI의 부정확한 답변이 심각한 결과를 초래할 수 있습니다. 최근 Salesforce에서 진행한 조사에 따르면, 기업의 절반가량이 생성형 AI 시스템의 부정확한 응답을 우려하고 있는 것으로 나타났습니다.

AI가 RAG 도구를 통해 환각을 줄이는 과정

정보 검색 강화 생성(RAG): AI 환각 문제 해결의 열쇠

환각 문제를 완벽히 해결할 수 있는 방법은 아직 없지만, 정보 검색 강화 생성(Retrieval-Augmented Generation, RAG) 같은 기술들이 환각 현상을 줄이는 데 큰 도움을 줄 수 있습니다. RAG는 AI가 답변을 생성하기 전에 지식 기반에서 관련된 정보를 검색하여 더 정확한 응답을 제공하는 방식입니다. 이 과정에서 AI는 일종의 사실 검증 메커니즘을 수행하게 됩니다.

Voyage AI의 등장과 혁신

2023년, 스탠포드 대학교의 텐구이 마(Tengyu Ma) 교수는 이러한 RAG 기술을 활용해 Voyage AI라는 스타트업을 설립했습니다. Voyage AI는 이미 Harvey, Vanta, Replit, 그리고 SK 텔레콤과 같은 기업들에게 RAG 시스템을 제공하며 그 효과를 입증하고 있습니다.

Voyage AI의 목표는 다양한 도메인(코딩, 금융, 법률, 다국어 등)에 맞춤화된 RAG 솔루션을 제공하는 것입니다. 이를 통해 각 기업이 필요로 하는 정보 검색과 응답의 정확성을 높이고, 이를 기반으로 AI가 더욱 신뢰할 수 있는 답변을 할 수 있게 합니다.

컨텍스추얼 임베딩: 문맥을 고려한 데이터 처리

Voyage AI는 텍스트, 문서, PDF 등을 벡터 임베딩(vector embedding)이라는 형태로 변환합니다. 벡터 임베딩은 데이터를 숫자화하여 AI가 이를 이해하고 검색에 활용할 수 있도록 하는데, Voyage는 여기에 컨텍스추얼 임베딩(contextual embedding)이라는 방식을 더합니다.

예를 들어 'bank'라는 단어는 문맥에 따라 '강둑'을 의미할 수도 있고, '은행'을 의미할 수도 있습니다. 컨텍스추얼 임베딩은 이처럼 동일한 단어라도 문맥에 맞게 각각 다른 의미를 부여하여 처리하는 기술입니다. 이를 통해 Voyage AI는 보다 정확한 정보 검색과 응답을 제공할 수 있습니다.

Voyage AI의 경쟁력

Voyage AI는 비용 효율성과 성능 면에서 탁월한 평가를 받고 있습니다. 일반적인 RAG 시스템은 정보 인코딩 과정에서 문맥을 잃어버릴 가능성이 많지만, Voyage는 이를 극복하여 최상의 검색 정확도를 제공하는 것으로 평가받고 있습니다.

이러한 성능은 OpenAI의 경쟁사인 Anthropic에서도 인정받아, Anthropic의 기술 문서에서는 Voyage AI의 모델을 '최첨단(state of the art)'이라고 평가하고 있습니다. 특히 Anthropic은 Voyage AI의 모델이 문맥 인식 검색에서 매우 뛰어난 성능을 발휘한다고 설명합니다.

성장과 미래 전망

현재 Palo Alto에 본사를 둔 Voyage AI는 250명 이상의 고객사를 보유하고 있으며, 최근 2천만 달러 규모의 시리즈 A 투자 유치를 성공적으로 마쳤습니다. 이 투자로 Voyage는 회사 규모를 두 배로 확장하고, 더욱 강력한 임베딩 모델을 개발할 계획입니다.

AI 기술이 발전함에 따라 RAG와 같은 보완 기술들은 AI의 신뢰성과 정확성을 더욱 높일 수 있는 중요한 역할을 할 것입니다. Voyage AI는 이러한 흐름 속에서 더욱 중요한 위치를 차지할 것이며, 앞으로도 AI 산업에 많은 기여를 할 것으로 기대됩니다.