검색 증강 생성(RAG) 분야가 요동치고 있습니다. 그것도 벡터 하나 없이 말이죠. ‘벡터리스 RAG’라 불리는 최근 개발은 기존 RAG 시스템의 근간이었던 임베딩 기반 방식을 버리고, 정교한 3단계 트리-추론 아키텍처로 대체했습니다. 결과는 놀랍습니다. FinanceBench 벤치마크에서 무려 98.7%의 정확도를 기록했습니다. 이는 단순한 개선이 아닙니다. LLM이 정보를 접근하고 처리하는 방식에 대한 근본적인 재고찰입니다.
이 새로운 모델은 ‘트리-추론’ 접근 방식을 기반으로 합니다. 문서를 밀집된 벡터 표현으로 변환하고 의미론적 유사성을 검색하는 대신, 이 시스템은 계층적 문서 트리를 구축합니다. 원시 데이터의 극도로 상세한 개요라고 생각하면 됩니다. 검색 과정은 LLM 자체에 의해 조율되는 이 트리 구조를 통한 안내된 탐색이 됩니다. 이는 벡터 유사성의 종종 무딘 도구에 의존하는 것보다 더 미묘하고 맥락 인식적인 정보 탐색을 가능하게 합니다.
왜 임베딩을 완전히 버리는가?
RAG의 일반적인 통념은 모든 것을 임베딩하는 것이었습니다. 문서를 청크로 나누고, 수치 벡터로 변환하고, 벡터 데이터베이스에 저장합니다. 쿼리가 들어오면 쿼리도 임베딩하고, 시스템은 가장 유사한 벡터를 검색하여 해당 텍스트 청크를 검색합니다. 이것은 어느 정도 작동합니다. 하지만 고도로 구조화된 데이터, 미묘한 쿼리, 또는 정보의 정확한 위치와 계층이 가장 중요한 상황에서는 어려움을 겪습니다. 하이퍼파라미터 튜닝으로 씨름해본 데이터 과학자라면 누구나 알겠지만, 임베딩의 문제는 그것들이 근사치라는 것입니다. 그것들은 의미론적 의미를 포착하지만, 구조와 관계의 더 섬세한 부분을 놓칠 수 있습니다. 그리고 금융처럼 정확성이 모든 것인 분야에서는 근사치가 비용이 많이 드는 오류로 이어질 수 있습니다.
98.7% FinanceBench 점수는 단순한 데이터 포인트가 아닙니다. 그것은 네온사인처럼 빛나는 신호입니다. FinanceBench는 모델이 다양한 문서의 정보를 종합하고 복잡한 관계를 이해해야 하는 복잡한 금융 질문에 답하는 능력을 테스트하도록 설계되었습니다. 임베딩이라는 지렛대 없이 이러한 높은 점수를 달성했다는 것은 이 벡터리스 RAG 아키텍처가 정보를 이해하고 검색하는 방식에서 근본적인 우월성을 시사합니다. 이는 특정 중요 응용 분야, 특히 높은 정확성과 설명 가능성을 요구하는 분야에서는 기존 벡터 방식이 시대에 뒤떨어질 수 있음을 의미합니다.
PageIndex, 계층적 문서 트리, LLM 기반 탐색, 그리고 98.7% FinanceBench 결과 — 추론 기반 검색이 어떻게 작동하는지, 왜 RAG에 게임 체인저인지, 그리고 AI 정보 검색의 미래에 무엇을 의미하는지에 대한 내용입니다.
이는 벡터 임베딩이 죽었다는 뜻은 아닙니다. 일반적인 챗봇이나 요약 작업에는 비용 효율적이고 강력한 도구로 남을 가능성이 높습니다. 하지만 오류 비용이 상당한 특수하고 위험도가 높은 응용 분야의 경우, 명시적인 구조적 표현과 LLM 기반 추론으로의 이러한 전환은 설득력이 있습니다. 이는 무차별적인 의미론적 일치를 넘어 더 지능적이고 목적에 맞게 설계된 검색 메커니즘으로 RAG를 성숙시키는 것을 나타냅니다.
개발자에게 무엇을 의미하는가?
개발자와 데이터 엔지니어에게 미치는 영향은 상당합니다. 벡터리스 RAG 시스템을 구현하려면 다른 사고방식과 다른 도구가 필요합니다. 임베딩 모델과 벡터 데이터베이스 최적화에 집중하는 대신, 강조점은 강력한 문서 파싱, 효율적인 트리 구축 알고리즘, 그리고 LLM이 데이터 구조를 탐색하도록 안내하기 위한 정교한 프롬프트 엔지니어링으로 이동합니다. 이것이 반드시 쉬운 것은 아니지만, 까다로운 사용 사례에서 더 높은 정확도를 위한 경로를 제공합니다. 이러한 계층적 구조와 LLM 상호 작용의 복잡성을 처리할 수 있는 확장 가능하고 유지 관리 가능한 시스템을 만드는 것이 과제가 될 것입니다.
더욱이, LLM이 탐색을 안내하는 능력은 더 해석 가능한 RAG 프로세스를 시사합니다. 단순히 유사한 청크 목록을 반환하는 대신, LLM의 ‘추론’을 노출하여 왜 특정 경로를 문서 트리를 통해 선택했는지 보여줄 수 있습니다. 이러한 투명성은 답변 자체만큼이나 답변의 출처를 이해하는 것이 중요한 금융과 같은 규제 산업에서 매우 중요합니다.
여기서 핵심 혁신은 암묵적인 의미론적 유사성에서 명시적인 구조적 추론으로의 전환입니다. 순수하게 벡터 기반 접근 방식의 한계를 인식하고 복잡한 정보 검색을 위한 보다 맞춤화된 솔루션을 제공하는 움직임입니다. 광범위한 채택으로 가는 여정은 상당한 엔지니어링 노력과 표준화를 수반할 가능성이 높지만, 벡터리스 RAG의 초기 결과는 무시하기에는 너무 인상적입니다. 이것이 RAG의 미래일 수 있으며, 이는 일부 중요한 영역에서 더 이상 임베딩이 필요하지 않은 미래입니다.
