대규모 언어 모델은 자연스럽고 설득력 있는 답변을 생성할 수 있다. 그러나 별도의 메모리 시스템이 없다면 새로운 대화가 시작될 때마다 사용자를 처음 만나는 것처럼 행동할 수밖에 없다. 사용자가 어제 무엇을 요청했는지, 이전에 어떤 해결책이 실패했는지, 중단된 작업을 어디서부터 이어가야 하는지 자동으로 알지 못하기 때문이다.
AI 에이전트 메모리는 이러한 한계를 해결한다. 중요한 정보를 저장하고, 필요한 순간에 관련 내용을 불러오며, 과거의 경험을 새로운 판단에 활용할 수 있게 한다. 이를 통해 AI 에이전트는 단발성 질문에 답하는 도구에서 지속적인 맥락을 이해하는 디지털 협업자로 발전한다.
에이전트 메모리는 모델의 학습 데이터와 다르다. 학습 데이터는 모델에 일반적인 지식과 언어 능력을 제공한다. 반면 에이전트 메모리는 실제 운영 과정에서 생성된 사용자 선호도, 과거 행동, 작업 결과, 비즈니스 규칙, 이전 결정 등을 저장한다.
모델이 이해와 추론을 담당한다면 메모리 시스템은 현재의 판단에 필요한 경험과 맥락을 제공하는 역할을 한다.
AI 에이전트 메모리의 네 가지 유형
실용적인 AI 에이전트 아키텍처는 일반적으로 네 가지 유형의 메모리를 함께 사용한다. 각 메모리는 서로 다른 기능을 수행하며, 이들이 결합되어야 일관되고 상황에 맞는 행동이 가능해진다.
작업 메모리
작업 메모리에는 에이전트가 현재 사용하고 있는 정보가 담긴다. 진행 중인 대화, 임시 계획, 도구가 반환한 결과, 처리 중인 데이터 등이 여기에 포함될 수 있다.
작업 메모리는 빠르게 접근할 수 있지만 용량이 제한적이다. 언어 모델의 컨텍스트 창과 마찬가지로 중요한 내용이 장기 저장소로 이동하지 않으면 세션이 종료된 후 사라질 수 있다.
의미 메모리
의미 메모리는 사실과 비교적 안정적인 지식을 저장한다. 사용자의 역할, 선호하는 의사소통 방식, 조직 내부에서 사용하는 용어, 제품 정보, 업무 요건 등이 대표적인 예다.
이 메모리를 통해 에이전트는 특정 환경에서 무엇이 사실이며 무엇이 중요한지 이해한다. 모든 사용자에게 동일한 일반적 답변을 제공하는 대신, 개인이나 조직의 상황에 맞게 응답을 조정할 수 있다.
일화 메모리
일화 메모리는 과거의 상호작용에서 실제로 일어난 일을 기록한다. 어떤 행동이 실행되었는지, 어떤 순서로 작업이 진행되었는지, 선택한 방법이 성공했는지, 최종 결과가 무엇이었는지 등을 저장한다.
이 메모리는 여러 세션에 걸쳐 진행되는 장기 작업에서 특히 중요하다. 에이전트가 이전에 시도한 해결책과 실패 원인을 기억한다면 같은 제안을 반복하지 않고 새로운 접근법을 선택할 수 있다. 사용자가 과거의 모든 과정을 다시 설명하지 않아도 중단된 작업을 이어갈 수 있다는 것도 중요한 장점이다.
절차 메모리
절차 메모리는 에이전트가 어떻게 행동해야 하는지를 정의한다. 업무 흐름, 의사소통 기준, 승인 요건, 보안 제한, 도구 사용 규칙, 담당자에게 문제를 넘겨야 하는 조건 등이 포함된다.
높은 추론 능력만으로는 적절한 행동이 보장되지 않는다. 특히 기업 환경에서 에이전트는 따라야 할 절차와 넘어서는 안 되는 권한의 경계를 이해해야 한다.
메모리가 작동하는 네 단계
데이터베이스를 만드는 것만으로는 에이전트에 유용한 메모리가 생기지 않는다. 정보는 추출, 저장, 통합, 검색이라는 네 단계의 과정을 거쳐야 한다.
1. 중요한 정보 추출
첫 번째 단계에서는 어떤 정보를 기억할 가치가 있는지 판단한다. 대화에 등장하는 모든 문장이 미래에도 필요한 것은 아니다.
모든 내용을 저장하면 메모리 공간은 반복되는 정보, 일시적인 발언, 관련 없는 세부 사항으로 가득 찬다. 효과적인 추출 시스템은 중요한 사실, 선호도, 결정, 약속, 작업 결과를 선택하고 현재 작업에만 필요한 임시 정보와 장기적으로 활용할 정보를 구분한다.
2. 메모리 저장
선택된 정보는 지속적으로 사용할 수 있는 외부 시스템에 저장된다. 벡터 데이터베이스는 정확히 같은 단어가 아니라 의미의 유사성을 기준으로 정보를 검색할 수 있어 자주 사용된다. 사용자가 같은 내용을 다른 표현으로 말해도 에이전트가 관련 메모리를 찾을 수 있는 이유다.
정보 사이의 관계가 복잡한 경우에는 지식 그래프가 활용될 수 있다. 지식 그래프는 사용자, 거래, 정책, 작업 및 조직 내 여러 개체가 서로 어떻게 연결되는지를 표현한다.
3. 메모리 통합과 업데이트
사용자의 선호도와 조직의 규칙은 시간이 지나면서 달라진다. 과거에 정확했던 정보가 현재도 유효하다는 보장은 없다.
통합 단계에서는 새로운 정보를 기존 기록과 비교한다. 시스템은 새로운 메모리를 추가할지, 기존 내용을 업데이트할지, 중복 기록을 합칠지, 더 이상 유효하지 않은 정보를 삭제할지 결정한다.
이 과정이 없으면 서로 충돌하는 정보와 오래된 데이터가 쌓인다. 결국 에이전트가 잘못된 맥락을 사실처럼 사용하면서 신뢰성이 떨어질 수 있다.
4. 관련 메모리 검색
에이전트는 답변하거나 행동하기 전에 현재 상황과 관련된 기억을 검색한다. 선택된 정보는 작업 컨텍스트로 이동하며 모델은 이를 계획과 추론에 사용한다.
검색되는 정보가 너무 적으면 필요한 배경을 놓칠 수 있다. 반대로 너무 많은 정보를 가져오면 노이즈가 늘어나고 처리 비용이 증가하며 모델이 현재 목표에 집중하기 어려워진다.
좋은 메모리 시스템은 가능한 한 많은 정보를 저장하는 시스템이 아니다. 필요한 순간에 올바른 정보만 정확하게 불러오는 시스템이다.
AI 에이전트 메모리와 RAG의 차이
AI 에이전트 메모리는 검색 증강 생성, 즉 RAG와 혼동되는 경우가 많다. 두 방식 모두 모델에 외부 정보를 제공하지만 목적은 서로 다르다.
RAG는 일반적으로 공유 지식 기반에서 제품 문서, 기업 정책, 연구 자료, 산업 정보를 검색한다. 기본 자료는 질문하는 사용자가 달라져도 동일하게 유지된다.
에이전트 메모리는 상호작용을 통해 계속 변화한다. 사용자의 선호도, 과거 작업 결과, 진행 중인 워크플로의 상태처럼 특정 사용자나 업무에 관련된 정보를 읽고 쓸 수 있다.
간단히 말하면 RAG는 에이전트에게 조직이 무엇을 알고 있는지 알려준다. 메모리는 에이전트가 무엇을 경험했으며 현재 사용자에 대해 무엇을 배웠는지 알려준다. 성숙한 기업 시스템은 공유 지식을 제공하는 RAG와 연속성 및 개인화를 제공하는 지속형 메모리를 함께 활용한다.
메모리 거버넌스가 필요한 이유
에이전트가 더 많은 정보를 기억할수록 데이터 거버넌스는 더욱 중요해진다. 기업은 어떤 정보를 저장할 수 있는지, 얼마나 오래 보관할지, 누가 접근할 수 있는지, 사용자가 자신의 정보를 어떻게 확인·수정·삭제할 수 있는지를 명확하게 정해야 한다.
여러 에이전트가 협력하는 환경에서는 접근 범위를 세밀하게 관리해야 한다. 고객 서비스 에이전트가 주문 내역에 접근해야 할 수는 있지만, 그렇다고 관련 없는 인사 정보나 재무 정보까지 볼 수 있어서는 안 된다.
각 메모리에는 정보의 출처, 생성 시점, 신뢰 수준, 접근 범위, 보존 기간 같은 메타데이터가 포함되어야 한다. 이러한 설계 원칙과 책임 있는 AI 운영에 관한 심층 분석은 KAEL AI의 Facebook 커뮤니티에서 확인할 수 있으며, 에이전트 아키텍처에 관한 짧은 인사이트는 KAEL AI X 계정에서 이어서 살펴볼 수 있다.
맥락 없는 도구에서 장기적인 협업자로
메모리는 AI 에이전트를 한 번의 답변만 생성하는 도구에서 맥락을 유지하고, 작업을 이어가며, 사용자에게 적응할 수 있는 시스템으로 바꾼다. 그러나 모든 것을 기록하는 것이 목표는 아니다.
신뢰할 수 있는 에이전트는 저장할 정보를 신중하게 선택하고, 관련 기록을 정확하게 검색하며, 오래된 데이터를 정리하고, 명확한 개인정보 보호 경계를 지켜야 한다. 이러한 요소들이 함께 작동할 때 메모리는 AI 에이전트가 신뢰성과 안전성을 유지하면서 장기적으로 더 높은 가치를 제공하게 만드는 핵심 기반이 된다.