Memento: 성공·실패 사례를 분리 저장하는 딥 리서치 에이전트 설계
- 핵심 아이디어: 가중치 대신 메모리를 갱신
- 아키텍처
- 성공·실패 분리 저장과 검색
- 보고된 성능과 해석상의 주의
- 실패 사례 재사용 조건과 저장 기준
- 마무리
- Keywords
- Sources
홈랩 구축 체크리스트 — 로컬 LLM을 세우고 Tailscale로 안전하게 잇는 20단계를 A4 한 장으로 정리했습니다.
체크리스트 받기 →
Memento는 LLM을 파인튜닝하지 않고 과거 수행 사례를 외부 메모리에 쌓아 에이전트 성능을 높이는 구조다. 성공 사례와 실패 사례를 함께 저장하고 다음 계획 수립 때 유사 사례를 꺼내 쓰므로, 컨텍스트에 무엇을 넣을지 고르는 설계 문제로 볼 수 있다. 이 글은 논문(arXiv 2508.16153)을 바탕으로 구조를 정리하고, 실패 사례를 재사용하는 조건과 저장 기준을 어떻게 정할지 살펴본다.
핵심 아이디어: 가중치 대신 메모리를 갱신
Memento는 딥 리서치를 메모리 기반 마르코프 결정 과정(Memory-based MDP)으로 정식화한다. 정책 개선은 모델 가중치 갱신이 아니라 메모리 쓰기(rewriting)와 읽기(retrieval)로 이루어진다. 환경 피드백이 들어오면 사례 은행(Case Bank)을 갱신하고, 다음 과제에서는 유사 사례를 검색해 계획에 반영한다. 모델 교체나 재학습 비용 없이 경험이 누적되는 점이 장점이다.
아키텍처
논문은 플래너-실행기 구조를 사용한다. 플래너 LLM(GPT-4.1)이 과제를 하위 과제로 분해하고, 실행기(o4-mini, GAIA에서는 o3)가 MCP 도구 호출로 수행한다. 두 역할은 과제가 끝날 때까지 번갈아 동작한다.
| 메모리 | 역할 |
|---|---|
| Case Memory | 과거 과제-계획-결과 사례. 계획 수립에 사용 |
| Subtask Memory | 진행 중인 하위 과제와 결과 |
| Tool Memory | 하위 과제별 도구 상호작용 기록 |
도구는 MCP로 제공되며 메타 검색 엔진, 웹 크롤러, 이미지·오디오·영상·PDF·스프레드시트 파서, 샌드박스 코드·수학 도구가 포함된다.
flowchart TD
A["새 과제 입력"] --> B["유사 사례 검색 (Top-K)"]
B --> C["플래너: 하위 과제 분해"]
C --> D["실행기: MCP 도구 호출"]
D --> E{"과제 완료?"}
E -->|"아니오"| C
E -->|"예"| F["결과 평가 (성공 / 실패)"]
F --> G["사례 은행에 기록"]
G --> B
성공·실패 분리 저장과 검색
사례는 과제가 끝난 뒤에만 저장되며, 중복을 줄이려고 최종 상태, 행동, 보상만 남긴다. 성공과 실패가 모두 저장되므로 같은 은행에서 "이렇게 하면 된다"와 "이렇게 하면 실패한다"를 함께 꺼낼 수 있다.
검색 방식은 두 가지다.
- 비모수(Non-parametric): SimCSE 텍스트 임베딩의 코사인 유사도로 상위 K개 사례를 가져온다.
- 모수(Parametric): 2층 MLP로 된 작은 Q 함수를 성공/실패 이진 레이블로 온라인 학습해, Q 값 상위 K개를 고른다. 논문은 모수 방식이 약간 더 낫다고 보고한다.
여기서 학습되는 것은 LLM이 아니라 사례 선별기다. 메인 모델은 그대로 두고 "어떤 사례를 보여 줄지"만 학습한다는 점이 컨텍스트 선택 설계와 맞닿는다.
보고된 성능과 해석상의 주의
저자 보고 결과는 다음과 같다.
- GAIA 검증 87.88%(Pass@3), 테스트 79.40%
- DeepResearcher 7개 QA 평균 F1 66.6%, PM 80.4%
- 분포 외 과제에서 사례 기반 메모리가 4.7~9.6%p 개선
이는 단일 프리프린트의 저자 보고치이며 이번 조사에서 독립 재현은 확인하지 못했다. 논문도 한계를 밝힌다. 오픈 도메인 QA는 데이터 오염의 영향을 받을 수 있고, HLE처럼 지식 의존적 과제는 도구와 계획만으로 이득이 작으며, GAIA Level 3처럼 긴 추론과 복잡한 도구 조율이 필요한 과제는 여전히 어렵다.
실패 사례 재사용 조건과 저장 기준
논문의 가장 실용적인 결과는 메모리 크기다. 검색 사례 수 K=4 부근이 가장 좋았고, 더 키우면 비용이 늘고 노이즈로 성능이 정체하거나 떨어졌다. 약 3.3만 건 학습에서 사례 은행은 빠르게 포화되었다. 작고 잘 선별된 메모리가 크고 거른 적 없는 메모리보다 낫다는 결론이다. 이를 운영 기준으로 옮기면 다음과 같다.
저장 기준
- 과제 종료 후 확정된 결과만 저장한다. 중간 시도는 제외한다.
- 성공·실패 레이블의 근거(평가 기준, 정답 여부)를 함께 남긴다. 레이블이 틀리면 메모리가 오염된다.
- 유사 사례가 이미 충분하면 중복 저장하지 않는다. 포화 이후의 추가는 이득이 작다.
- 도메인·도구·시점 메타데이터를 붙여 오래되거나 맥락이 다른 사례를 걸러 낼 수 있게 한다.
실패 사례 재사용 조건
- 현재 과제와 도구 구성이 같을 때만 "하지 말 것" 사례로 사용한다.
- 실패 원인이 일시적(네트워크, 웹 변경)이면 재사용 대상에서 제외하거나 만료시킨다.
- 실패 사례는 소수만 주입하고 성공 사례와 구분해 표시한다.
- 주입 후 성능이 오르지 않으면 사례를 폐기하는 피드백을 둔다.
민감한 과제에서는 사례 은행이 외부 웹 내용을 담을 수 있으므로, 저장 전 개인정보·기밀 필터와 접근 통제도 필요하다.
마무리
Memento는 모델을 바꾸지 않고 메모리로 에이전트를 개선하는 방법을 보여 준다. 성공·실패를 분리 저장하되 작고 선별된 사례만 남기고, 재사용 조건을 명시해야 효과가 유지된다. 따라서 도입 시 모델 선택보다 저장 기준, 검색 K, 만료 정책을 먼저 정의하는 것이 안전하다.
Keywords
Memento, Case-Based Reasoning, Deep Research Agent, Case Bank, Planner-Executor, MCP, 에피소드 메모리, 성공 실패 사례, 컨텍스트 선택, 메모리 저장 기준
Sources
'IT Professional Engineering > AI.ML' 카테고리의 다른 글
| Gemini 4 Argon: 제한 접근 사이버 방어 모델과 장시간 코딩 에이전트 설계 (0) | 2026.10.29 |
|---|---|
| 오픈웨이트 모델 행동 검증 아키텍처: 에이전트 연결 전 우려 행동 시험과 격리·롤백 설계 (0) | 2026.10.28 |
| OpenAI 코딩 에이전트의 상시형 비서 확장: 알림 시점과 접근 권한 통제 설계 (0) | 2026.10.27 |
| 프론티어 모델 훈련 샌드박스 통제: 탈출·무단 외부 접속 방어 시험과 릴리스 게이트 설계 (0) | 2026.10.26 |
| NVIDIA Nemotron 3.5 Bolt E4B: 4GB VRAM 소형 에이전트 모델의 배치 설계 (0) | 2026.10.26 |
홈랩 구축 체크리스트를 A4 한 장으로 드립니다
로컬 LLM을 세우고 Tailscale로 안전하게 잇는 20단계. 이메일을 남기면 바로 보내드립니다. 광고 없이, 언제든 수신거부.
체크리스트 받기 →