당뇨 대화 기억으로 아침 메뉴 추천하는 원리

어느 사용자는 AI 비서와 총 107번의 대화를 나누며 약 32,000토큰에 달하는 긴 이력을 쌓았습니다. 이 대화 중 단 한 번, 그는 "어머니 쪽 당뇨가 아버지 쪽보다 위험을 더 올리나요?"라고 물었을 뿐입니다. 스스로 당뇨 환자라 말한 적은 없습니다. 그런데 한참 뒤 "아침 뭐 먹지?"라고 질문했을 때, 메모리 기능이 없는 일반 언어 모델은 당뇨 맥락과 무관한 평범한 아침 식사 목록을 내놓습니다. 반면 Stanford, MIT, Pennsylvania, Toronto 대학 연구진이 공개한 Memorilla는 그 질문에 혈당을 조절하는 아침 식사와 과거 대화 속 당뇨 언급을 연결한 답변을 생성합니다.

Memorilla는 방대한 문서나 대화 이력을 통째로 읽게 하는 대신, 질문과 필요한 정보를 연결해 16개의 '메모리 토큰(벡터)'으로 압축하는 언어 모델(LLM)용 기억 시스템입니다. 이 16개 벡터는 특정 문장을 줄인 요약본이 아니라, 질문을 기준으로 여러 문서에 흩어진 정보의 의미적 관계를 학습 모듈이 크로스 어텐션으로 추출한 결과물입니다.

RAG와 Memorilla의 결정적 차이

과거 AI 비서가 이력에서 단서를 찾는 가장 대표적인 방법은 RAG(검색 증강 생성)입니다. RAG은 현재 질문과 단어 유사도가 가장 높은 문서를 몇 개 골라 원문 그대로 LLM에 전달합니다. 하지만 '아침 식사'라는 질문과 '어머니 쪽 당뇨'라는 과거 대화는 겉으로 드러난 단어가 전혀 겹치지 않습니다. 연구팀이 공개한 예시에 따르면, '에너지 보충 식품'을 묻는 질문에 RAG은 단어 유사도로 '현미', '퀴노아', '귀리'가 포함된 문장을 가져오는 데 그칩니다. 과거 대화에 있던 '철분 결핍'이나 '하프 마라톤 훈련' 같은 핵심 맥락은 단어 겹침이 없어 누락됩니다.

Memorilla는 이 구조를 바꿉니다. 연구진이 개발한 약 1억 9,400만 매개변수를 가진 별도의 학습 모듈은 현재 질문의 임베딩(텍스트를 숫자 목록으로 변환한 값)과 저장된 전체 대화 이력의 임베딩을 동시에 읽습니다. 여러 문서에 흩어진 정보를 크로스 어텐션(서로 관련 있는 부분을 연결하는 기술)으로 분석한 뒤, 핵심 정보들을 16개 벡터로 압축해 언어 모델의 입력 공간에 직접 넣어줍니다 ¹. 단어 유사도 검색이 아니라 질문의 의도에 맞춰 전체 저장소의 의미를 읽어내는 방식입니다.

요약이 아닌 '질문 의존적' 읽기의 원리

Memorilla가 기존 AI 요약 기술과 다른 지점은 '압축의 타이밍'입니다. 문서를 읽는 즉시 요약하는 전통적 방식은 나중에 어떤 질문이 올지 고려하지 않습니다. 하나의 요약본을 모든 질문에 대입해야 하므로 질문과의 연관성이 떨어질 수 있습니다.

반면 Memorilla는 질문이 들어오기 전까지 압축하지 않습니다. 먼저 문서 이력을 'Qwen3-Embedding-4B' 인코더로 한 번만 숫자 목록으로 변환해 저장합니다. 실제 질문이 들어와야 비로소 16개의 학습된 메모리 슬롯이 전체 저장소를 훑으며 '이 질문에 답하려면 이 정보와 저 정보를 연결해야 한다'는 맥락을 추출합니다 ¹. 질문이 바뀌면 압축되는 정보의 내용도 달라집니다.

이 과정에서 답변을 쓰는 LLM(Qwen3-8B)과 인코더는 학습되지 않은 상태로 고정(동결)됩니다. 언어 모델 자체를 훈련하는 것이 아니라, 문서 임베딩을 LLM 입력 공간으로 옮겨주는 194M 크기의 중간 모듈만 학습합니다 ²³. 단어(토큰) 대신 '의미가 집약된 벡터'를 LLM의 입력 임베딩 앞에 직접 배치하는 셈입니다. 이러한 구조적 특성으로 인해 Memorilla는 텍스트만 주고받는 일반 API 방식으로는 사용할 수 없고, LLM의 내부를 제어할 수 있어야 적용 가능합니다 ³.

16개 벡터가 가져온 정량적 성과와 속도

메모리 토큰 수를 16개로 고정하면 연산량과 처리 속도에서 효율성이 큽니다. 연구진 데이터에 따르면, 문서 저장소가 1개에서 512개(약 128K토큰)로 커져도 Memorilla의 응답 생성 시간은 0.74초로 변하지 않는 '상수 지연'을 유지했습니다. 문서 전체를 LLM에 입력하는 방식이 문서가 쌓일수록 19.9초까지 지연된 것과 비교하면 약 27배 빠릅니다 ¹².

속도만이 아닙니다. 여러 사실이나 단서를 하나로 엮어 답해야 하는 복잡한 질문에서는 문서 전체를 읽히는 것보다 성능이 높게 나타나기도 합니다. 여러 사실 지식 그래프를 검증하는 FactKG 벤치마크에서 Memorilla는 84.33%의 정확도를 기록했습니다. 전체 문맥을 읽는 방식(80.43%)보다 정확도가 높으면서 입력되는 문서 토큰은 108분의 1에 불과했습니다 ⁴¹. 전체 컨텍스트가 모든 사실을 읽고도 뒤처진 것으로 보아, Memorilla의 우월성은 단순한 정보량에서 기인한 것이 아닙니다.

특히 하나의 정답을 위해 4개 이상의 복잡한 사실을 엮어야 할 때 차이가 두드러집니다. 50개 문서를 검색하는 RAG 방식은 성능이 78.7%에서 51.8%로 급격히 떨어졌습니다. 반면 Memorilla는 여러 문서에 흩어진 사실의 관계를 한꺼번에 압축하므로 80%대의 정확도를 지켰습니다 ¹³. 개인 맞춤형 대화 데이터인 PersonaMem-v2 벤치마크에서도 Memorilla는 44.6%의 정확도를 달성해 최강의 RAG 방식인 xRAG(30.9%)와 전체 컨텍스트 방식(27.9%)을 모두 크게 앞질렀습니다 ¹.

'아침 메뉴' 질문과 '당뇨'가 연결되는 이유

Memorilla의 작동 방식은 앞서 언급한 실패 사례를 통해 명확히 확인할 수 있습니다. 사용자 이력 중 '어머니 쪽 당뇨 위험'이라는 단서와 '아침 뭐 먹지'라는 질문은 단어 겹침이 전혀 없습니다.

메모리 없는 일반 LLM은 '아침 뭐 먹지?'라는 질문에 당뇨 맥락과 무관한 일반적인 아침 식사 목록을 내놓습니다. 반면 Memorilla는 "질문: 아침 식사"와 "저장소: 과거의 당뇨 가족력 언급" 사이의 약한 의미적 연결을 크로스 어텐션으로 찾아내어 16개 벡터로 변환하고, 이를 LLM의 입력 임베딩 앞에 배치합니다. 그 결과 LLM은 단순한 아침 메뉴 리스트가 아니라, 과거 대화에 단 한 번 등장한 당뇨 가족력을 바탕으로 혈당 조절과 포만감을 동시에 고려한 스크램블 에그나 그릭 요거트 같은 개인화된 답변을 만들어 냅니다 ².

여전히 RAG이 강한 '정확한 이름'과 세밀한 정보

Memorilla의 의미 압축 기술은 복잡한 연결 추론에 강력하지만, 모든 영역에서 완벽한 것은 아닙니다. 원문이 아닌 압축된 벡터만 주입되기 때문에, 문서에 적힌 정확한 문자열이나 미세한 세부 사실은 손실될 가능성이 있습니다. 연구팀은 압축이 문서의 구조나 의미를 보존할 것으로 추정하면서도, 정확한 이름이나 구체적인 세부 사실은 잃어버릴 수 있다는 한계를 자체적으로 밝힙니다 ¹³.

이러한 한계는 수치로 확인됩니다. 짧은 의학 논문 초록에서 명확한 세부 항목을 찾아야 하는 PubMedQA 벤치마크에서는 Memorilla가 59%를 기록하며, 원문을 압축하거나 검색해 넣는 LLMLingua-2(69%)보다 낮은 성능을 보였습니다 ¹³. 장문 소설을 읽은 뒤 질문하는 NarrativeQA에서도 유형에 따라 결과가 갈렸습니다. '왜', '어떻게'를 묻는 질문에서는 Memorilla가 RAG보다 5~7%포인트가량 높은 ROUGE-L 점수를 보였으나, 정확한 이름이나 대상을 묻는 '누가(who)', '어떤(which)' 질문에서는 원문을 그대로 가져온 RAG이 3%포인트 내외 더 높은 점수를 기록했습니다 ¹³.

Memorilla의 성능은 연구팀이 준비한 특정 조합(Qwen3-8B 단일 모델)과 자체 학습 분할을 기반으로 한 벤치마크 환경에서 측정된 수치입니다 ³. 독립적인 재현 검증이 아직 없는 상태이므로, 다른 모델이나 일반적인 텍스트 API 환경에서 동일하게 적용될 수 있는 범용 기준으로 단정하기는 어렵습니다.

Memorilla가 오래된 당뇨 언급을 꺼낼 수 있었던 이유는 질문을 기준으로 전체 문서를 훑어 필요한 인과관계를 16개 벡터로 재조립했기 때문입니다. 이는 AI 기억을 단순한 텍스트 축적이나 요약에서 '질문 의존적 의미 단위 압축'으로 확장한 시도입니다. 다만, 특정 인물의 정확한 이름이나 짧은 세부 항목을 물어야 할 때는 원문을 그대로 찾는 검색 방식이 여전히 강력하며, 두 접근법을 결합하는 것이 향후 방향이 될 것으로 보입니다 ³.