LLM 지식베이스는 에이전트가 다음 질문에서도 쓸 수 있도록 근거와 현재 이해를 쌓아 두는 저장소다. RAG는 관련 자료를 가져오는 검색 계층일 뿐, 무엇이 지금 유효한지나 충돌하는 자료를 어떻게 볼지는 알려 주지 않는다. 그래서 유지보수되는 지식 계층이 따로 필요하지만, 그 계층을 복잡하게 만들수록 정작 필요한 지식이 회수되지 않는다.

핵심

  • 품질의 기준은 구조의 정교함이 아니라 회수율이다. page type, trust, lifecycle을 세분화한 초기 설계는 실제 업무형 질의 13개 중 8개에서 필요한 지식을 찾지 못했고, 거버넌스 문서가 지식 문서 크기의 약 39%에 달했다. 평가는 회수율, 원문까지의 추적 가능성, 갱신 비용으로 한다. LLM 지식베이스는 왜 작아야 하는가: Recall-First Wiki 설계
  • 경계는 셋이면 충분했다. 덮어쓰지 않는 근거(raw/), 기존 페이지를 고쳐 가는 현재 이해(wiki/), 결론을 오래 두지 않는 임시 메모(inbox/)다. 절차도 Recall, Capture, Compile 세 가지로 줄이고, 불확실성은 enum 대신 본문에 직접 적는다. LLM 지식베이스는 왜 작아야 하는가: Recall-First Wiki 설계
  • 이 규모에서는 임베딩보다 완전한 index가 먼저다. 모든 페이지를 담은 index, 열지 말지 판단할 한 줄 summary, lexical 검색, 실패를 드러내는 실제 질의 세트가 더 효과적이었다. hybrid 검색은 lexical이 반복해서 실패할 때 들인다. LLM 지식베이스는 왜 작아야 하는가: Recall-First Wiki 설계
  • 기록과 검색을 나눠 실험하면 병목이 보인다. 컴파일과 검색 조합 중 배포 기준을 모두 넘은 것은 없었고, 가장 나은 조합도 held-out 80건 중 31건만 통과했으며, 실패 49건 중 47건이 컴파일에서 났다. 운영 읽기 기본값은 정확도가 같으면서 지연이 낮고 dense 모델에 기대지 않는 policy/trust rerank(D1)로 두었다. 질의 쪽만 보면 F1 adaptive router가 형식상 우승이었고, 컴파일(K)과 검색(Q)을 묶은 조합에서는 K3 policy incremental과 Q2 policy graph가 31/80으로 가장 앞섰지만 운영 우승이 아니라 다음 아키텍처 목표로 남겼다. 그동안 운영 구조는 결정적 ingest와 관리되는 컴파일 흐름으로 쓰고, metadata-v2 Markdown을 영속 메모리로 두며, D1 정책 인식 sparse/graph 검색으로 읽는다. Architecture Evaluation — 2026-07-15
  • 그래서 다음 단계는 쓰기 경로부터다. 먼저 근거를 보존하는 타입 기반 메모리 전이 컴파일러를 만들고, 그 승격 기준을 통과한 뒤에만 영속 검색 캐시를 붙인다. 그동안 검색은 고정해 개선 효과가 어디서 왔는지 가린다. Next Goal Research — Typed Compiler + Persistent Index — 2026-07-15

관련