LLM용 지식베이스를 만들 때 흔히 두 방향으로 갑니다.
첫 번째는 모든 문서를 chunk로 나눠 벡터 데이터베이스에 넣는 것입니다. 검색은 가능하지만 오래된 자료와 최신 자료가 함께 나오고, 같은 개념의 설명이 여러 문서에 중복됩니다. 좋은 답변이 나와도 다음 질문에서는 다시 처음부터 추론합니다.
두 번째는 이 문제를 막기 위해 정교한 지식 거버넌스를 만드는 것입니다. page type, trust level, lifecycle, review queue, claim ledger, 접근 범위와 승격 절차를 세분화합니다. 구조는 엄밀해지지만 기록 비용과 검색 비용도 함께 증가합니다.
직접 LLM Wiki를 운영해보니 둘 다 충분하지 않았습니다.
결론은 단순했습니다.
지식베이스는 완벽하게 관리되는 것보다, 싸게 기록되고 정확히 회수되는 것이 먼저다.
RAG는 검색 계층이지 지식 자체가 아니다
RAG는 질의와 관련된 자료를 context로 가져오는 기술입니다. 필요한 문서를 찾는 데 유용하지만 다음 문제를 자동으로 해결하지는 않습니다.
- 어떤 자료가 현재 기준으로 유효한가
- 서로 충돌하는 두 문서를 어떻게 해석할 것인가
- 한 프로젝트에서 얻은 원리를 다른 프로젝트에서도 어떻게 재사용할 것인가
- 새로운 증거가 들어왔을 때 기존 설명을 어떻게 수정할 것인가
- 검색된 텍스트가 근거인지, 과거의 추론인지, 미검증 메모인지
따라서 장기 기억에는 retrieval 외에 유지보수되는 지식 계층이 필요합니다.
다만 그 계층이 지나치게 복잡하면 에이전트가 읽어야 할 정책만 늘고, 실제 답변에 필요한 지식은 context에 들어오지 않습니다.
처음에는 구조를 많이 만들었다
초기 설계는 다음 원칙을 중심으로 만들어졌습니다.
raw/: 변경하지 않는 근거wiki/: 근거에서 파생된 지식inbox/: 질문과 미검증 작업물- entity, concept, source digest, synthesis의 page type
- trust, sensitivity, freshness, derivation, review 상태
- ingest, compile, cascade, semantic audit 같은 별도 workflow
- 모든 source에 대한 digest 생성
- query scope와 권한에 따른 검색 정책
이 구조는 논리적으로 타당했습니다. 근거와 해석을 분리하고, 민감정보를 통제하며, 지식의 상태를 명시할 수 있었습니다.
하지만 실제 사용성은 다른 문제였습니다.
실제 질의로 평가하니 실패했다
전체 corpus와 실제 작업 질의를 기준으로 점검했을 때 다음 문제가 드러났습니다.
- 57개 페이지 중 기본 retrieval이 볼 수 있던 것은 15개뿐이었습니다.
- 실제 업무형 질의 13개 중 8개가 필요한 지식을 회수하지 못했습니다.
- 23개의 source digest는 유용한 증류 지식보다 원문의 잘린 복제에 가까웠습니다.
- 한 번 기록하기 전에 읽어야 하는 계약과 workflow가 약 8천 token에 달했습니다.
- 거버넌스 문서의 크기가 실제 지식 문서 크기의 약 39%였습니다.
- 세분화한 trust와 lifecycle 값은 검색과 답변에서 실질적으로 소비되지 않았습니다.
파일은 많았지만 recall은 약했습니다.
이 평가는 중요한 기준을 바꿨습니다. 지식베이스의 품질을 schema의 정교함이나 페이지 수로 보지 않고, 실제 질문에서 필요한 내용을 얼마나 안정적으로 찾는가로 보기 시작했습니다.
남겨야 할 경계는 세 개뿐이었다
복잡한 구조를 줄였지만 모든 경계를 없애지는 않았습니다. 다음 세 영역은 계속 필요했습니다.
| 영역 | 역할 | 핵심 규칙 |
|---|---|---|
raw/ | 문서, 대화, 코드 분석 등 원본 근거 | 기존 파일을 덮어쓰지 않는다 |
wiki/ | 현재 이해와 결정이 반영된 유지보수 지식 | 기존 페이지를 우선 갱신한다 |
inbox/ | 아직 확인되지 않은 메모와 수집 결과 | 결론을 장기간 남기지 않는다 |
raw/는 immutable evidence입니다. 해석이 바뀌어도 원문은 남습니다. 수정이 필요하면 새로운 날짜의 근거를 추가합니다.
wiki/는 mutable knowledge입니다. 새로운 증거가 들어오면 프로젝트의 현재 상태, 개념, 결정, 열린 질문을 수정합니다.
inbox/는 임시 상태입니다. 검색 가능하다는 이유만으로 수집 자료나 생성된 답변을 지식으로 취급하지 않습니다.
flowchart LR S[문서·코드·대화·직접 진술] --> C[Capture] C --> R[raw/<br/>immutable evidence] R --> K[Compile] K --> W[wiki/<br/>maintained knowledge] Q[질문] --> X[Recall<br/>index + ranked search] X --> W W --> A[Answer] A -->|지속 가치가 있는 수정| K I[inbox/<br/>unverified] -->|검증 후| R
workflow도 세 개로 줄였다
운영 절차는 Recall, Capture, Compile 세 가지면 충분했습니다.
Recall
- 전체 index 또는 ranked search로 후보를 찾습니다.
- 관련 페이지를 읽습니다.
- 중요한 주장이라면
sources:를 따라 원문 근거를 확인합니다. - 사용한 지식 경로를 남깁니다.
검색 결과를 곧바로 사실로 취급하지 않고, 중요도에 따라 근거까지 내려갑니다.
Capture
새 문서, 대화, 세션 추출물, 직접 진술이 들어오면 날짜와 origin을 붙여 raw/에 저장합니다. 이 단계에서는 완벽한 분류나 요약을 요구하지 않습니다.
credential, token, private key 같은 비밀정보는 지식베이스에 넣지 않습니다.
Compile
- 새 페이지보다 기존 페이지 갱신을 우선합니다.
- 반복해서 참조할 주제일 때만 새 페이지를 만듭니다.
- 불확실성은 복잡한 enum보다 본문에 직접 씁니다.
(unverified)(user-stated 2026-07-16)(superseded by X, 2026-07-16)
sources:로 근거를 연결합니다.- index와 lint를 갱신합니다.
claim ledger와 승격 queue를 운영하는 대신, 사람이 읽을 수 있는 문장 안에서 인식 상태를 표현합니다.
source digest는 기본값이 아니어야 한다
처음에는 모든 원문마다 digest를 만들었습니다. 출처를 빠르게 이해할 수 있을 것이라 생각했기 때문입니다.
실제로는 짧고 읽기 쉬운 원문까지 다시 요약하면서 중복이 늘었습니다. 자동 digest는 중요한 맥락을 잘라내거나 원문의 문장을 다른 표현으로 복제했습니다. 검색 결과에서는 원문, digest, synthesis가 함께 나타나 노이즈가 되었습니다.
현재 원칙은 다음과 같습니다.
- 작고 읽기 쉬운 원문은 직접 인용한다.
- 너무 크거나 구조가 복잡한 원문에만 digest를 만든다.
- digest 자체를 primary evidence로 취급하지 않는다.
- 지속적으로 재사용할 해석만
wiki/에 남긴다.
중간 표현은 필요할 때만 존재해야 합니다.
frontmatter는 routing에 필요한 만큼만 둔다
metadata도 대폭 줄였습니다.
---
title: Project A
summary: Current state, decisions, and open questions for Project A.
privacy: work
sources:
- raw/projects/project-a/2026-07-24-state.md
updated: 2026-07-24
---핵심은 summary입니다. 미래의 에이전트가 본문을 열어야 할지 한 줄로 판단할 수 있어야 합니다.
title, summary, sources, updated 정도면 대부분의 routing과 검증이 가능합니다. privacy는 필요한 경우에만 둡니다. 실제 검색이나 workflow에서 소비되지 않는 metadata는 관리 비용일 뿐입니다.
privacy는 세 단계면 충분했다
민감정보 정책도 사용 목적에 맞게 단순화했습니다.
- open: 일반적인 기술 지식
- work: 업무에는 검색되지만 외부 결과물에는 나오면 안 되는 정보
- private: 개인적인 요청에서 명시적으로 허용할 때만 검색하는 정보
복잡한 권한 조합보다 중요한 것은 기본 동작입니다.
- private은 기본 검색에서 제외합니다.
- work는 검색 결과에 표시하되 공개 문서 작성 시 차단합니다.
- secret은 privacy 등급과 관계없이 저장하지 않습니다.
정책이 단순해야 에이전트가 매번 일관되게 적용할 수 있습니다.
기계적 검증과 의미 판단은 분리한다
lint가 잘할 수 있는 일은 명확합니다.
- 필수 frontmatter
- 깨진 source와 link
- index freshness
- 중복 파일명
- 금지된 secret 패턴
- private 자료의 기본 검색 제외
- 경로와 naming 규칙
반면 다음은 구조 테스트로 증명할 수 없습니다.
- 요약이 원문을 정확히 반영하는가
- 두 근거의 충돌을 올바르게 설명했는가
- 오래된 판단이 최신 상태로 갱신되었는가
- 공개 글에서 업무 맥락이 충분히 제거되었는가
따라서 자동 검증은 좁고 결정론적으로 만들고, 의미적 상태는 본문과 source review로 다룹니다.
임베딩보다 완전한 index가 먼저다
현재 규모에서는 vector database보다 다음 기능이 먼저 효과적이었습니다.
- 모든 페이지를 포함하는 자동 생성 index
- 검색 여부를 결정할 수 있는 한 줄 summary
- lexical ranked search
- 상위 결과의 본문을 묶는 context 명령
- 프로젝트, 개념, 개인 정보의 명확한 디렉터리
- 검색 실패를 확인하는 실제 질의 세트
임베딩은 이름이 다르지만 의미가 유사한 문서를 찾는 데 도움이 됩니다. 하지만 index가 불완전하고 summary가 부정확하면 embedding을 추가해도 corpus 자체의 품질 문제는 남습니다.
hybrid retrieval은 실제 평가에서 lexical search가 반복적으로 실패할 때 도입하면 됩니다. retrieval infrastructure는 지식 자체가 아니라 routing 계층입니다.
좋은 지식베이스의 지표
운영 이후에는 다음 질문으로 품질을 판단하는 편이 낫습니다.
- 실제 질문에서 필요한 페이지가 상위 결과에 나오는가
- 답변에 사용한 주장을 원문까지 추적할 수 있는가
- 새로운 증거가 기존 프로젝트 페이지를 갱신하는가
- 같은 개념이 여러 이름으로 중복되지 않는가
- 기록 한 번에 필요한 절차와 token이 과도하지 않은가
- private과 work 정보가 의도하지 않은 결과물에 섞이지 않는가
- 검색 실패를 발견하고 corpus나 index를 수정할 수 있는가
지식베이스는 저장량이 아니라 회수율, 추적 가능성, 갱신 비용으로 평가해야 합니다.
결론
LLM 지식베이스에 필요한 것은 문서를 모두 임베딩하는 일도, 모든 지식에 복잡한 상태 머신을 부여하는 일도 아니었습니다.
- 근거는 변경하지 않고 남기고
- 현재 이해는 짧은 living page로 유지하고
- 미검증 자료는 임시 영역에 두고
- 검색을 실제 질의로 평가하고
- 중요한 주장만 원문까지 추적하며
- 사용되지 않는 metadata와 workflow는 제거하는 것
좋은 memory는 가장 엄밀한 memory가 아닙니다.
싸게 기록할 수 있고, 필요할 때 정확히 찾을 수 있으며, 틀렸을 때 쉽게 고칠 수 있는 memory가 실제로 누적됩니다.