LLM을 직접 돌리고 그 위에 애플리케이션을 짤 때는 두 가지를 정해야 한다. 어떤 하드웨어에서 모델을 돌릴지, 그리고 여러 단계의 호출과 상태를 어떤 프레임워크로 엮을지다. 하드웨어는 메모리가, 프레임워크는 흐름 제어가 판단의 축이다.
핵심
- 장비는 최고 성능이 아니라 목표 모델을 안정적으로 돌리는 최소 구성을 찾는 문제다. 목표 모델 크기, 추론만 할지 튜닝도 할지, 전력·소음 같은 제약, 총비용을 먼저 정하고, 구매 전에는 같은 모델로 토큰 처리량, p95 지연, OOM 발생률을 직접 잰다. 목표 모델 크기는 7B, 13B, 70B 이상처럼 나눠 본다. 서비스 준비 단계라면 NVIDIA 단일 GPU로 시작해 병목을 재고, 70B 이상 추론이 목표면 메모리 여유를 가장 먼저 사며, 튜닝이 필요하면 CUDA 호환성을 비용보다 먼저 본다.
- VRAM이 가장 비싼 실패 지점이다. NVIDIA 계열은 CUDA 생태계 덕분에 튜닝과 서비스에 유리하지만 VRAM이 모자라면 멀티 GPU 비용이 커지고, 소비자 GPU는 가성비가 좋지만 대형 모델에서 금방 한계가 오며, Mac Studio는 큰 통합 메모리로 대용량 추론 실험에 맞지만 CUDA 전용 스택과는 잘 맞지 않는다. 소비자 GPU는 7B~30B 중심의 개발과 프로토타입에, 전력과 소음에서도 유리한 Mac Studio는 개인 연구 환경에 맞다.
- LangChain과 LangGraph는 층이 다르다. LangChain은 모델 호출, 프롬프트, 도구 바인딩 같은 노드 안의 일을, LangGraph는 상태 전이, 분기, 재시도, 체크포인트 같은 노드 사이의 흐름을 맡는다.
- 단순한 RAG나 짧은 요청-응답은 LangChain으로 시작하고, 다단계 에이전트, 사람 검토, 상태 지속이 필요해지면 LangGraph를 들인다. 노드는 작게, 입출력 스키마는 고정하고, 도구 실패와 모델 실패를 나눠 계측한다. 실패한 특정 단계만 다시 돌려야 할 때도 LangGraph가 필요하다. 구조는 LangChain으로 노드 안의 로직을 짜고, LangGraph로 노드 사이의 상태와 흐름을 제어하며, 체크포인트 저장소로 세션과 복구를 받치는 형태다. 프롬프트와 모델 버전은 상태와 함께 기록한다.