최근 단순한 챗봇 구현을 넘어, 기업형 서비스나 복잡한 LLM 시스템 개발을 하려는 움직임이 가속화되고 있습니다. 하지만 이 과정에서 만나는 수많은 용어와 개념들은 개발자와 아키텍트들에게 큰 장벽이 되기도 합니다.

단순한 API 호출을 넘어, 성능과 비용 효율성을 동시에 잡는 LLM 서비스를 설계하기 위해 반드시 알아야 할 핵심 기술 용어들을 정리해 드립니다.

다른 게시물도 한번 읽어보세요!

1. 기초 다지기: 모델과 토큰

• LLM (Large Language Model): 수십억 개의 매개변수(Parameter)를 가진 거대 언어 모델입니다. GPT, Claude, Llama 등이 대표적이며, 텍스트의 문맥을 이해하고 생성하는 ‘뇌’ 역할을 합니다.
• 토큰 (Token): 모델이 텍스트를 처리하는 최소 단위입니다. 영어는 단어 중심, 한국어는 형태소 중심의 분절이 일어나며, 이 토큰의 개수가 곧 API 비용과 모델의 처리 속도를 결정합니다.
• 컨텍스트 윈도우 (Context Window): 모델이 한 번에 기억하고 처리할 수 있는 정보의 양입니다. 이 공간이 클수록 긴 문서를 요약하거나 복잡한 대화를 이어가는 데 유리합니다.

2. 데이터 정확도를 높이는 RAG와 벡터 DB의 역할

모델이 학습하지 않은 최신 정보나 기업 내부 데이터를 활용하기 위한 필수 기술입니다.

• RAG (Retrieval-Augmented Generation): ‘검색 증강 생성’이라고 하며, 질문에 답하기 전 외부 데이터베이스에서 관련 정보를 먼저 찾아(Retrieval) 모델에게 전달하는 방식입니다. 할루시네이션(환각 현상)을 줄이는 가장 효과적인 방법입니다.
• 임베딩 (Embedding): 텍스트를 컴퓨터가 이해할 수 있는 ‘숫자 벡터(Vector)’로 변환하는 과정입니다. 의미가 비슷한 문장일수록 좌표 공간에서 가깝게 위치하게 됩니다.
• 벡터 데이터베이스 (Vector DB): 수만 개의 임베딩 데이터를 저장하고, 사용자의 질문과 가장 유사한 데이터를 초고속으로 검색해 주는 저장소입니다. (ChromaDB, Pinecone, Milvus 등)

주요 Vector DB TOP 4 비교

RAG 시스템 구축 시 가장 고민되는 벡터 DB 선택을 돕기 위한 비교표입니다.

3. 최적화 기술: 파인 튜닝과 양자화

범용 모델을 우리 서비스에 딱 맞게 깎는 과정입니다.

• 파인 튜닝 (Fine-tuning): 이미 학습된 모델에 특정 분야의 데이터를 추가로 학습시켜 말투나 전문 지식을 습득시키는 과정입니다. 최근에는 자원 효율성을 위해 LoRA나 QLoRA 같은 기법이 주로 쓰입니다.
• 양자화 (Quantization): 모델의 가중치(Weight)를 정밀도가 낮은 데이터 타입(예: 16bit → 4bit)으로 변환하는 기술입니다. 모델의 용량과 요구 사양을 획기적으로 낮춰 상대적으로 낮은 GPU 메모리에서 거대 모델을 돌릴 수 있게 해줍니다.

4. 운영 아키텍처: 인퍼런스 엔진과 에이전틱 워크플로우

• 인퍼런스 엔진 (Inference Engine): 학습된 모델을 실제로 구동하고 API 형태로 서빙하는 소프트웨어입니다. Ollama, vLLM, TGI 등이 있으며, GPU 메모리 관리와 병렬 처리를 담당합니다.
• 에이전틱 워크플로우 (Agentic Workflow): AI를 단순한 답변 기계가 아닌, 스스로 계획을 세우고 도구(브라우징, 코드 실행 등)를 사용하는 ‘에이전트’로 설계하는 방식입니다. LangChain이나 LlamaIndex가 이 설계를 돕는 프레임워크입니다.

주요 LLM 인퍼런스 엔진 비교

인퍼런스 엔진은 단순히 모델을 실행하는 것을 넘어, 메모리 관리(KV 캐시), 병렬 처리, 요청 큐잉 등을 담당하여 서비스의 처리량(Throughput)과 응답 속도(Latency)를 결정합니다.

실전 운영을 위한 LLM 성능 지표 (Performance Metrics)

사용자가 “이 AI 너무 느린데?”라고 말할 때, 아래 지표들을 분석하여 어디가 병목(Bottleneck)인지 찾아내야 합니다.

💡 LLM 서비스를 위한 성능 최적화 팁

1. 왜 TTFT(첫 글자 속도)가 중요한가요?

사용자는 전체 답변이 나올 때까지 기다리는 것보다, 첫 글자가 즉시 나타날 때 서비스가 빠르다고 느낍니다. 이를 위해 서비스 설계 시 반드시 스트리밍(Streaming) 방식을 도입해야 합니다.

2. TPOT (Time Per Output Token)란?

TPS의 역수로, 토큰 하나를 생성하는 데 평균 몇 초가 걸리는지를 의미합니다.

• 공식: TPOT=TPS1​
• 예를 들어 20 TPS라면, 토큰 하나당 0.05초가 걸리는 셈입니다. 이 값이 일정하게 유지되어야 사용자가 느끼는 ‘말하는 속도’가 끊기지 않습니다.

3. 운영 환경에서의 병목 지점

• TTFT가 느리다면? 입력(Prompt)이 너무 길거나, 모델이 첫 연산을 시작하는 로직(Prefill)에 병목이 있는 것입니다.
• TPS가 느리다면? GPU 성능(VRAM 대역폭)이 한계에 도달했거나, 동시 접속자가 너무 많아 연산 자원이 부족한 상태입니다.

📊 한눈에 보는 지표 관계도

질문 전송 ➔ [ 대기 / 연산 시작 ] ➔ 첫 글자 출력 (TTFT) ➔ [ 타다다닥… (TPS/TPOT) ] ➔ 답변 완료 (E2EL)

5. 💡 요약: 한눈에 보는 LLM 기술 스택

🖥️ 왜 로컬 인프라가 중요한가?

최근 OpenClaw 같은 에이전트 시스템이 주목받으면서, API 비용 부담을 줄이기 위해 로컬 LLM을 직접 서빙하는 사례가 늘고 있습니다. 특히 M4 칩셋의 맥 미니나 넉넉한 VRAM을 갖춘 RTX 3090/4090 환경은 개인 개발자가 기업용 수준의 프로토타입을 구축하기에 최적의 환경을 제공합니다.

이러한 기술 용어들을 단순한 정의 이상으로 이해하고, 각 요소가 전체 시스템의 지연 시간(Latency)과 비용(Cost)에 어떤 영향을 주는지 파악하는 것이 진정한 AI 아키텍처 설계의 시작입니다.