테마
RAG와 Agentic AI
LLM의 지식 한계를 극복하는 RAG와, AI가 스스로 판단하는 Agentic AI의 개념을 배웁니다
학습 목표
- LLM의 Knowledge Cutoff 문제를 이해한다
- RAG(Retrieval-Augmented Generation)의 원리를 파악한다
- RAG가 실무에서 필요한 이유와 핵심 과제를 이해한다
- Agentic AI의 개념과 발전 방향을 이해한다
1. Knowledge Cutoff 문제
LLM은 학습 시점까지의 데이터만 알고 있습니다. 그 이후에 일어난 일은 기본적으로 모릅니다.
실제 사례:
- 프레임워크 메이저 업데이트: 신버전 문법이 나왔는데 LLM이 이전 API로 답변
- 법률 변경: 법이 바뀌었는데 LLM은 구법 기준으로 설명
- 최근 뉴스: 최근 사건이나 발표를 전혀 모름
다른 모델을 쓰면 되지 않나? 제품과 버전에 따라 cutoff 시점은 다르지만, 어떤 모델이든 Knowledge Cutoff 자체는 존재합니다.
2. RAG란?
2.1 개념
RAG(Retrieval-Augmented Generation)는 세 단어의 합성어입니다:
| 단어 | 의미 | 역할 |
|---|---|---|
| Retrieval (검색) | 필요한 정보를 찾아오기 | 개발자가 관련 문서를 검색 |
| Augmented (증강) | 존재하지 않는 것을 있는 것처럼 | LLM이 모르는 정보를 아는 것처럼 |
| Generation (생성) | LLM이 답변을 만들기 | 검색된 정보로 답변 생성 |
"Augmented"는 AR(증강현실, Augmented Reality)의 A와 같은 단어입니다. 실제로 존재하지 않는 것을 있는 것처럼 만드는 것이죠. RAG도 마찬가지로, LLM이 학습하지 않은 정보를 마치 아는 것처럼 답변하게 합니다.
2.2 RAG 아키텍처
단계로 보기
RAG는 검색한 문서를 프롬프트에 넣고 그 근거로 답변을 만든다
1 / 3검색
사용자 질문을 그대로 모델에만 맡기지 않고, 먼저 관련 문서를 찾아 최신 정보와 근거를 확보한다.
스스로 확인
RAG는 모델을 재학습하지 않고도 최신 정보 기반 답변을 어떻게 만들까?
웹 검색 기반 답변도 넓게 보면 RAG의 한 형태입니다. 모델이 학습하지 않은 최신 정보를 검색으로 보강해 답변에 활용하기 때문입니다.
2.3 왜 재학습하지 않는가?
| 방법 | 소요 시간 | 비용 | 위험 |
|---|---|---|---|
| 모델 재학습 | 수주 ~ 수개월 | 매우 높음 | 성능 저하 가능성 |
| RAG (검색+주입) | 실시간 | 상대적으로 낮음 | 검색 품질에 의존 |
딥러닝 학습을 해보면 알겠지만, 학습을 한다고 성능이 좋아지는 것이 보장되지 않습니다. 그래서 함부로 재학습하여 새 모델을 릴리즈하는 것은 위험합니다. RAG가 훨씬 현실적인 해법입니다.
3. RAG의 핵심 과제
RAG에서 가장 어려운 부분은 **검색(Retrieval)**입니다. 사용자가 어떤 질문을 할지 모르기 때문에, 어떤 정보를 가져와야 할지 미리 알 수 없습니다.
3.1 데이터 전처리가 성패를 좌우
3.2 RAG가 필요한 분야
- 사내 문서 챗봇: 회사 내부 문서를 기반으로 답변
- 법률 AI (Legal LLM): 법이 수시로 바뀌므로 최신 법령 반영 필수
- 고객 지원: 제품 매뉴얼, FAQ 기반 자동 응대
- 의료 상담: 최신 의학 논문, 가이드라인 기반 답변
4. Agentic AI
4.1 생성형 AI → Agentic AI
NVIDIA의 젠슨 황(CES 2025 키노트)에 따르면, AI의 발전 방향은 다음과 같습니다:
4.2 Agentic AI란?
일반적으로 사람이 하는 판단을 AI에게 위임하는 것입니다.
| 구분 | Generative AI | Agentic AI |
|---|---|---|
| 동작 | 질문에 답변 | 스스로 목표를 달성 |
| 판단 | 사람이 결정 | AI가 결정 |
| 도구 | 없음 | 도구 호출 가능 (Tool Calling) |
| 예시 | "코드 작성해줘" | 코드 작성 → 테스트 → 디버그 → 커밋 |
4.3 Agentic AI 적용 분야
- 코딩 어시스턴트: Cursor, Claude Code - 코드 작성부터 디버깅까지 자동
- 고객 지원 (Customer Service): 문의 접수 → 분류 → 답변 → 에스컬레이션까지 자동
- 헬스케어 (Patient Care): 미국에서 AI 상담이 크게 성장 중
- 로봇: 물리 세계에서 자율적으로 행동
4.4 LangChain에서의 Agent
LangChain에서는 Tool Calling과 Agent API가 Agentic AI의 기초입니다:
- LLM에게 **도구(Tool)**를 제공
- LLM이 언제 어떤 도구를 쓸지 스스로 판단
- 대표적인 도구: 날씨 API, 웹 검색, 데이터베이스 조회 등
현재 공식 문서 기준으로는 model.bind_tools([...])로 도구를 연결하거나, 더 높은 수준에서는 create_agent(...)로 에이전트를 생성하는 패턴을 많이 사용합니다. Ollama를 쓸 때도 모든 로컬 모델이 동일하게 Tool Calling을 지원하는 것은 아니므로, 실제 지원 여부는 모델별 문서를 확인해야 합니다.
5. 이 강의에서 배운 전체 흐름
핵심 정리
- Knowledge Cutoff: 모든 LLM은 학습 시점까지의 데이터만 알고 있음
- RAG: 검색으로 찾은 정보를 프롬프트에 넣어 LLM이 최신 정보로 답변하게 하는 기법
- RAG에서 데이터 전처리와 검색 품질이 가장 중요
- Agentic AI: 판단과 실행을 AI에게 위임하는 차세대 AI 패러다임
- LangChain 학습 로드맵: 기초(호출/프롬프트/파서/체인) → 중급(RAG/Tool) → 고급(Agent)