온프레미스 RAG 서비스 구현 시나리오

시나리오 개요

회사 내부 문서 기반 질의응답 시스템 구축

중소기업에서 직원들이 회사의 정책서, 매뉴얼, FAQ 등을 쉽게 검색하고 질문할 수 있는 내부 RAG 시스템을 구축합니다.

1. 프로젝트 요구사항

비즈니스 요구사항

• 직원들이 회사 문서에 대해 자연어로 질문 가능
• 보안을 위해 모든 데이터와 모델이 온프레미스에 위치
• 50명 내외 직원이 동시 사용 가능한 성능
• 웹 인터페이스를 통한 간편한 접근

기술적 요구사항

• 문서 형식: PDF, DOCX, TXT 지원
• 한국어 처리 가능
• 실시간 문서 업데이트 반영
• 답변 출처 표시 기능

2. 시스템 아키텍처

[웹 인터페이스] ← → [API 서버] ← → [LLM 모델]
                        ↓
[문서 처리기] ← → [벡터 데이터베이스]

핵심 컴포넌트

• 웹 인터페이스: Streamlit 또는 Gradio
• API 서버: FastAPI