로컬 RAG 개발에서 활용할 수 있는 벡터 저장소 종류

10 Apr 2025

로컬 RAG 개발에서 활용할 수 있는 벡터 저장소 종류

Ollama와 RAG 구현, 왜 벡터 저장소가 중요할까?

RAG(Retrieval-Augmented Generation)는 질문에 대한 응답을 생성할 때, 외부 지식(문서 등)을 검색해서 LLM이 참조할 수 있도록 도와주는 기술입니다.
Ollama를 통해 로컬에서 LLM을 구동하는 경우에도 문서 검색을 위한 벡터 데이터베이스(Vector Store)는 필수 구성 요소입니다. 그렇다면 로컬 개발 환경에서는 어떤 벡터 저장소를 사용해야 할까요?

특히 단순한 구성, 인터넷 없이 동작하는 로컬 개발 환경을 고려하면, 로컬에서 가볍게 운영할 수 있는 벡터 저장소를 선택하는 것이 중요합니다.

벡터 저장소의 분류: 저장 매체와 특성으로 이해하기

저장소	저장 방식	구동 방식	주요 특징	독립 실행 가능 여부
FAISS	RAM, 디스크	라이브러리 기반	Facebook이 개발, 빠르고 간단	✅ 매우 가볍고 로컬 실행 최적
Chroma	디스크, SQLite	파이썬 서버 or 라이브러리	LangChain과 통합 쉬움, 메타데이터 활용 우수	✅ 설치만으로 로컬 실행 가능
Weaviate	디스크 기반	독립 서버 or Docker	스케일링 가능, GraphQL 지원	❌ Docker 권장, 무겁지만 테스트 가능
Qdrant	디스크 기반	Rust 서버, API 제공	필터링 기능 우수, FastAPI 연동 쉬움	✅ 로컬 바이너리 or Docker 사용 가능
Milvus	디스크 기반	서버 기반, 대규모 처리	대기업용 스케일링에 최적화	❌ 설치 복잡, 독립 테스트엔 과함
Pinecone	클라우드 전용	SaaS 서비스	벡터 저장소의 AWS, 관리형 인프라	❌ 로컬 사용 불가
DuckDB + LangChain	CSV/Parquet + 인메모리	임시 벡터 관리	RAG라기보단 Lightweight DB + 검색	✅ 초경량 테스트에 적합

로컬 개발 환경에서 독립적으로 사용 가능한 벡터 저장소 추천

FAISS (Facebook AI Similarity Search)

설명: 가장 많이 쓰이는 로컬 벡터 저장소. 간단한 설치와 높은 검색 속도로 실험용 RAG 구현에 최적.
장점:
- GPU, CPU 모두 지원
- 대규모 벡터도 빠르게 처리 가능
- pip으로 바로 설치 가능 (pip install faiss-cpu)
단점:
- 메타데이터 저장 기능 부족
- 서버 기능이 없어 자체 구현 필요

📌 추천 상황: Ollama로 문서 검색 기반 로컬 챗봇 만들기 실습 시

Chroma (기본 로컬 백엔드 포함)

설명: LangChain과의 연동이 뛰어난 벡터 저장소. 자동으로 SQLite에 저장되며, 메타데이터 쿼리 기능이 편리.
장점:
- 로컬 디스크에 저장
- JSON 기반 메타데이터 관리
- Python에서 chromadb 설치만으로 사용 가능
단점:
- 분산 처리나 대규모 확장에는 부적합
- 서버로도 운영할 수 있지만 내부 테스트용에 최적화됨

📌 추천 상황: 간단한 문서 기반 검색 챗봇 테스트, 빠른 프로토타이핑

Qdrant (Rust 기반, 고성능 API)

설명: Rust로 만들어진 고성능 오픈소스 벡터 데이터베이스. REST API, gRPC 모두 지원. Docker로 간편 설치.
장점:
- 다양한 필터링 쿼리 지원
- 벡터 검색 정확도와 속도 우수
- 공식 Python 클라이언트 존재 (qdrant-client)
단점:
- 바이너리 또는 Docker 실행 필요
- 리소스 사용량은 FAISS보다 큼

📌 추천 상황: 중소규모 프로젝트, 검색 정확도 높이고 싶은 경우

선택 가이드: 당신의 프로젝트에 맞는 벡터 저장소는?

환경	추천 벡터 저장소
빠른 프로토타이핑	FAISS, Chroma
메타데이터 기반 검색	Chroma, Qdrant
클라우드와 연동	Pinecone, Weaviate
인터넷없음, 완전 로컬	FAISS, Chroma, Qdrant 바이너리