Ollama에 DeepSeek 기반 한글 모델 추가

09 Apr 2025

Ollama에 DeepSeek 기반 한글 모델 추가하기

Ollama는 기본적으로 공식 지원하는 모델만 ollama pull로 설치할 수 있지만, 사용자가 직접 모델을 다운로드하고 .gguf 포맷으로 변환 후 수동 등록할 수도 있습니다.
최근 주목받는 DeepSeek 기반 한국어 LLM도 이 방식으로 사용할 수 있어요.

1. Ollama에서 직접 추가

👉 예제 모델:
deepseek-r1-Bllossom

우측 중간에 표시된 명령어를 복사하여 직접 실행

$ ollama run jinbora/deepseek-r1-Bllossom:70b

👉 다른 모델 검색:

https://ollama.com/search?q=korean

2. Hugging Face에서 다운로드 후 수동 추가

DeepSeek 기반 한글 모델은 보통 ggml 또는 gguf 포맷으로 제공되며, 아래와 같은 절차로 다운로드할 수 있습니다.

2.1. git lfs 이용

예: DeepSeek-llama3.1-Bllossom-8B 모델

git lfs install
git clone https://huggingface.co/UNIVA-Bllossom/DeepSeek-llama3.1-Bllossom-8B
cd DeepSeek-llama3.1-Bllossom-8B

2.2. 직접 다운로드

Files 탭 이동 후 직접 모델을 파일로 다운로드할 수도 있습니다.

.gguf 확장자를 가진 파일을 확인하세요. 예: llama-3-Korean-Bllossom-8B-gguf-Q4_K_M.gguf

2.3. Ollama 모델 디렉토리에 모델 등록

Ollama에서 수동 모델을 추가하려면 모델 정의 파일(Modelfile)과 .gguf 모델 파일이 필요합니다.

mkdir -p ~/.ollama/models/blobs
cp deepseek-llm-7b-ko.Q4_K_M.gguf ~/.ollama/models/blobs/

또는 별도의 폴더를 생성하여 추가가 가능합니다.

그 다음, 아래처럼 Modelfile을 작성합니다.

FROM llama-3-Korean-Bllossom-8B-Q4_K_M.gguf

TEMPLATE """{{- if .System }}
<s>{{ .System }}</s>
{{- end }}
<s>Human:
{{ .Prompt }}</s>
<s>Assistant:
"""

SYSTEM """상대방의 요청에 최대한 자세하고 친절하게 답하자. 모든 대답은 한국어(Korean)으로 대답해줘."""

PARAMETER temperature 0
PARAMETER num_predict 3000
PARAMETER num_ctx 4096
PARAMETER stop <s>
PARAMETER stop </s>

# 메타데이터
TAGS korean, deepseek
LICENSE open

Modelfile과 .gguf 파일이 같은 디렉토리에 위치한 상태에서 아래 명령어를 실행하세요:

cd /llm/models/llama-3-Korean-Bllossom-8B-gguf-Q4_K_M

ollama create deepseek-ko -f Modelfile

너무 긴 이름을 사용하면 나중에 모델 실행시 타이핑이 어려울 수 있음

3. Ollama에서 생성한 모델 실행

수동 또는 자동 추가된 모델은 아래 명령어로 사용할 수 있습니다:

ollama list

ollama run deepseek-ko

참고 팁

.gguf 파일의 이름과 Modelfile에서 지정한 이름이 정확히 일치해야 합니다.
모델 최적화 포맷으로는 Q4KM이나 Q5_1을 추천드립니다 (속도와 정확도 균형).
GPU 사용 시 Metal (macOS), CUDA (Linux) 설정이 필요할 수 있습니다.

이렇게 하면 Hugging Face의 최신 한국어 모델도 Ollama에서 직접 실행할 수 있어요. 특히 DeepSeek 기반 모델은 성능과 정확도가 우수해 한국어 Q&A, 챗봇, 문서 요약 등 다양한 분야에 활용할 수 있습니다.

Ollama에 DeepSeek 기반 한글 모델 추가