Hugging Face에서 제공하는 DeepSeek-V3 모델을 다운로드하고 실행하는 과정에서 다양한 오류가 발생할 수 있습니다. 특히 macOS (M1/M2 칩) 환경에서 Rust, tokenizers, transformers 패키지와의 호환성 문제로 인해 모델을 실행하기 어려운 경우가 많습니다. 이 글에서는 DeepSeek-V3 모델을 성공적으로 설치하고 실행하기 위한 단계별 가이드를 제공합니다.
1. DeepSeek-V3 모델 다운로드 및 설치
사전 준비
모델을 실행하기 위해서는 다음과 같은 필수 패키지를 설치해야 합니다:
pip install transformers torch
M1/M2 맥북 사용자는 CPU 버전의 PyTorch를 설치해야 합니다:
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu
모델 다운로드 및 실행 코드
from transformers import AutoTokenizer, AutoModel
model_name = "deepseek-ai/DeepSeek-V3"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModel.from_pretrained(model_name, trust_remote_code=True)
이제 모델이 정상적으로 실행되어야 합니다. 하지만, 여기서 많은 사용자들이 다음과 같은 오류를 경험하게 됩니다.
2. 발생할 수 있는 주요 오류 및 해결 방법
오류 1: is_torch_greater_or_equal_than_1_13 ImportError
오류 메시지:
ImportError: cannot import name 'is_torch_greater_or_equal_than_1_13' from 'transformers.pytorch_utils'
해결 방법:
- transformers 패키지를 구버전으로 다운그레이드
pip install transformers==4.31.0
- transformers 캐시 삭제 후 재설치
rm -rf ~/.cache/huggingface
pip install transformers==4.31.0
오류 2: tokenizers 빌드 실패 (Rust 컴파일러 오류)
오류 메시지:
error: can't find Rust compiler
해결 방법:
- Rust 설치:
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
- Rust 환경 변수 설정:
. "$HOME/.cargo/env"
- Rust 버전 확인:
rustc --version
- tokenizers 패키지 설치:
pip install tokenizers --only-binary=:all:
오류 3: tokenizers 빌드 중 Rust 컴파일 에러 발생
오류 메시지:
error: process didn't exit successfully: 'rustc ...'
해결 방법:
- Rust 버전 다운그레이드:
rustup install 1.70.0
rustup default 1.70.0
- tokenizers 수동 설치:
pip install tokenizers==0.13.3
- transformers 재설치:
pip install transformers==4.31.0
3. Mac 환경에서 Conda를 활용한 설치 (대안 방법)
만약 위 방법들이 해결되지 않는다면, conda 환경을 활용하는 것이 더 쉬운 방법이 될 수 있습니다.
conda create -n deepseek-env python=3.9
conda activate deepseek-env
pip install transformers==4.31.0
이 환경에서 DeepSeek-V3 모델을 실행하면 Mac 환경에서 발생하는 많은 호환성 문제가 해결될 가능성이 높습니다.
4. 추가적인 문제 해결 방법
- Hugging Face 포럼에서 최신 정보 확인:
- 캐시를 완전히 삭제하고 다시 설치 시도:
rm -rf ~/.cache/huggingface
pip install transformers tokenizers
- PyTorch, transformers, tokenizers의 최신 버전을 유지하면서 테스트:
pip install --upgrade torch torchvision transformers tokenizers
5. 결론
DeepSeek-V3 모델은 뛰어난 성능을 자랑하지만, 설치 과정에서 많은 기술적인 문제를 동반할 수 있습니다. 특히 macOS M1/M2 사용자는 Rust, tokenizers, transformers 패키지와의 호환성 문제를 겪을 가능성이 높습니다.
이 글에서 소개한 해결 방법을 차례로 적용하면 대부분의 오류를 해결할 수 있습니다. 만약 여전히 문제가 해결되지 않는다면, Hugging Face 커뮤니티에서 유사한 사례를 검색해 보거나, 최신 버전의 패키지를 확인하는 것이 좋습니다.
답글 남기기