[카테고리:] 미분류

Hugging Face에서 제공하는 DeepSeek-V3 모델을 다운로드하고 실행하는 과정에서 다양한 오류가 발생할 수 있습니다. 특히 macOS (M1/M2 칩) 환경에서 Rust, tokenizers, transformers 패키지와의 호환성 문제로 인해 모델을 실행하기 어려운 경우가 많습니다. 이 글에서는 DeepSeek-V3 모델을 성공적으로 설치하고 실행하기 위한 단계별 가이드를 제공합니다.

---

1. DeepSeek-V3 모델 다운로드 및 설치

사전 준비

모델을 실행하기 위해서는 다음과 같은 필수 패키지를 설치해야 합니다:

pip install transformers torch

M1/M2 맥북 사용자는 CPU 버전의 PyTorch를 설치해야 합니다:

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu

모델 다운로드 및 실행 코드

from transformers import AutoTokenizer, AutoModel

model_name = "deepseek-ai/DeepSeek-V3"

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModel.from_pretrained(model_name, trust_remote_code=True)

이제 모델이 정상적으로 실행되어야 합니다. 하지만, 여기서 많은 사용자들이 다음과 같은 오류를 경험하게 됩니다.

---

2. 발생할 수 있는 주요 오류 및 해결 방법

오류 1: is_torch_greater_or_equal_than_1_13 ImportError

오류 메시지:

ImportError: cannot import name 'is_torch_greater_or_equal_than_1_13' from 'transformers.pytorch_utils'

해결 방법:

1. transformers 패키지를 구버전으로 다운그레이드

pip install transformers==4.31.0

2. transformers 캐시 삭제 후 재설치

rm -rf ~/.cache/huggingface
pip install transformers==4.31.0

---

오류 2: tokenizers 빌드 실패 (Rust 컴파일러 오류)

오류 메시지:

error: can't find Rust compiler

해결 방법:

1. Rust 설치:

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

2. Rust 환경 변수 설정:

. "$HOME/.cargo/env"

3. Rust 버전 확인:

rustc --version

4. tokenizers 패키지 설치:

pip install tokenizers --only-binary=:all:

---

오류 3: tokenizers 빌드 중 Rust 컴파일 에러 발생

오류 메시지:

error: process didn't exit successfully: 'rustc ...'

해결 방법:

1. Rust 버전 다운그레이드:

rustup install 1.70.0
rustup default 1.70.0

2. tokenizers 수동 설치:

pip install tokenizers==0.13.3

3. transformers 재설치:

pip install transformers==4.31.0

---

3. Mac 환경에서 Conda를 활용한 설치 (대안 방법)

만약 위 방법들이 해결되지 않는다면, conda 환경을 활용하는 것이 더 쉬운 방법이 될 수 있습니다.

conda create -n deepseek-env python=3.9
conda activate deepseek-env
pip install transformers==4.31.0

이 환경에서 DeepSeek-V3 모델을 실행하면 Mac 환경에서 발생하는 많은 호환성 문제가 해결될 가능성이 높습니다.

---

4. 추가적인 문제 해결 방법

• Hugging Face 포럼에서 최신 정보 확인:
  • Hugging Face Discuss
• 캐시를 완전히 삭제하고 다시 설치 시도:

rm -rf ~/.cache/huggingface
pip install transformers tokenizers

• PyTorch, transformers, tokenizers의 최신 버전을 유지하면서 테스트:

pip install --upgrade torch torchvision transformers tokenizers

---

5. 결론

DeepSeek-V3 모델은 뛰어난 성능을 자랑하지만, 설치 과정에서 많은 기술적인 문제를 동반할 수 있습니다. 특히 macOS M1/M2 사용자는 Rust, tokenizers, transformers 패키지와의 호환성 문제를 겪을 가능성이 높습니다.

이 글에서 소개한 해결 방법을 차례로 적용하면 대부분의 오류를 해결할 수 있습니다. 만약 여전히 문제가 해결되지 않는다면, Hugging Face 커뮤니티에서 유사한 사례를 검색해 보거나, 최신 버전의 패키지를 확인하는 것이 좋습니다.