手把手教你完成Deepseek系列大模型的本地部署与使用
Deepseek是由深度求索(DeepSeek)开发的一系列大语言模型,包含Deepseek-V1、Deepseek-V2以及Deepseek-R1等版本。这些模型在代码生成、自然语言理解、数学推理等方面表现出色,支持本地部署和API调用。
本指南将帮助你从零开始完成Deepseek模型的安装与配置。
transformers
、accelerate
、bitsandbytes
等Python库git clone https://github.com/deepseek-ai/DeepSeek.git
cd DeepSeek
python -m venv deepseek-env
source deepseek-env/bin/activate # Linux/macOS
# 或 deepseek-env\Scripts\activate (Windows)
pip install -r requirements.txt
通过Hugging Face或官方渠道获取模型权重:
from transformers import AutoTokenizer, AutoModelForCausalLM
model_name = "deepseek-ai/deepseek-llm-7b-chat"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")
创建一个测试脚本 test.py
:
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
# 加载模型
tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/deepseek-llm-7b-chat")
model = AutoModelForCausalLM.from_pretrained(
"deepseek-ai/deepseek-llm-7b-chat",
device_map="auto",
torch_dtype=torch.float16
)
# 生成测试
input_text = "你好,请介绍一下你自己。"
inputs = tokenizer(input_text, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=128)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
运行测试:
python test.py
A: 尝试使用量化版本(如4-bit或8-bit加载),或更换更小的模型(如6.7B版本)。
A: Deepseek提供官方API服务,注册后获取API Key,通过HTTP请求调用:
curl https://api.deepseek.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "deepseek-chat",
"messages": [{"role": "user", "content": "你好"}]
}'