通过 Ollama 安装 deepseek

## 一、**直接通过 Ollama 安装的参数调整方法**

若模型已收录在 Ollama 官方库中（如 `deepseek-r1:14b`），可通过以下方式调整运行参数：

### 1. **临时参数调整（单次运行生效）**
在 `ollama run` 命令中直接指定参数：
```bash
ollama run deepseek-r1:14b
```

### 2. **持久化参数配置（通过 Modelfile）**
创建自定义模型配置文件，永久保存参数：
```bash
# 创建 Modelfile
cat << EOF > Modelfile
FROM deepseek-r1:14b
PARAMETER temperature 0.6
PARAMETER num_ctx 4096
PARAMETER top_k 50
#PARAMETER stop "答案："
SYSTEM """
你是一个严谨的助手，请确保回答准确且分步骤说明。
"""
EOF

# 构建自定义模型
ollama create deepseek-r1-14b-custom -f Modelfile

# 运行自定义模型
ollama run deepseek-r1-14b-custom
```

- **常用参数**：
  - `--temperature`：生成温度（默认 `0.8`，范围 `0-1`，越低越确定）。
  - `--num_ctx`：上下文窗口长度（如 `4096`，需硬件支持）。
  - `--seed`：随机种子（固定输出结果，便于调试）。
  - `--top_k`：采样时保留的最高概率词数（默认 `40`）。
  - `--top_p`：动态截断概率（默认 `0.9`，与 `top_k` 二选一）。

- **关键字段**：
  - `SYSTEM`：定义系统级提示词（影响所有对话）。
  - `PARAMETER stop`：设置停止词（如 `"答案："` 提前终止生成）。

---

## 二、**手动导入本地模型文件的完整步骤（基于 git clone 获取的模型）**

### 1. **从 Hugging Face 克隆模型**
```bash
# 安装 Git LFS（若未安装）
git lfs install

# 完整克隆模型仓库（含大文件）
git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
```
- **目录结构**：
  ```
  DeepSeek-R1-Distill-Qwen-14B/
  ├── config.json
  ├── model.safetensors  # PyTorch 格式权重文件
  ├── tokenizer.model
  └── README.md
  ```

### 2. **转换模型格式为 GGUF（Ollama 兼容）**
使用 `llama.cpp` 工具转换格式并量化：
```bash
# 安装依赖（以 macOS 为例）
brew install cmake python3

# 克隆 llama.cpp 仓库
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build --config Release

# 转换模型格式（需安装 Python 依赖）
pip install -r requirements.txt
python3 convert.py --input-model ../DeepSeek-R1-Distill-Qwen-14B --output-model ../deepseek-14b.fp16.gguf

# 量化模型（以 Q4_K_S 为例）
./quantize ../deepseek-14b.fp16.gguf ../deepseek-14b.q4_k_s.gguf q4_k_s
```

### 3. **创建 Ollama 模型配置文件**
新建 `Modelfile` 文件：
```bash
# Modelfile 内容
FROM ./deepseek-14b.q4_k_s.gguf
PARAMETER num_ctx 4096
PARAMETER temperature 0.6
TEMPLATE """{{ if .System }}系统：{{ .System }}
{{ end }}{{ .Prompt }}
思考：{{ .Response }}"""
```

### 4. **导入并运行模型**
```bash
# 创建自定义模型
ollama create deepseek-14b-custom -f Modelfile

# 运行模型
ollama run deepseek-14b-custom
```

---

## 三、**关键注意事项**
1. **硬件资源要求**：
   - **14B-Q4 模型**：需至少 24GB 内存（推荐 32GB）+ 支持 AVX2 的 CPU 或 NVIDIA GPU。
   - **量化精度选择**：
     - **Q4_K_S**：平衡速度与精度（推荐）。
     - **Q2_K**：极低精度，仅用于快速测试。

2. **性能优化技巧**：
   - **GPU 加速（macOS）**：通过 `PARAMETER num_gpu_layers 40` 启用 Metal 加速。
   - **内存常驻**：设置 `OLLAMA_KEEP_ALIVE=-1` 减少重复加载开销。

3. **常见错误处理**：
   - **模型加载失败**：检查 GGUF 文件完整性（`md5sum` 对比）。
   - **显存不足**：降低 `num_ctx` 或使用更低量化版本（如 Q3_K_M）。

---

通过以上步骤，您可以根据需求灵活选择 **直接安装** 或 **手动导入** 方式，并通过参数优化获得最佳性能。