AI 探索
配置 Ollama 环境变量
macOS 系统 Ollama 后台运行方案
launchd 服务环境变量与 Shell 环境变量的独立性解析
通过 Ollama 安装 deepseek
git: 'lfs' is not a git command
本文档使用 MrDoc 发布
-
+
首页
通过 Ollama 安装 deepseek
## 一、**直接通过 Ollama 安装的参数调整方法** 若模型已收录在 Ollama 官方库中(如 `deepseek-r1:14b`),可通过以下方式调整运行参数: ### 1. **临时参数调整(单次运行生效)** 在 `ollama run` 命令中直接指定参数: ```bash ollama run deepseek-r1:14b ``` ### 2. **持久化参数配置(通过 Modelfile)** 创建自定义模型配置文件,永久保存参数: ```bash # 创建 Modelfile cat << EOF > Modelfile FROM deepseek-r1:14b PARAMETER temperature 0.6 PARAMETER num_ctx 4096 PARAMETER top_k 50 #PARAMETER stop "答案:" SYSTEM """ 你是一个严谨的助手,请确保回答准确且分步骤说明。 """ EOF # 构建自定义模型 ollama create deepseek-r1-14b-custom -f Modelfile # 运行自定义模型 ollama run deepseek-r1-14b-custom ``` - **常用参数**: - `--temperature`:生成温度(默认 `0.8`,范围 `0-1`,越低越确定)。 - `--num_ctx`:上下文窗口长度(如 `4096`,需硬件支持)。 - `--seed`:随机种子(固定输出结果,便于调试)。 - `--top_k`:采样时保留的最高概率词数(默认 `40`)。 - `--top_p`:动态截断概率(默认 `0.9`,与 `top_k` 二选一)。 - **关键字段**: - `SYSTEM`:定义系统级提示词(影响所有对话)。 - `PARAMETER stop`:设置停止词(如 `"答案:"` 提前终止生成)。 --- ## 二、**手动导入本地模型文件的完整步骤(基于 git clone 获取的模型)** ### 1. **从 Hugging Face 克隆模型** ```bash # 安装 Git LFS(若未安装) git lfs install # 完整克隆模型仓库(含大文件) git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B ``` - **目录结构**: ``` DeepSeek-R1-Distill-Qwen-14B/ ├── config.json ├── model.safetensors # PyTorch 格式权重文件 ├── tokenizer.model └── README.md ``` ### 2. **转换模型格式为 GGUF(Ollama 兼容)** 使用 `llama.cpp` 工具转换格式并量化: ```bash # 安装依赖(以 macOS 为例) brew install cmake python3 # 克隆 llama.cpp 仓库 git clone https://github.com/ggml-org/llama.cpp.git cd llama.cpp cmake -B build cmake --build build --config Release # 转换模型格式(需安装 Python 依赖) pip install -r requirements.txt python3 convert.py --input-model ../DeepSeek-R1-Distill-Qwen-14B --output-model ../deepseek-14b.fp16.gguf # 量化模型(以 Q4_K_S 为例) ./quantize ../deepseek-14b.fp16.gguf ../deepseek-14b.q4_k_s.gguf q4_k_s ``` ### 3. **创建 Ollama 模型配置文件** 新建 `Modelfile` 文件: ```bash # Modelfile 内容 FROM ./deepseek-14b.q4_k_s.gguf PARAMETER num_ctx 4096 PARAMETER temperature 0.6 TEMPLATE """{{ if .System }}系统:{{ .System }} {{ end }}{{ .Prompt }} 思考:{{ .Response }}""" ``` ### 4. **导入并运行模型** ```bash # 创建自定义模型 ollama create deepseek-14b-custom -f Modelfile # 运行模型 ollama run deepseek-14b-custom ``` --- ## 三、**关键注意事项** 1. **硬件资源要求**: - **14B-Q4 模型**:需至少 24GB 内存(推荐 32GB)+ 支持 AVX2 的 CPU 或 NVIDIA GPU。 - **量化精度选择**: - **Q4_K_S**:平衡速度与精度(推荐)。 - **Q2_K**:极低精度,仅用于快速测试。 2. **性能优化技巧**: - **GPU 加速(macOS)**:通过 `PARAMETER num_gpu_layers 40` 启用 Metal 加速。 - **内存常驻**:设置 `OLLAMA_KEEP_ALIVE=-1` 减少重复加载开销。 3. **常见错误处理**: - **模型加载失败**:检查 GGUF 文件完整性(`md5sum` 对比)。 - **显存不足**:降低 `num_ctx` 或使用更低量化版本(如 Q3_K_M)。 --- 通过以上步骤,您可以根据需求灵活选择 **直接安装** 或 **手动导入** 方式,并通过参数优化获得最佳性能。
七宇轩远
2025年02月28日
转发文档
收藏文档
上一篇
下一篇
手机扫码
复制链接
手机扫一扫转发分享
复制链接
Markdown文件
分享
链接
类型
密码
更新密码