DeepSeek 使用資料

Ollama 本地部署 DeepSeek R1：Windows 記憶體與 GPU 配置

· DeepSeek 使用資料

許多開發者與研究人員希望能在本地環境運行大型語言模型 (LLM)，以保護數據隱私、降低雲端成本並實現更快速的疊代開發。DeepSeek R1 模型系列以其卓越的性能受到廣泛關注。本文將重點介紹如何在 Windows 作業系統上，透過 Ollama 平台高效部署 DeepSeek R1，並深入探討記憶體（RAM）與顯示卡記憶體（VRAM）的配置與優化策略，確保模型穩定且表現理想。

在 Windows 環境下運行 LLM 面臨的主要挑戰，是如何有效地管理系統資源，特別是有限的 GPU 資源。Ollama 簡化了模型部署流程，但適切的資源配置仍是提升性能的關鍵。

前置準備：系統要求與必備工具

在開始部署之前，請確保您的 Windows 系統滿足以下基本要求：

  1. 作業系統：Windows 10 或 11 (64-bit)。

  2. 記憶體 (RAM)：建議至少 16GB，若要運行更大模型或同時運行多個應用程式，則建議 32GB 或以上。

  3. 顯示卡 (GPU)：

    • NVIDIA GPU：建議 GeForce RTX 30 系列或更高版本，VRAM 至少 8GB。若要運行 7B 或更大模型，12GB-16GB VRAM 將提供更佳體驗。請確保安裝了最新的 NVIDIA 驅動程式。
    • AMD GPU：需支援 ROCm，但 Windows 上的 ROCm 支援有限，建議使用 WSL2 配合。若在原生 Windows 上使用 AMD GPU，Ollama 可能會退回 CPU 運行。
    • Intel GPU：需支援 OpenVINO，效能不如獨立顯示卡。
    • 若無獨立顯示卡，Ollama 亦可在 CPU 上運行，但速度會慢得多，不建議用於日常推理。

  4. 儲存空間：確保有足夠的硬碟空間下載模型檔案 (DeepSeek R1 7B 量化模型約數 GB)。

所需工具：

  • Ollama：模型運行環境。
  • Windows 任務管理器：監控系統資源。
  • NVIDIA-SMI (NVIDIA GPU 用戶)：更詳細的 GPU 監控工具，通常隨驅動程式一同安裝。

步驟一：安裝 Ollama

Ollama 是一個輕量級、易於使用的 LLM 運行環境，它能簡化模型下載、配置與啟動的過程。

  1. 下載 Ollama 安裝程式： 前往 Ollama 官方網站 ollama.com，下載適用於 Windows 的安裝程式。

  2. 執行安裝： 雙擊下載的 OllamaSetup.exe 檔案，依照指示完成安裝。安裝過程通常只需點擊「Next」直至完成，無需複雜配置。Ollama 會自動在背景運行，並在系統托盤顯示其圖示。

  3. 驗證安裝： 開啟命令提示字元 (CMD) 或 PowerShell，輸入以下指令：

    ollama --version

    如果成功顯示 Ollama 版本資訊，則表示安裝成功。

    香港數據中心伺服器架構示意 上圖展示了數據中心常見的伺服器架構，高效運行的本地 LLM 部署同樣需要穩健的硬件基礎。

步驟二：選擇並下載 DeepSeek R1 模型

DeepSeek R1 有多種大小和量化版本。量化模型（Quantized Models）是將模型權重從高精度（如 16-bit 浮點數）壓縮為低精度（如 4-bit 整數），以大幅減少檔案大小和記憶體佔用，同時盡可能保持效能。

  1. 查找 DeepSeek 模型： Ollama 支援 DeepSeek 旗下的多個模型，您可以透過 Ollama 官方網站或在終端機中查詢：

    ollama search deepseek

    這會列出所有可用的 DeepSeek 模型，例如 deepseek-coder:7b-instruct-q4_K_M。通常建議從 7B 或 6.7B 的量化版本開始。q4_K_M 是指 4-bit 量化，通常在性能和資源消耗之間取得良好平衡。

  2. 下載模型： 選擇您希望使用的 DeepSeek R1 模型。例如，下載 deepseek-coder:7b-instruct-q4_K_M：

    ollama pull deepseek-coder:7b-instruct-q4_K_M

    下載過程可能需要數分鐘到數十分鐘，具體取決於您的網絡速度和模型大小。

  3. 運行首次測試： 模型下載完成後，您可以立即嘗試運行它：

    ollama run deepseek-coder:7b-instruct-q4_K_M

    當提示符 >>> 出現時，您可以輸入問題與模型互動。

步驟三：理解記憶體與 GPU 配置基礎

Ollama 在運行 LLM 時，會盡可能地將模型層（layers）加載到 GPU 的 VRAM 中。如果 VRAM 不足，剩餘的層會加載到系統 RAM 中，甚至進一步依賴 CPU 進行計算，這會顯著降低推理速度。

  • VRAM (顯示卡記憶體)：模型推理的核心資源。VRAM 容量越大，能加載的 GPU 層數越多，推理速度越快。DeepSeek R1 7B Q4_K_M 版本通常需要約 4.5GB - 5GB 的 VRAM。
  • RAM (系統記憶體)：當 VRAM 不足時作為後備，或者用於加載模型的「上下文」（context window），即模型處理輸入和生成輸出的工作空間。
  • CPU (中央處理器)：在沒有 GPU 或 GPU 負載過高時，負責處理模型計算。

步驟四：Ollama 運行時的資源監控

為了優化配置，您需要實時監控系統資源使用情況。

  1. 使用 Windows 任務管理器 (Task Manager)： 按下 Ctrl + Shift + Esc 開啟任務管理器。

    • 在「性能」標籤頁，您可以查看 CPU、記憶體和 GPU 的使用率。
    • 特別注意「GPU」部分，Ollama 通常會以其進程名（例如 ollama.exe）或透過驅動程式層顯示其 VRAM 使用情況。

  2. 使用 NVIDIA-SMI (僅限 NVIDIA GPU)： 開啟命令提示字元或 PowerShell，輸入：

    nvidia-smi

    這將顯示當前 GPU 的詳細狀態，包括 VRAM 使用量、GPU 使用率和每個進程的 VRAM 佔用。觀察 Memory-Usage 和 GPU-Util 欄位，可以判斷 DeepSeek R1 是否充分利用了 GPU。

    Windows 任務管理器中的 GPU 性能監控 Windows 任務管理器中的 GPU 性能監控圖表，是了解系統資源瓶頸的直觀工具。

步驟五：優化 Ollama 記憶體與 GPU 使用

Ollama 提供環境變數來精細控制模型的資源分配。

  1. GPU 層 offloading 配置 (OLLAMA_GPU_LAYERS)： Ollama 會自動嘗試將所有層加載到 GPU。但如果 VRAM 不足，您可以手動指定要加載到 GPU 的層數。剩餘的層將在 CPU 上運行。

    • 查看模型總層數： 您可以在 Ollama 模型庫頁面或在模型文件內部查看模型架構資訊。對於 7B 大小的 DeepSeek 模型，通常有 32 個層（Transformer blocks）。

    • 設定 GPU 層數： 假設您的 GPU 有 8GB VRAM，而 7B Q4_K_M 模型需要約 4.5GB VRAM。Ollama 會自動將大部分甚至全部層加載到 GPU。但如果您遇到 VRAM 不足的錯誤（例如 CUDA out of memory），可以嘗試逐步減少 GPU 層數。

      在運行 ollama run 命令之前，在命令提示字元或 PowerShell 中設定環境變數：

      # 範例：將 20 個層加載到 GPU，其餘在 CPU 上運行
# 在 CMD 中：
set OLLAMA_GPU_LAYERS=20
ollama run deepseek-coder:7b-instruct-q4_K_M

# 在 PowerShell 中：
$env:OLLAMA_GPU_LAYERS=20
ollama run deepseek-coder:7b-instruct-q4_K_M

      您可以從總層數 (例如 32) 逐步遞減，每次減少 4-8 層，直到模型穩定運行且保持可接受的推理速度。

  2. GPU 設備選擇 (OLLAMA_NUM_GPU)： 如果您有多個 GPU，並且希望指定 Ollama 使用其中一個，或者限制 Ollama 使用的 GPU 數量，可以使用此變數。

    • OLLAMA_NUM_GPU=1：只使用一個 GPU（預設行為）。
    • OLLAMA_NUM_GPU=all：使用所有可用的 GPU。
    • OLLAMA_NUM_GPU=0：完全禁用 GPU，模型將在 CPU 上運行。
    # 在 CMD 中：
set OLLAMA_NUM_GPU=1
ollama run deepseek-coder:7b-instruct-q4_K_M

# 在 PowerShell 中：
$env:OLLAMA_NUM_GPU=1
ollama run deepseek-coder:7b-instruct-q4_K_M

    一般情況下，對於單 GPU 系統，無需特別設定此變數。

  3. 模型量化程度的選擇： 在下載模型時，選擇更低的量化版本（例如 q4_K_S 或 q2_K）可以進一步減少 VRAM 和 RAM 的佔用，但通常會犧牲一些模型精度和性能。如果您資源極度有限，這會是一個不錯的選擇。

    ollama pull deepseek-coder:7b-instruct-q2_K
    量化類型 VRAM 佔用 (DeepSeek 7B 參考) 記憶體消耗 (參考) 性能影響 適用場景
    q8_0 約 7.5 GB 高 最佳近似原生 FP16 資源充足，追求最高精度
    q5_K_M 約 5.5 GB 中高 良好，接近 q8_0 較好的平衡，推薦配置 10-12GB VRAM
    q4_K_M 約 4.5 GB 中 良好，輕微下降 常用平衡點，推薦配置 8GB VRAM
    q2_K 約 2.5-3 GB 低 較大影響，速度快 資源極限或需要極致速度，但精度要求不高的場景

步驟六：實際測試與調整

配置優化是一個迭代過程。

  1. 啟動模型： 根據您調整後的環境變數，啟動 DeepSeek R1 模型：

    # 例如，使用 PowerShell 設定後運行
$env:OLLAMA_GPU_LAYERS=28 # 假設您的 8GB VRAM 可以穩定加載 28 層
ollama run deepseek-coder:7b-instruct-q4_K_M

  2. 監控資源： 在模型啟動和互動過程中，實時觀察任務管理器或 nvidia-smi。

    • VRAM 佔用：是否接近您的 GPU VRAM 上限？
    • GPU 使用率：在推理時是否保持較高水平（例如 70% 以上）？過低可能表示 CPU 參與度高或模型層分佈不均。
    • 記憶體 (RAM) 佔用：是否還有足夠的系統記憶體，避免系統卡頓？

  3. 調整策略：

    • VRAM 不足 (Out of Memory)：嘗試降低 OLLAMA_GPU_LAYERS 的值，或者更換為更低量化程度的模型 (例如 q2_K)。
    • 推理速度緩慢：如果 VRAM 尚有餘裕，嘗試增加 OLLAMA_GPU_LAYERS 的值，讓更多計算在 GPU 上進行。如果 GPU 使用率低但 VRAM 已滿，考慮升級 GPU 或使用更小模型。
    • CPU 佔用過高：這表示過多的模型層運行在 CPU 上。同樣地，考慮增加 OLLAMA_GPU_LAYERS 或使用更小的模型。

常見問題與解決方案

  • 錯誤：CUDA out of memory 或 GPU memory error：
    • 解決方案：減少 OLLAMA_GPU_LAYERS，或選擇更低量化級別的模型，如 q2_K。關閉其他佔用 VRAM 的應用程式。
  • 模型運行速度非常慢：
    • 解決方案：檢查 nvidia-smi 或任務管理器，確認 GPU 是否正在被有效利用。如果 GPU 使用率低而 VRAM 有空餘，嘗試增加 OLLAMA_GPU_LAYERS。如果 VRAM 已滿但 GPU 使用率仍然不高，可能是 CPU 成為瓶頸，考慮使用更高層次量化或更小的模型。
  • Ollama 啟動失敗或無法下載模型：
    • 解決方案：檢查網絡連接。確保防火牆或殺毒軟件沒有阻止 Ollama 的連接。嘗試重啟 Ollama 服務。

總結

在 Windows 上本地部署 DeepSeek R1 並非難事，關鍵在於理解模型對資源的需求，並善用 Ollama 提供的環境變數進行精細調整。透過逐步測試和監控資源使用情況，您可以為您的系統找到 DeepSeek R1 模型的最佳配置點，實現高效且穩定的本地 AI 推理體驗。從選擇合適的量化模型，到精準控制 GPU 層數，這些策略將助您充分利用現有硬件，發揮 DeepSeek R1 的強大潛力。