跳到主要內容

🌐 超越邊界:Ollama (Windows) 與 Dify (WSL2) 的完美結合

 


0. 核心架構圖:跨越虛擬機的隱形網路線

在開始之前,我們先建立一個清晰的空間概念。你的電腦現在被分為兩個世界:

代码段
graph TD
    subgraph Windows_Host ["Windows 宿主機 (你的電腦)"]
        Ollama[("🐳 Ollama<br>(負責模型推理LLM/Embedding)") ]
        GPU[("🚀 NVIDIA/AMD GPU<br>(硬體加速)") ]
        Ollama --> GPU
    end

    subgraph WSL2_Linux ["WSL2 虛擬 Linux (Ubuntu)"]
        Dify[("🧩 Dify 全棧平台<br>(負責應用邏輯/工作流)") ]
        Docker[("🐋 Docker Containers<br>(Postgres, Redis, Sandbox)") ]
        Dify --> Docker
    end

    %% 關鍵連線
    Dify -. "透過 http://host.docker.internal:11434 連線" .-> Ollama
    Ollama -. "接收來自 WSL2 的請求" .-> Dify

    style Windows_Host fill:#e1f5fe,stroke:#01579b,stroke-width:2px
    style WSL2_Linux fill:#e8f5e9,stroke:#1b5e20,stroke-width:2px
    style Ollama fill:#fff,stroke:#000,stroke-width:2px
    style Dify fill:#fff,stroke:#000,stroke-width:2px
  • Windows 的角色:扮演「強大的肌肉」。Ollama 在這裡直接存取 GPU 驅動,發揮最強的模型推理效能。

  • WSL2 的角色:扮演「智慧的大腦」。Dify 在這裡編排工作流、管理資料庫和知識庫。

  • 那條隱形網路線:就是 Docker Desktop 提供的特殊域名 host.docker.internal,它讓住在 Docker 容器裡的 Dify,能一秒穿透虛擬機,找到 Windows 上的 Ollama。


1. Windows 端配置:讓 Ollama「開門接客」

預設情況下,Windows 的 Ollama 很害羞,只聽 Windows 自己的話。我們要讓它接受來自 WSL2 的連線。

步驟 A:設定環境變數

  1. 在 Windows 搜尋框輸入 「環境變數」,選擇「編輯系統環境變數」。

  2. 點擊「環境變數」按鈕。

  3. 在「使用者變數」下點擊「新增」:

    • 變數名稱:OLLAMA_HOST

    • 變數值:0.0.0.0 (代表監聽所有網路介面)

  4. (選填):如果你有多張顯卡,可以新增 OLLAMA_LLM_LIBRARY 並設定為 nvidia。

步驟 B:重啟 Ollama

設定完環境變數後,必須完全退出 Ollama(右下角系統列圖示右鍵 Exit),然後重新啟動 Ollama。

步驟 C:驗證「跨界通訊」 (在 WSL2 中執行)

打開你的 WSL2 終端機,執行這行指令。如果你能看到一串 JSON 格式的模型清單,代表隧道已經打通了!

Bash
# 在 WSL2 終端機執行
curl http://host.docker.internal:11434/api/tags

2. Dify 端配置:在 UI 中點亮本地模型

現在我們回到 Dify 的網頁介面(localhost:3000),把剛才打通的隧道正式掛接上去。

步驟 A:進入模型供應商設定

  1. 點擊右上角頭像 ➔ 「設定」(Settings)。

  2. 點擊左側選單的 「模型供應商」(Model Provider)。

  3. 在清單中找到 Ollama 卡片。

步驟 B:填寫連線資訊

點擊 Ollama 卡片的「設置」或「添加模型」,在彈出的視窗中填寫:

  • 模型名稱:必須與你在 Windows 端 ollama list 看到的名稱完全一致(例如:llama3:latest)。

  • 基礎 URL (Base URL):這是最關鍵的一步!請填入:

    http://host.docker.internal:11434

  • 模型類型:根據模型功能選擇 LLM (對話) 或 Text Embedding (向量化)。

  • 模式:選擇 Chat 或 Completion。

步驟 C:保存並檢驗

點擊「保存」。如果連線成功,Ollama 卡片上方會出現一個 綠色的勾勾,並顯示 「已授權」(Authorized)。


3. 實戰測試:讓 Llama 3 說第一句話

最後,我們去「工作室」見證奇蹟的時刻。

步驟 A:指派模型

  1. 進入 「工作室」,建立一個新的「聊天助手」應用。

  2. 在編輯介面右上方,點開模型下拉選單。

  3. 選取 Ollama / llama3:latest。

步驟 B:開始對話

在對話框中輸入:你好,請給我一個讚! 如果 Llama 3 成功用本地算力回覆你,這套環境就完全大功告成了!


🕵️‍♂️ 進階:我們之前用 SQL 注入做了什麼?

如果你看過之前的討論,可能會記得我們用 SQL 直接操作資料庫。這是因為 Dify 的內部邏輯其實是由幾張表共同維護模型的配置。

當你在 UI 點擊「保存」時,Dify 其實在後台做了這件事(這也是我們 SQL 注入的內容):

代码段
erDiagram
    TENANTS ||--o{ PROVIDER_MODELS : owns
    PROVIDER_MODELS }o--|| PROVIDER_MODEL_CREDENTIALS : references

    TENANTS {
        uuid id
        string name
    }

    PROVIDER_MODEL_CREDENTIALS {
        uuid id
        uuid tenant_id
        string provider_name "ollama"
        string credential_name "Ollama-Config"
        json encrypted_config "'{'base_url': 'http://host.docker.internal:11434'}'"
    }

    PROVIDER_MODELS {
        uuid id
        uuid tenant_id
        uuid credential_id
        string model_name "llama3:latest"
        string model_type "text-generation"
        boolean is_valid "true"
    }
  • SQL 注入的意義:我們繞過了 UI,直接將 Ollama 的 llama3:latest (放在 PROVIDER_MODELS) 和它的 URL 憑證 (放在 PROVIDER_MODEL_CREDENTIALS) 強行關聯起來,並塞進了你的租戶 ID (TENANTS) 下。這是一種在環境不穩定時採用的「外科手術式」修復方法。

恭喜你,你現在擁有了一套完全屬於自己的、隱私安全的本地 AI 開發環境!

留言

這個網誌中的熱門文章

text-to-cad: 讓 AI 驅動的參數化 CAD 建模成為現實 / text-to-cad: Bringing AI-Driven Parametric CAD Modeling to Reality

一個讓 AI 代理能生成、預覽並迭代 3D CAD 模型的開源框架 / An open-source harness for AI agents to generate, preview, and iterate 3D CAD models. 🔎 工具速覽 / AT A GLANCE Category AI-Powered CAD Tooling / AI 驅動 CAD 工具 Pricing Free (Open Source) / 免費(開源) BestFor Robotics engineers and product designers using AI coding agents / 使用 AI 程式碼代理的機器人工程師與產品設計師 GitHub Stars ⭐ 93 🚀 引言 / Introduction text-to-cad 是一個強大的開源框架,旨在填補大型語言模型(LLM)與專業 3D 建模之間的鴻溝。它允許開發者利用 Claude Code 或 Codex 等 AI 代理,透過程式碼生成精確的參數化幾何模型,並提供即時預覽與迭代能力。 text-to-cad is a powerful open-source harness designed to bridge the gap between Large Language Models (LLMs) and professional 3D modeling. It enables developers to leverage AI agents like Claude Code or Codex to generate precise parametric geometry via code, providing real-time preview and iteration capabilities. 🛠️ 核心功能 / Key Features 與 Codex 或 Claude Code 等代理...

kimiflare:將 Moonshot Kimi-K2.6 直接部署於 Cloudflare 的終端 AI 編碼助手 | kimiflare: A Terminal Coding Agent Powered by Moonshot Kimi-K2.6 on Cloudflare

無需中繼,在你的 Cloudflare 帳戶中直接運行強大的 Kimi 終端編碼智能體。 | No middleman, run the powerful Kimi terminal coding agent directly on your own Cloudflare account. 🔎 工具速覽 / AT A GLANCE Category AI Coding Agent / Developer Tool Pricing Free (Open-weight model / Cloudflare Workers AI pricing) BestFor Developers seeking a private, high-context terminal AI assistant with direct infrastructure control. GitHub Stars ⭐ 36 🚀 引言 / Introduction kimiflare 是一款為開發者量身打造的終端編碼智能體,它將 Moonshot 的 1 兆參數開源模型 Kimi-K2.6 與 Cloudflare Workers AI 完美結合。不同於傳統 AI 工具,kimiflare 讓流量直接在你的 Cloudflare 帳戶中流動,徹底擺脫第三方代理或 AI 閘道的束縛,實現最高等級的控制力與隱私。 | kimiflare is a terminal coding agent tailored for developers, seamlessly combining Moonshot's 1T-parameter open-source model Kimi-K2.6 with Cloudflare Workers AI. Unlike traditional AI tools, kimiflare routes traffic directly through your Cloudflare account, eliminating the n...

Orca Skills: 開源賦能,加速雲安全工作流

加速雲安全工作流 - Orca Skills 整合多種工具與插件,打造高效安全環境 | Accelerate Cloud Security Workflows with Orca Skills, a Suite of Tools and Plugins 🔎 工具速覽 / AT A GLANCE Category 开源安全工具 Pricing 开源免费 BestFor 雲安全团队、DevSecOps工程师 GitHub Stars ⭐ 33 🚀 引言 / Introduction 在雲端環境中,確保安全不僅是一種技術挑戰,更是對工作效率的一場考驗。Orca Skills 是一款專為加速 Orca 云平台安全工作流而設計的开源插件工具包。透過整合多種工具和插件,幫助我們在複雜的安全環境下保持高效率。 🛠️ 核心功能 / Key Features Orca Skills 提供了一系列功能強大的安全工作流工具,包括警報處理、影響分析、配置源頭追溯等。這些工具不僅能夠幫助我們快速定位問題,還能確保在解決問題時避免造成不必要的後續問題。 💡 技術亮點 / Tech Highlights Orca Skills 真正的亮點在于其開放性與兼容性。它不僅支持Anthropic Claude Code、Cursor 和 Codex,還能夠與 MCP(Orca Security)集成,為安全團隊提供全面的支持。 📦 快速上手 / Quick Start 要快速開始使用 Orca Skills,首先需要安裝所需環境和工具。接下來,配置 MCP 以實現與 Orca Cloud Platform 的集成。最後,測試各個技能插件以確保其正常運行。 中英文對照: 要快速開始使用 Orca Skills 首先需要安裝所需環境和工具 接著配置 MCP 以實現與 Orca 云平台的集成 最...