🌐 超越邊界：Ollama (Windows) 與 Dify (WSL2) 的完美結合

作者： -

 


0. 核心架構圖：跨越虛擬機的隱形網路線

在開始之前，我們先建立一個清晰的空間概念。你的電腦現在被分為兩個世界：

代码段
graph TD
    subgraph Windows_Host ["Windows 宿主機 (你的電腦)"]
        Ollama[("🐳 Ollama<br>(負責模型推理LLM/Embedding)") ]
        GPU[("🚀 NVIDIA/AMD GPU<br>(硬體加速)") ]
        Ollama --> GPU
    end

    subgraph WSL2_Linux ["WSL2 虛擬 Linux (Ubuntu)"]
        Dify[("🧩 Dify 全棧平台<br>(負責應用邏輯/工作流)") ]
        Docker[("🐋 Docker Containers<br>(Postgres, Redis, Sandbox)") ]
        Dify --> Docker
    end

    %% 關鍵連線
    Dify -. "透過 http://host.docker.internal:11434 連線" .-> Ollama
    Ollama -. "接收來自 WSL2 的請求" .-> Dify

    style Windows_Host fill:#e1f5fe,stroke:#01579b,stroke-width:2px
    style WSL2_Linux fill:#e8f5e9,stroke:#1b5e20,stroke-width:2px
    style Ollama fill:#fff,stroke:#000,stroke-width:2px
    style Dify fill:#fff,stroke:#000,stroke-width:2px

  • Windows 的角色：扮演「強大的肌肉」。Ollama 在這裡直接存取 GPU 驅動，發揮最強的模型推理效能。

  • WSL2 的角色：扮演「智慧的大腦」。Dify 在這裡編排工作流、管理資料庫和知識庫。

  • 那條隱形網路線：就是 Docker Desktop 提供的特殊域名 host.docker.internal，它讓住在 Docker 容器裡的 Dify，能一秒穿透虛擬機，找到 Windows 上的 Ollama。

1. Windows 端配置：讓 Ollama「開門接客」

預設情況下，Windows 的 Ollama 很害羞，只聽 Windows 自己的話。我們要讓它接受來自 WSL2 的連線。

步驟 A：設定環境變數

  1. 在 Windows 搜尋框輸入 「環境變數」，選擇「編輯系統環境變數」。

  2. 點擊「環境變數」按鈕。

  3. 在「使用者變數」下點擊「新增」：

    • 變數名稱：OLLAMA_HOST

    • 變數值：0.0.0.0 (代表監聽所有網路介面)

  4. (選填)：如果你有多張顯卡，可以新增 OLLAMA_LLM_LIBRARY 並設定為 nvidia。

步驟 B：重啟 Ollama

設定完環境變數後，必須完全退出 Ollama（右下角系統列圖示右鍵 Exit），然後重新啟動 Ollama。

步驟 C：驗證「跨界通訊」 (在 WSL2 中執行)

打開你的 WSL2 終端機，執行這行指令。如果你能看到一串 JSON 格式的模型清單，代表隧道已經打通了！

Bash
# 在 WSL2 終端機執行
curl http://host.docker.internal:11434/api/tags

2. Dify 端配置：在 UI 中點亮本地模型

現在我們回到 Dify 的網頁介面（localhost:3000），把剛才打通的隧道正式掛接上去。

步驟 A：進入模型供應商設定

  1. 點擊右上角頭像 ➔ 「設定」(Settings)。

  2. 點擊左側選單的 「模型供應商」(Model Provider)。

  3. 在清單中找到 Ollama 卡片。

步驟 B：填寫連線資訊

點擊 Ollama 卡片的「設置」或「添加模型」，在彈出的視窗中填寫：

  • 模型名稱：必須與你在 Windows 端 ollama list 看到的名稱完全一致（例如：llama3:latest）。

  • 基礎 URL (Base URL)：這是最關鍵的一步！請填入：

    http://host.docker.internal:11434

  • 模型類型：根據模型功能選擇 LLM (對話) 或 Text Embedding (向量化)。

  • 模式：選擇 Chat 或 Completion。

步驟 C：保存並檢驗

點擊「保存」。如果連線成功，Ollama 卡片上方會出現一個 綠色的勾勾，並顯示 「已授權」(Authorized)。

3. 實戰測試：讓 Llama 3 說第一句話

最後，我們去「工作室」見證奇蹟的時刻。

步驟 A：指派模型

  1. 進入 「工作室」，建立一個新的「聊天助手」應用。

  2. 在編輯介面右上方，點開模型下拉選單。

  3. 選取 Ollama / llama3:latest。

步驟 B：開始對話

在對話框中輸入：你好，請給我一個讚！ 如果 Llama 3 成功用本地算力回覆你，這套環境就完全大功告成了！

🕵️‍♂️ 進階：我們之前用 SQL 注入做了什麼？

如果你看過之前的討論，可能會記得我們用 SQL 直接操作資料庫。這是因為 Dify 的內部邏輯其實是由幾張表共同維護模型的配置。

當你在 UI 點擊「保存」時，Dify 其實在後台做了這件事（這也是我們 SQL 注入的內容）：

代码段
erDiagram
    TENANTS ||--o{ PROVIDER_MODELS : owns
    PROVIDER_MODELS }o--|| PROVIDER_MODEL_CREDENTIALS : references

    TENANTS {
        uuid id
        string name
    }

    PROVIDER_MODEL_CREDENTIALS {
        uuid id
        uuid tenant_id
        string provider_name "ollama"
        string credential_name "Ollama-Config"
        json encrypted_config "'{'base_url': 'http://host.docker.internal:11434'}'"
    }

    PROVIDER_MODELS {
        uuid id
        uuid tenant_id
        uuid credential_id
        string model_name "llama3:latest"
        string model_type "text-generation"
        boolean is_valid "true"
    }

  • SQL 注入的意義：我們繞過了 UI，直接將 Ollama 的 llama3:latest (放在 PROVIDER_MODELS) 和它的 URL 憑證 (放在 PROVIDER_MODEL_CREDENTIALS) 強行關聯起來，並塞進了你的租戶 ID (TENANTS) 下。這是一種在環境不穩定時採用的「外科手術式」修復方法。

恭喜你，你現在擁有了一套完全屬於自己的、隱私安全的本地 AI 開發環境！

留言

張貼留言

這個網誌中的熱門文章

[Security] wpa_supplicant setup

作者： -
20111115 - wpa_supplicant conf的範例 現在我還在測試中，後續慢慢補上。 20111121 - 後來證實，我之前使用的wpa-supplicant v0.5.10有問題，導致在Enterprise模式時，SSL認證一直不正常，一下子是password不見，一下子是group key有問題。所以我就把atheros-carrier搭配的wpa_supplicant v0.5.10換成v0.6.9，果然一測就ok了，只改了driver_wext.c，順便加了一個檔案是driver_atheros11n.c，用來搭配atheros-carrier driver的Ioctl。 wpa_supplicant的設定檔案說明。 位置大都是在/etc/下。 ctrl_interface=/var/run/wpa_supplicant     #//無更動 ctrl_interface_group=0                            #//無更動 ap_scan=1                                              #//如是在wireless Station狀態務必要使用。 network={ scan_ssid=1                                     #//務必要填為1 ssid="BrianTEST-62bg"                   #//AP的SSI...
閱讀完整內容

[我的MAC Air] 2012年中，MAC Air SSD升級

作者： -
圖片
因為有在拍照，所以硬碟很快就滿了，但前陣子剛好去了沖繩一個星期，照片整個塞爆了我的MAC Air，但照片整理又慢，還有一些照片想傳到Blogger裡面做記錄，就變得非得要把照片放在電腦裡。 接著，又遇到一些專案想要開發，在MAC Air上想安裝Xcode跟一些App，然後...然後硬碟就爆了～～～～Orz..App更新也動彈不得了。 就這樣，立馬下手了觀望很久的JetDrive 520 for 2012年中的MAC Air。 ▼ 24小時到貨真方便，隔天就到貨，還剛剛好在我出門前，被我堵到。 ▼ 開箱囉！！！好爽480G，快點來我這吧！！！ 總覺得網路上，關於JetDrive的中文介紹真的很少，所以我一定要寫下來。 ▼ 整體包裝有點仿造Apple的風格，白色->簡單。 ▼ 拿出所有東西，有SSD 480G一隻，工具2隻，SSD外接盒*1，外接盒的傳輸線*1，外接盒的衣服*1，還有說明書.....但是說明書請各位可以不用看了，太簡單，根本沒有參考價值。 ▼ 就這樣，中文說明...而且是簡體字。 還不如參考Youtube的介紹 ▼ 首先，先把新的SSD硬碟放到外接盒。 ▼ 組合完成。 ▼ 放到電腦上備份，原本以為...可以用Time machine去備份。結果Time Machine備份的確是可以完成，但是它會把硬碟裡的系統備份成一個資料夾，根本就不是整個系統轉移.... 所以我只照了影片裡面的介紹，完成硬碟的格式化。 ▼ 不用再試這招，浪費時間。 最後，格式化完成後，我還是把硬碟接著，然後MAC Air重開機後，馬上按下 Command + R ，進入Recovery模式，創建提供的說明書跟影片都說，長按 option ，但是我試了很多次，都不會進入Recoevery模式。 Recovery模式，整個系統備份到新的SSD上，只需要10分鐘左右，我大約已經用掉110G的空間了，所以Recovery模式速度挺快的！ ▼ 接著，迫不及待，把MAC Air給拆開。 ▼ MAC Air的螺絲...很小，就跟手機一樣...都是用這類規格的螺絲。 ▼ 開心呀～硬碟裝好後，開機～～～果然開始跑新的SSD裡面的...
閱讀完整內容

[拆機] Nexus5 更換背蓋、電池

作者： -
圖片
2016/1/22更新.. 因為購買紀錄已經超過六個月，ＹＡＨＯＯ拍賣就把紀錄清除了 Ｏrz... 不過當初我在ＹＡＨＯＯ拍賣搜尋關鍵字是“原廠”“Nexus5”“電池” 到今天為止～我的Nexus5仍在運作中 --------------- Nexus系列的手機，真的是工程師都想追求握在手裡的機器，畢竟彈性大，隨時可以擁有Google的更新，這怎麼能叫人輕易放手。 於是在前年，我跟前公司的工程師們，請同事從美國帶回Nexus 5 32G版本，總共是5隻，隨後大家都隨身帶著他。 用了一年多，最近電池死得很快，但又不想換新手機，仍舊覺得Nexus5實在是很好用又超值，所以心一橫，上了掏寶買了背蓋跟側條，然後同時想購買電池時... 掏寶賣家告訴我貨運不再收電池的貨品，所以沒辦法出貨給我，於是我同時把這件事公布在ＦＢ動態時，有朋友又告訴我，可以用集貨的方式，讓賣家把電池轉寄給我。 不過我這個人是行動派的，馬上又找了台灣的賣家，結果真的讓我找到原廠電池，我想應該也是從掏寶來的吧？立馬買了兩顆。 零件都到齊了。 ▼ 這段期間，電池都是3分鐘內，馬上死掉，強制關機，所以我都要隨時插著行動電源。 ▼ 在掏寶購買背蓋跟側條時，送了兩個拆機工具，一個就是這個藍色、像吉他撥片的東西。拆解的過程中，其實滿容易的，我很放心的把藍色撥片插進去，慢慢把卡榫撬開。 ▼ 很快就像下面這樣，開口被撬開，不過我也發現，好像有什麼東西黏著，所以沒辦法像iFix一樣，一撬開就彈開。 ▼ 大約5分鐘左右，就可以完全撬開。右邊就是電池、主機板、螢幕的那一面。 ▼ 可以看到天線的部分，被黏了膠條，所以在拆解的過程中，我總是怕怕的會不會把天線扯掉？結果證實不用擔心這個，慢慢的撬開的同時，用點小巧勁，就可以把背蓋從膠條上脫離。 ▼ 主機板的部分，被另一個塑膠蓋給包著，這個保護蓋，要用螺絲起子轉開所住的地方，然後再輕輕一拉就開了。 ▼ 接著就可以把電池下方基板的排線拉開，一直到這個階段，其實你就可以直接換電池了。 ▼ 電池一樣是被黏住了，所以要像iFix一樣，先把電池面朝下，用力晃動，然後再用個平頭螺絲起子把電池翹起來。翹電池的過程中要小心，千萬別用螺絲起子去戳電...
閱讀完整內容