本地部署大模型平台

LangChain‌AI 產品及服務越來越多，每天總有幾個產品推薦，好用的教學又多的但又不見多，假如你也正在找比較有方向的AL平台，不妨試試。

Dify，名字好記DO IT FOR YOU，Web 界面的LLM平台，可以RAG，AI工作流。

RAGFLOW，RAG 的可視平台，也是web 界面，提供RAG 界面，可以自己選擇embedding 模型，rerank 模型，可以直接上傳文件，可以選擇和本地ollama 一起跑。也有chat 和knowledge base

haystack 是一個LLM 框架，提供模塊化，可以自己開發搭建，我還沒有這能力。

cognita 是一個LLM 框架，有在線演示https://cognita.truefoundry.com/

GPUStack 是一個本地運行AI的管理器，這個名氣沒有cherry studio llm studio 之類那麼出名，也是網頁界面。
MaxKB，有點類似RAGFLOW，國內開發的平台,有RAG，chat，AI 流程。
LangChain‌，這個是十分出名AI框架，書籍也有不少。

MCP介紹

AI 的信息每天都在更新，最近比較受歡迎的叫MCP（Model Context Protocol，模型上下文協議）是一種由Anthropic於2024年11月推出的開源標準化協議，旨在簡化大型語言模型（LLM）與外部數據源和工具的互動。MCP伺服器作為該協議的核心組成部分，是一個獨立的程式，負責向LLM提供特定的功能或數據，例如存取檔案系統、資料庫（如PostgreSQL）、外部API（如GitHub、Slack）或執行特定任務（如搜尋、操作日曆）。它的設計理念類似於HTTP協議之於網頁應用，提供了一個統一的「連接器」，讓LLM能夠輕鬆與外部世界互動。

MCP伺服器如何與LLM互動？

MCP採用客戶端-伺服器架構，具體互動流程如下：

  1. 初始化與發現：當MCP客戶端（如Claude Desktop或支援MCP的應用程式）啟動時，它會連接到本機或遠端的MCP伺服器，並詢問伺服器提供的功能（即工具清單）。
  2. 工具註冊：伺服器回應可用工具（如「查詢資料庫」、「獲取當前時間」），客戶端將這些工具註冊到LLM的上下文中。
  3. 需求觸發：當用戶向LLM提出問題或任務（例如「幫我檢查GitHub上的最新提交」），LLM識別出需要外部數據，隨即透過MCP客戶端向對應的MCP伺服器發送請求。
  4. 執行與回饋：MCP伺服器執行任務（例如調用GitHub API），將結果返回給客戶端，LLM再根據結果生成回應。
  5. 雙向通信：與傳統API不同，MCP支援雙向互動，伺服器甚至可以反向利用客戶端的AI能力（例如生成內容），無需額外的API金鑰。

這種標準化互動讓LLM突破訓練數據的限制，實現即時、動態的功能擴展。

用戶的優勢

MCP伺服器為用戶帶來了多方面的便利：

  • 統一整合：無需為每個外部工具開發獨立的整合程式，MCP提供了一個通用的介面，減少開發時間與成本。
  • 靈活性：用戶可以根據需求啟動不同的MCP伺服器，例如連接到個人Google Drive或企業級資料庫，隨時切換LLM提供者（如從Claude換到其他模型）而無需重寫程式碼。
  • 即時性：透過MCP，LLM能存取最新數據（例如天氣、股票價格），解決傳統模型知識過時的問題。
  • 可擴展性：隨著MCP生態系統成長，用戶可從開源社區獲取現成的伺服器（例如Cloudflare、Discord整合），直接應用於自己的工作流。
  • 個人化體驗：MCP伺服器能根據用戶的特定數據（如個人日曆、聊天記錄）提供量身定制的回應。

性能與安全的區別

MCP伺服器在性能與安全方面的設計與傳統方法有明顯差異：

  • 性能：
    • 優勢：MCP伺服器通常運行於本機或私有雲端，減少了遠端API調用的延遲，提升回應速度。雙向通信也讓互動更高效，避免單向請求的多次往返。
    • 挑戰：由於目前多數MCP實現以本機為主，對於需要高吞吐量的企業應用，擴展性可能受限。遠端部署尚在發展中，可能需要額外的基礎設施支持。
  • 安全：
    • 優勢：MCP內建權限控制，每次工具使用需用戶明確授權，確保LLM不會未經許可存取敏感數據。此外，數據傳輸支援TLS加密，符合企業級安全標準。
    • 挑戰：與傳統API相比，MCP的雙向通信增加了伺服器端的安全管理複雜性，例如防止惡意伺服器利用客戶端AI能力。開發者需自行配置防火牆、身份驗證等額外措施。

個人資料如何保護？

MCP在設計上非常重視個人資料的隱私與安全，提供多層保障：

  • 本地優先：大多數MCP伺服器預設運行於用戶設備上，數據無需上傳至雲端，降低了洩露風險。
  • 明確授權：每次LLM調用MCP伺服器工具時，系統會提示用戶確認，確保敏感操作（如讀取檔案、發送郵件）在掌控之中。
  • 模組化控制：伺服器功能被限制在明確定義的工具範圍內，LLM無法隨意存取未授權的數據。例如，一個GitHub MCP伺服器只能存取指定的儲存庫，而非整個帳戶。
  • 加密與日誌：數據傳輸使用TLS加密，同時支援集中式日誌記錄，讓企業用戶能追蹤所有AI存取行為，符合合規性需求（如GDPR、HIPAA）。
  • 開源透明：作為開源協議，用戶和開發者可審查MCP伺服器的程式碼，確保無隱藏的後門或數據收集行為。

那究竟如何用呢，我剛剛在網上看到了一個使用Cherry Studio + MCP的 教學，這還是公測版，目前LLM studio 和ollama 還是未能支持MCP的

https://mp.weixin.qq.com/s/a8XlAw4wrdJpKGVUWneaqg

https://github.com/punkpeye/awesome-mcp-servers?tab=readme-ov-file

這是一個例子，可以根據用戶指令去幹事，這裡可以看到你可以拼接不同的服務到大模型或者不同的大模型API 上去，那就不用擔心處理的不夠好。找個時間測試一下。

AI 教學工具：以 Quizizz 和 Canva 為核心的教育新助力

隨著人工智慧（AI）的發展，教育領域正迎來一場革命性的改變。AI 教學工具不僅能幫助教師提升效率，還能讓學生體驗到更具互動性和個性化的學習過程。在眾多工具中，Quizizz 和 Canva 憑藉其強大的功能和廣泛的應用性，成為當前最受歡迎的選擇之一。本文將重點介紹這兩款工具的特色與應用，並簡要提及其他值得關注的工具，留待未來深入探討。

為什麼選擇 AI 教學工具？

AI 教學工具能自動化許多繁瑣任務，例如製作教材、設計測驗或分析學生表現，讓教師有更多時間專注於教學本身。對學生來說，這些工具提供了趣味性與實用性兼具的學習方式，幫助他們更有效地吸收知識。以下將深入介紹 Quizizz 和 Canva 如何在教育中大放異彩。

—

Quizizz 與 Canva

 1. Quizizz

Quizizz 是一款以遊戲化學習為核心的 AI 教學平台，讓教師能輕鬆創建互動測驗，並透過數據分析了解學生進度。它將學習變成一場有趣的競賽，深受教師和學生喜愛。  

優勢：  

– 快速生成測驗：教師可以上傳文件、網頁內容或 YouTube 影片，Quizizz 的 AI 會自動生成相關問題，省去手動編寫的時間。例如，輸入一段關於「光合作用」的文章，幾秒內就能得到多選題或填充題。  

– 遊戲化體驗：學生在測驗中競爭積分、查看排行榜，這種設計大幅提升參與度和學習動機。  

– 個性化調整：AI 能根據學生答題情況調整問題難度，或將問題改編成真實場景（如「植物如何在沙漠中生存？」），讓學習更貼近生活。  

–應用場景：Quizizz 適合課堂上的即時評估、課後作業或複習活動。教師還能利用其即時數據，快速發現學生的薄弱環節並提供針對性指導。  

注意事項：免費版本功能有限，若需進階分析或更多自訂選項，建議升級至付費計劃。 學校版本還是挺貴的。 

2. Canva Education with AI

Canva 是一個廣受歡迎的設計平台，其教育版本（Canva for Education）免費提供給教師和學生，並整合了 AI 功能（如 Classroom Magic），幫助快速製作視覺化教材。  

優勢：  

– AI 輔助設計：透過「Magic Write」功能，教師只需輸入關鍵詞（如「介紹太陽系」），即可生成簡報大綱或文字內容，再搭配 Canva 的豐富模板，幾分鐘內完成專業級教案。  

– 視覺吸引力：提供大量圖片、圖標和動畫，讓枯燥的課堂材料變得生動有趣。例如，將歷史事件製成資訊圖表，讓學生一目了然。  

– 協作功能：學生和教師能在平台上即時合作，適合小組專案或創意作業。  

應用場景：Canva 特別適合製作簡報、海報或學習單，也能讓學生用於展示作業成果，提升他們的設計與表達能力。  

注意事項：雖然基本功能免費，但某些進階 AI 工具（如 Magic Animate）可能需要 Pro 版，建議視需求升級。  不過申請教育版是很多都免費，假如學校還未申請，建議申請，有些軟件直接使用canva edu 認證可以直接免費。

其他值得關注的工具（未來介紹，歡迎推薦）

除了 Quizizz 和 Canva，還有一些 AI 教學工具也頗具潛力，值得一試：  

– Grammarly Edu：提升學生寫作能力的語法檢查工具。  

– Google Classroom 搭配 Gemini（等開放）：管理課程並分析學生數據的強大組合。  

– ChatGPT（等deepseek 智能體）：生成教材或回答問題的多功能助手。  

這些工具的詳細介紹將在未來文章中展開！

如何善用 Quizizz 與 Canva？

– 教師可以用 Canva 設計視覺化的測驗說明或反饋圖片，再將其匯入 Quizizz，打造更有吸引力的測驗體驗。例如，在 Quizizz 的測驗結束後，展示一張 Canva 製作的「恭喜完成」迷因，提升學生士氣。  

– 針對需求選擇：若您需要快速評估學生理解程度，Quizizz 是首選；若目標是製作吸睛的教材，Canva 則更勝一籌。  

– 試用與調整：兩者都提供免費版本，建議先從小規模試用開始，根據課堂反饋調整使用方式。

Quizizz 和 Canva 憑藉其 AI 技術與使用者友善的設計，成為現代教育中的得力助手。前者將學習變成遊戲，讓學生樂在其中；後者則以視覺化的方式，讓教學內容更具吸引力。不論您是希望提升課堂互動還是簡化備課流程，這兩款工具都能帶來顯著改變。立即試用它們，開啟 AI 輔助教學的新篇章吧！

如果您對其他工具感興趣，歡迎告訴我，我將在未來為您帶來更多精彩內容！

AI 於教育上的使用

國產模型Deepseek 爆發後，每日都有不同的AI新聞，個個圈子都在發起學習AI，有點似前幾年STEM 熱潮——熱，但不知道方向。好像很火熱，就是無從入手，究竟由哪開始？

AI 在教育上有哪些可以用

  1. 題目：出題，海量題庫生成
  2. 分析：分析學生答案，分析成績
  3. 語言練習：聽讀由AI判斷準確度
  4. 講解：講故事，講題目，可以模擬不同音效
  5. 情緒分析：根據學生與AI的交流，分析學生的情緒
  6. 創作：可以創作APP，圖片 等比較難度大的，根據AI 的指導生成
  7. 行政：根據官方文件自動生成行政文件、編課之類
  8. 教材：根據內部資料生成新的學習資料，AR、VR 教材
  9. 個性化資料：可以根據學生學習進度自動生成相關資料和學習方案（knewton）

認知下的AI

AI 雖然出了很多年，但是每個人的理解都有些不一樣。

有些人覺得AI就是一個機器人，幫你做任何事。

有些人AI就是一個對話機，可以回答你問題。

有些人覺得AI 未必準確，資料亂套

有人覺得AI是一個工具，省事。

其實說來說去，也不知道要說AI是什麼，早到捉圍棋alphago，還有Apple Siri，到了後來chatgpt 爆發。AI 其實已經慢慢融入生活內，不知不覺地在身邊出現，變成一些普通的東西，掩飾AI 面孔。就如iPhone siri，很早就開始懂得聽你指令幫你找東西和控制Home kit，這是一種AI 上的應用，小朋友覺得已經很平凡。但為何後來的Chatgpt 和Deepseek 會火爆呢？個人覺得在大語言模型升級後，算力提升和各種應用相應突破，就如iPhone 出現，打破了Nokia 的世界，各種APP 相應推出，一台iPhone 不再是電話，而是一個強大的工具。

孩子在玩ipad時，他從來沒問我iPad 怎麼安裝app，他好像自己就懂得去找一個可以裝東西的地方，他也懂得啟動，設定，然後根據提示一步步的玩遊戲。這才能是天生的？估計是，人的理解能力。那麼給一個AI 工具孩子，他們可以使用嗎？當然是可以的，雖然有些人很擔心AI會亂來，例如幫還在完成了作業，其實這些工具google 早就有了，豆包的app，siri 也可以回答，孩子的世界他不懂什麼是AI，他要的是答案。既然AI已經在孩子身邊，那麼就是要教他們如何正確的使用，可以的話順便講解一些AI 的一些知識。

其實AI模型也是模仿人類行為，不是所有東西都要教授後才懂得，它在學習人類的『判斷推理』，自我學習，也不是100%正確。

免費的AI 教學 工具

先說一下目前流行的工具，這些工具都是建立在大模型上，反應速度都是相當快，為何之前那麼少見？因為訓練一個大模型是需要億美元來計算，現在大語言模型基本已經成熟，大家的目標都是轉移到推理，訓練，工具，插件等開始落地盈利。

豆包：中文、粵語、英文基本都是懂的，中文能力幾乎是AI APP 中最強大的，估計跟他的母公司（字節跳動）有關係。叫他作詩，出練習題目基本沒有問題，最重要是免費，手機粵語直接語音講就可以。可以跟他說10條什麼類型的題目和答案。還可以直接聊天。

deepseek 、元寶、grok 大模型也有提供對話，個人推薦deepseek，特別是在科學、數學上面，deepseek 提供推理過程，不只是一個答案，在教育上使用非常好，可以演示給學生看AI 是如何推理一個數學題目

canva，提供了教育界免費使用的服務，裡面也有很多AI 的元素加入了，例如Dream lab 可以直接出圖

另外Canva ppt 美觀是無敵的，可以只接搜索使用 canva ai 就能圖文生成。

學習平台

還有其他平台想padlet，quizizz ，edpuzzle之類都相應的加入AI 功能，目的就是為何減少你的時間去作一些題目，取代而之為你直接去選擇，目的是為了節省一點時間，而且可以分析學生答題的時間，edpuzzle 還能根據視頻內容自動產生題目，避免抄襲。

還有語言學習的APP Elsa speak（收費），都是使用AI 來評估個人語言學習進度。

在IT 教育方面，AI coding 比較流行，平台也很多，就算本地也不錯，可以用ollama 和vscode 來作為本地代碼輸出。apple mlx 也提供了框架建立本地模型。

目前有很多應用可以於教育使用，慢慢再列出，目前百花齊放，但是建議還是要先使用，再來檢討成效，因為孩子覺得這些都是跟一些遊戲APP 沒什麼區別，需要家長在使用中進行講解他背後的原理和問題，假如大人都不用，怎麼教育下一代。

AI 在教育的影響

職人員：有些人擔心老師被淘汰，可不能這麼想，老師有AI 能看不到的東西，目前AI 還未智能到一體化（智能體），很多功能還是在應用層面，也就是說，分析試卷，就是分析成績，進度，給題目。作為老師會分析這學生平時的行為和最近的情況，要綜合那麼多因素的理解，是需要把所有資料例如考勤，平時作業情況，都匯入系統才有可能然AI 去識別，但老師不用那麼多數據已經知道，哪怕一句對話，一個神情就知道學生問題。

AI 對教育人員只會提供更多協助，當然工具很多，怎麼選擇是另一個層次的問題，成本也是考慮因素，還有很多法規會相應出台，能否使用學生數據，個人資料，內部資料進行訓練還是目前沒有的東西。但是可以肯定掌握了某些工具，是可以減省一些時間，例如用Kimi 生成個PPT ，你可以減少去找圖去排版，這起碼備課的時間都少了，而且可以吸引學生。

對學生：AI能提供的是無限的資料，因此對學生來說是自主學習一個很好的平台，學生如何通過AI 工具來提升自己能力，不是為了答案，而是在AI協助下解決自己的一些想法，想知道的知識，自己判斷。老師作為學生的引導，AI作為自主學習的工具夥伴。

風險：AI 沒有100%準確，在訓練大模型時已經說明準確率只有一半左右，通過日後的演算慢慢地增加精確度。還有在大模型的微調時也會出現偏於某一方面的能力，導致一些能力失衡，AI會突然失憶，或者變傻，chatgpt 就出現過

技術門檻：文件AI 工具agent 之類還未普及，都在不停地發現新大陸，建立內部大模型成本高，要自己選擇大模型的大小，微調的工具。模型還在不停更新，向量數據庫能否隨之更新還有待技術提升。在百花爭艷的AI 中，就看看學習。淘汰不是老師，而是教育機構，越是逃避，越會被淘汰 。

在世界上的手機、電動汽車、電腦等等，都接入了AI，AI也會像手機那樣平民化實用化，這是無可避免的。

Ubuntu install EXO

1.Install Conda

mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm ~/miniconda3/miniconda.sh


source ~/miniconda3/bin/activate
conda init --all

2. Instal Driver


lspci | grep -i nvidia


sudo apt install nvidia-driver-550

3.gcc

gcc --version

sudo apt install gcc


sudo apt update && sudo apt upgrade

sudo apt install nvidia-cuda-toolkit

reboot

nvcc --version

4.EXO

git clone https://github.com/exo-explore/exo.git
cd exo
pip install -e .
# alternatively, with venv
source install.sh
exo

後記

在安裝時經常會出現gcc 或者lib錯誤，看了一些網站文章發現是版本太新了，最好還是選擇比較舊的版本，例如cuda 也不要挑最新的12.8。 然後就算安裝完成，成功啟動，不知道為何第二次跑ubuntu 又會出現error，不過最簡單方法就是再執行一次source install.sh，然後再跑exo，又可以正常跑，在macos 跑得流暢，不知道是否ubuntu 問題。