Category: LLM

Over the past two years, Large Language Models (LLMs) have rapidly transformed the AI landscape. More and more organizations are adopting AI assistants, enterprise chatbots, and intelligent knowledge systems to improve productivity and decision-making. However, after working on multiple enterprise AI projects, I’ve noticed a common misconception: Deploying a larger LLM does not automatically lead…

Many recent discussions argue that MCP (Model Context Protocol) is nothing more than an additional abstraction layer that introduces unnecessary overhead. Some even claim that AI should simply call APIs directly. At first glance, this sounds reasonable. If an AI model can already invoke REST APIs or SAP RFCs, why introduce another protocol? The answer…

最近看到不少人在討論：「MCP 只是多包一層 API，還會降低效能，直接讓 AI 呼叫 API 不就好了？」 這個問題其實很好，也是許多企業開始導入 AI 時最常提出的疑問。 我的答案是： MCP 不會讓 API 更快，它的目的也從來不是讓 API 更快。 從一個收貨流程開始談起 假設一家公司的收貨人員收到一張採購送貨單。 未來，他不需要登入 ERP。 只要打開 AI 助理： 「幫我確認這張送貨單能不能收貨。」 AI 先利用 OCR 辨識： 接著查詢 ERP。 最後回答： 「採購單存在，廠商一致，數量符合，目前可以收貨。」 甚至再問： 「請幫我完成收貨。」 AI 就直接完成 ERP 收貨作業。 看起來很簡單。 但真正的問題是： AI 要怎麼跟 ERP 溝通？ 最直接的方法：讓 AI 呼叫 API 很多人第一個想到的方法就是： 只要把 API 文件提供給 AI。 例如：…

The Two Most Misunderstood Metrics in Enterprise LLM Deployment When evaluating Large Language Model (LLM) deployment options, many teams focus on GPU models and parameter counts—70B, 235B, 671B—while overlooking two metrics that actually determine whether a system is usable in real life: These two metrics directly affect: This article explains what Token/s and concurrency really…

在評估大型語言模型（LLM）部署方案時，許多人會被顯卡型號、模型參數量（70B、235B、671B）所吸引，卻忽略了兩個真正決定「用起來好不好」的核心指標： 這兩個指標，直接決定了： 本文將從「工程實務」的角度，說清楚這兩個概念，以及企業在規劃本地或私有化 LLM 時，應該如何正確看待它們。 一、什麼是 Token/s？它其實就是「AI 的輸出速度」 1. Token 是什麼？ 在 LLM 中，模型不是一次輸出一句話，而是一個 Token 一個 Token 地生成內容。 模型的所有「思考與輸出」，本質上都是 Token 的連續生成。 2. Token/s 的實際意義 Token/s = 模型每秒能生成多少 Token 舉例來說： Token/s 不影響模型會不會回答對，但會直接影響： 二、Token/s 與使用者體感的真實關係 實際使用 LLM 時，使用者會感受到兩個時間點： 這兩者常被混在一起，但意義完全不同。 實務比較範例 假設模型要輸出 400 Token： 情境 TTFT Token/s 總等待時間 A 0.5 秒 10 約 40 秒 B 3 秒…

If you’ve ever run a local LLM, you’ve probably experienced this: “The model hasn’t even started responding, and my GPU VRAM is already almost full.” Or: This is not a misconfiguration.👉 LLMs are inherently memory-hungry by design. This article explains where GPU memory actually goes and why it’s so hard to reduce. If you’ve ever…

只要你跑過本地 LLM，一定遇過這個情況： 「模型還沒開始聊天，VRAM 就快爆了。」 甚至： 這不是你用錯，而是 LLM 的設計本質，就非常吃記憶體。 這篇文章會帶你搞懂：👉 LLM 的 VRAM 到底被誰吃掉？為什麼省不下來？ 先給結論（一句話版） LLM 吃顯示卡記憶體，不是因為「算得快」，而是因為「要同時記住太多東西」。 一個關鍵觀念：LLM ≠ 傳統程式 傳統程式： LLM 完全不是這樣。 👉 LLM 在推論時，必須「一路記住過去的內容」，才能接著講下去。 LLM 在 VRAM 裡到底放了什麼？ LLM 的 VRAM 消耗，至少來自 四大類。 ① 模型權重（Weights）—— 最大宗 這是什麼？ 為什麼這麼大？ 假設： 那光是權重就要： 📌 權重是「固定成本」，一載入就要全付。 ② KV Cache —— 吃記憶體的隱形殺手 KV Cache 是什麼？ 👉 每產生一個 token，就要存一次。 為什麼…

As local Large Language Models (LLMs) become more popular, many people ask: “Is my Apple M-series Mac actually suitable for running local LLMs?” The answer is not simply yes or no.It depends on what you want to do, how large the model is, and how you plan to use it. This article evaluates Apple M-series…

隨著本地 LLM（Large Language Model）越來越熱門，很多人開始問： 「我手上的 Mac（Apple M 系列），到底適不適合跑本地 LLM？」 答案不是簡單的「可以」或「不可以」，而是要看 你想怎麼用、跑多大、要多快。 這篇文章會從 硬體架構、記憶體、實際使用情境 三個角度，幫你做出清楚判斷。 先給結論（重點版） Apple M 系列「適合」本地 LLM 推論與輕量應用，但「不適合」大型模型訓練與高並發部署。 如果你把 Apple M 系列當成： 👉 那它其實 很好用。 什麼是「本地 LLM」？先對齊定義 所謂本地 LLM，通常指： 📌 重點不是「最大能跑多大」，而是 「能不能順、穩、長時間跑」。 Apple M 系列的三個關鍵優勢 ① Unified Memory（統一記憶體）＝ 本地 LLM 大加分 Apple M 系列採用 Unified Memory Architecture： 👉 對本地 LLM 來說，「記憶體能不能一次放下模型」比 GPU 核心數更重要。…