Category: AI

Over the past two years, Generative AI has rapidly evolved from an experimental technology into a core component of enterprise digital transformation. Organizations are deploying Large Language Models (LLMs), Retrieval-Augmented Generation (RAG), AI Agents, Model Context Protocol (MCP), and multi-agent systems to improve productivity, automate workflows, and enhance decision-making. However, many organizations focus primarily on…

近兩年，企業導入生成式 AI 的速度遠比想像中更快。 從 ChatGPT、Gemini、Claude，到企業開始部署本地 LLM、RAG（Retrieval-Augmented Generation）、AI Agent、MCP（Model Context Protocol），AI 已逐漸從聊天工具演變成企業資訊系統的一部分。 然而，許多企業在建置 AI 平台時，往往只關注模型是否夠大、回答是否夠準，卻忽略了另一個更重要的議題： AI 系統的攻擊面，遠比傳統 Web 系統更廣。 真正需要保護的，不只是模型，而是整個 AI 平台。 為什麼 AI Security 與傳統資訊安全不同？ 傳統企業系統的架構通常相對單純： 而企業 AI 平台則可能演變成： 每增加一層能力，就增加一層新的安全風險。 除了使用者之外，還需要考慮： 這些都是傳統資訊安全從未面臨過的新挑戰。 AI Security 已不只是模型安全 很多人認為 AI Security 就是保護模型。 事實上，模型只是其中一個元件。 一個完整的企業 AI 平台通常包含： 任何一個環節出問題，都可能造成企業資料外洩。 因此，我更喜歡將 AI Security 定義為： 保護整個 AI 生態系，而不是單一模型。 企業 AI Platform 建議採用分層安全架構…

近兩年，大型語言模型（LLM）快速發展，許多企業開始導入 AI，希望能建立企業專屬的 AI 助理、知識問答系統或智慧客服。 然而，在實際導入過程中，我發現許多企業都有一個共同的迷思： 只要導入一個夠大的 LLM，就能解決所有問題。 事實並非如此。 真正影響企業 AI 成功的，往往不是模型大小，而是企業知識如何被整理、管理與提供給 AI 使用。 這也是近年 Retrieval-Augmented Generation（RAG）快速成為企業 AI 主流架構的原因。 企業 AI 面臨的最大挑戰 大型語言模型雖然擁有龐大的知識，但它並不了解你的企業。 它不知道： 如果直接詢問這些內容，模型通常只能依照公開知識進行推論，甚至產生看似合理卻完全錯誤的回答（Hallucination）。 因此，企業真正需要的並不是「讓 AI 更聰明」，而是「讓 AI 能找到正確的企業知識」。 RAG 到底是什麼？ RAG（Retrieval-Augmented Generation）可以理解成： 回答問題之前，先去查公司的知識庫，再根據查到的內容回答。 整個流程大致如下： 換句話說，LLM 不再依賴自己的記憶，而是依據企業最新、最正確的知識回答問題。 這也是 RAG 最大的價值。 很多人以為「建立知識庫」只是上傳 PDF 這可能是企業導入 AI 最常見的誤解。 很多人認為： 把 Word、PDF 或 PowerPoint 丟進系統，就完成知識庫建置。 實際上，真正的流程遠比想像中複雜。 真正耗費時間的，往往不是 AI，而是前面的知識工程（Knowledge Engineering）。…

As Enterprise AI evolves, a single AI agent is no longer sufficient to handle increasingly complex business processes. Procurement, HR, Finance, Legal, Customer Service, and IT operations all require different expertise, permissions, and data sources. This is where Agent-to-Agent (A2A) architecture becomes essential. Rather than relying on one all-purpose agent, A2A enables multiple specialized AI…

過去我們談到 AI Agent，多半是「一個 Agent 幫你完成一件事」。但當 AI 應用逐漸深入企業流程，例如採購、HR、客服、法務、IT 維運時，一個 Agent 往往無法同時具備所有領域知識與權限。 因此，多 Agent 協作（Multi-Agent）開始成為企業 AI 平台的重要設計方向，而 A2A（Agent to Agent）就是讓不同 Agent 能夠彼此合作的關鍵架構。 MCP 與 A2A，有什麼不同？ 很多人會把 A2A 與 MCP 混為一談，其實兩者解決的是不同問題。 MCP 著重於 Agent 如何安全地存取工具與企業系統，例如查詢 SAP、CRM、知識庫或資料庫；而 A2A 則是 Agent 與 Agent 之間如何分工合作，讓不同專長的 Agent 能共同完成一項任務。 企業 AI 平台通常會同時採用兩種能力：MCP 作為工具整合層，A2A 作為協作層。 為什麼需要多個 Agent？ 企業流程本身就是跨部門、跨系統的。例如處理一張採購單，可能需要採購 Agent、庫存 Agent、供應商 Agent 與簽核 Agent 依序合作。…

Over the past two years, almost every enterprise has begun exploring Generative AI. Many organizations have also started building Retrieval-Augmented Generation (RAG) systems to enable AI assistants to answer questions using internal knowledge. However, after completing their first proof of concept (PoC), many companies encounter the same problems: At first glance, these appear to be…

近兩年，幾乎所有企業都在談生成式 AI，也開始投入 RAG（Retrieval-Augmented Generation）的建置，希望讓 AI 能回答公司內部的知識。 然而，許多企業在完成 PoC 後，卻遇到同樣的問題： 很多人認為問題出在模型，但實際上，大部分問題並不是 LLM，而是企業沒有建立完整的 Knowledge Governance（知識治理）。 真正的企業 AI，並不是把文件丟進向量資料庫就完成，而是建立一套能讓知識持續保持正確、安全且可信任的治理機制。 AI 回答的品質，取決於企業知識的品質 AI 並不知道哪一份文件才是正式版本。 它也不知道哪一份文件已經失效，更不知道哪些資料只有特定部門可以查看。 假設企業內同時存在三份採購流程： 如果三份文件都被建立 Embedding，AI 很可能同時引用三個版本的內容。 從 AI 的角度來看，它們都是「知識」。 但從企業的角度來看，只有最新版才是有效文件。 因此，企業真正需要管理的不是 AI，而是知識本身。 什麼是 Knowledge Governance？ Knowledge Governance 可以理解為企業知識的治理制度。 它並不是單純的文件管理，而是一套完整的知識生命週期管理機制，涵蓋知識從建立、審核、發布、更新到封存的每一個階段。 完整的 Knowledge Governance 通常包含六個核心面向： 這六個面向共同決定了企業 AI 回答的可靠程度。 RAG 專案真正困難的地方，不是 Embedding 很多企業第一次接觸 RAG，都會把重點放在： 這些當然重要，但它們往往不是決定成敗的關鍵。 真正耗費最多時間的，其實是知識整理。 例如： 實務上，一個企業知識庫通常需要經過多次調整，才能讓 AI 回答逐漸符合使用者期待。…

Generative AI is rapidly becoming part of modern enterprise applications. What started as a chatbot or a simple AI-powered knowledge base is now expanding into ERP, CRM, MES, document management, workflow automation, customer service, and AI Agents. As organizations deploy more AI applications, a new challenge emerges: How do you manage dozens of AI models…

近兩年，企業導入生成式 AI（Generative AI）的速度越來越快。 一開始，可能只是讓客服串接 GPT、讓知識庫建立 RAG，或是做一個 AI Chat Bot；但隨著應用持續增加，AI 很快就會擴展到 ERP、CRM、MES、EIP、文件管理、OCR、AI Agent 等各種系統。 此時，企業會面臨一個新的問題： 當 AI 模型越來越多時，該如何管理它們？ 答案，就是建立一個 Model Gateway。 AI 專案成功後，真正的挑戰才開始 許多企業剛開始導入 AI 時，架構通常十分簡單。 每個系統直接呼叫雲端模型 API，開發速度快，也容易驗證概念（POC）。 然而，隨著 AI 應用逐漸增加，架構很快就會變成： 每套系統都需要自行處理： 短期看似沒有問題，但當模型數量增加、使用者變多之後，維護成本便會快速攀升。 真正需要管理的，不再只是模型，而是整個企業 AI 平台。 什麼是 Model Gateway？ Model Gateway 可以理解為 企業 AI 平台的模型管理中心。 它位於所有 AI 應用與模型之間，負責統一管理模型的存取方式。 值得注意的是，Model Gateway 並不負責模型推論（Inference）。 真正進行推論工作的，仍然是後端的模型服務，例如 Ollama、vLLM、NVIDIA NIM、OpenAI 或其他 LLM…

Over the past year, AI Agents have become one of the hottest topics in Generative AI. Countless demonstrations show AI automatically searching information, interacting with enterprise systems, executing workflows, and even planning tasks independently. It almost feels as if we have entered the era of the “AI employee.” However, organizations that begin deploying AI in…