AI 治理

LLMOps 是什麼？與 MLOps 的差異，以及 LLM 上線後要管的 4 件事

LLMOps 是管理與操作 LLM 的做法與程序。本文整理與 MLOps 的六項差異、上線後要管的 4 件事，並提供上線規劃範例。

中華創智團隊•2026/11/02•約 6 分鐘

一套內部知識問答服務上線第一個月，三個部門都開始使用。月底帳單出來，沒人說得清哪個部門用了多少；法務也來問：客服同仁把客戶的身分證字號貼進提問，資料會不會被送進模型？每次提問和回答，事後查得到嗎？

本文將說明 LLMOps 是什麼、與 MLOps 的差異，整理 LLM 上線後要管的 4 件事，並提供上線規劃範例。

LLMOps 是什麼？

LLMOps（Large Language Model Operations）是管理與操作大型語言模型（LLM）的做法與程序，涵蓋部署、資料管理、訓練與微調、監控，以及安全與法規遵循[1]。Google Cloud 並將 LLMOps 定位為 MLOps 的專門子集[1]。

本文聚焦 LLM 進入正式服務之後的管理。LLM 專案常從既有的第三方或開源模型出發[2]，上線後每天要面對的，是使用權限、成本、內容防護與使用紀錄。

MLOps 與 LLMOps 差在哪？

從 MLOps 到 LLMOps，模型多半不再從頭訓練，而是選用既有的預訓練模型，透過 API 呼叫或自行部署開源模型[2]。模型可以直接使用或再微調；許多應用則靠提示詞，以及補充相關資料讓模型參考，來調整回答[2]。管理重心也跟著移到如何呼叫與管理已部署的模型[3]。

表 1 從 MLOps 到 LLMOps：管理重點的六個轉移

管理重點	MLOps	LLMOps
處理的資料	結構化與半結構化資料，例如交易紀錄、系統 log，重心在前處理與特徵工程[3]	大量非結構化文字，例如文件、對話紀錄[3]
模型從哪裡來	多半從頭訓練，反覆調整超參數[3]	選用既有的預訓練模型，透過 API 呼叫或自行部署；以提示詞、補充資料或微調來調整[2][3]
部署時點	模型訓練完成後才部署[3]	部署較早發生，重點在如何呼叫已部署的模型[3]
運算與成本	模型規模相對小[3]	模型規模大上數個量級[3]；即時服務常需 GPU，模型越大成本越高[2]
品質評估	以傳統指標評估[2]	常沒有單一正確答案，需要納入人工回饋[2]
安全與治理	治理與法遵，金融、醫療尤其嚴格[3]	另需內容安全、防範越獄攻擊與持續監控[3]；提示注入列為首要風險[4]

LLM 上線後要管哪 4 件事？

1. 模型怎麼開放、算力怎麼共用？ 較大的 LLM 常需多張高階 GPU，各單位各自部署成本高，資源也容易閒置。常見做法是由平台統一上架模型服務，開放給指定單位使用；要求資料不出機房的金融、公部門，通常在地端部署模型。

2. 誰能用、能用多少？ 每個應用以金鑰申請，填寫用途與所需額度，經審核後核發。額度常以每分鐘請求數（RPM）與每分鐘 token 數（TPM）設定[4]，超過即限流並留下紀錄。

3. 個資和不當內容怎麼擋？ 風險有兩個方向：使用者把身分證字號等個資貼進提問，資料就會被送進模型；模型的回答也可能出現機敏或超出服務範圍的內容。因此請求送進模型前、回答送出前都要檢查[3]，命中時擋下或遮罩。另外也要防範提示注入（Prompt Injection），OWASP 的 LLM 應用十大風險 2026 版將其列為首位[4]。

4. 每次提問和回答，事後查得到嗎？ 每次提問與回答都留存，可依金鑰、人員或單位查詢與匯出。內稽或客訴發生時，才追得到是哪個應用、在什麼時間送出了什麼內容。人工智慧基本法已於 2026 年 1 月 14 日公布施行，各目的事業主管機關須在 2028 年 1 月前訂定所屬領域的 AI 管理規範[5]，紀錄留存值得提早準備。

案例：內部知識問答服務上線前要決定什麼？

示意情境：一家約 500 人的企業在機房部署開源的預訓練 LLM，開放業務、客服、人資三個部門查詢規章與產品文件、草擬客戶回信。

表 2 上線規劃表

項目	示意內容	貴公司填寫
金鑰申請與審核	依應用分開申請並填寫用途，由資訊部門主管核准，留存核准紀錄
使用上限與費用分攤	依應用核發 RPM／TPM 上限；每月依用量報表分攤到部門
內容防護規則	身分證字號、統一編號擋下或遮罩；薪資與未公開產品資訊不得出現在回答
檢索文件範圍	產品手冊、規章；人資文件僅限人資部門
紀錄保存	每次提問和回答都留存，資訊部門與稽核人員可查詢
回答品質檢查	各部門窗口定期抽看回答，回報錯誤內容

最容易漏掉三處：客戶來信常帶身分證字號，沒有防護就會原文送進模型；人資文件未限制檢索對象，業務可能查到人事資訊；金鑰沒留核准紀錄，內稽時說不清為何可以使用。

常見問題 FAQ

Q1：LLMOps 是什麼？

管理與操作大型語言模型的做法與程序，涵蓋部署、資料管理、訓練與微調、監控，以及安全與法規遵循。企業上線後最常面對的是使用權限、成本、內容防護與使用紀錄。

Q2：已經有 MLOps，還需要 LLMOps 嗎？

LLM 服務上線後就需要。版本控制、環境區隔等既有做法可以延續，另外補上金鑰與用量管理、內容防護與使用紀錄。

Q3：不自己訓練 LLM，也需要 LLMOps 嗎？

需要。以既有模型為起點本來就是 LLM 的常見做法，企業同樣要管理誰在用、用了多少、送進模型的內容是否安全。

Q4：LLM 的 token 成本怎麼控管？

每個應用以金鑰申請並設定 RPM／TPM 上限，超過即限流；每月費用依用量報表的 token 數分攤到部門或專案。

Q5：怎麼避免個資被送進 LLM？

請求送進模型前套用防護規則，偵測到身分證字號、統一編號等個資時擋下或遮罩；回答送出前也再檢查一次。

LLM 上線之後，下一步是什麼？

想讓各單位安心使用 LLM？中華創智 DeepFlow 在企業機房內統一管理模型服務、金鑰審核、個資防護與使用紀錄，資料不出機房。

👉 立即預約諮詢 / 產品 Demo，了解 DeepFlow 企業一站式AI MLOps/LLMOps管理平台

本文為一般性說明，不構成法律或資安顧問意見；各產業適用規範以主管機關公告為準。