AI 為什麼能接著聊，卻還是可能答錯？從模型學習到上下文工程，一次看懂生成式 AI 如何回答

從撰寫文案、整理會議紀錄，到分析廣告或營運報表，生成式 AI 已逐漸進入企業的日常工作流程。但許多人開始使用 ChatGPT、Gemini 後，仍會疑惑：AI 真的理解問題嗎？為什麼同樣的問題，答案可能不同？它能接續前面的對話，為什麼還是會答錯？

理解這些現象不需要複雜數學。只要掌握模型學習、對話上下文與 AI 幻覺三個概念，就能更合理地判斷它適合做什麼，以及該如何提供資料。

一、模型如何從資料中學會回答？

用簡化公式理解模型參數

模型學習可先用簡化的函數 f(x) = ax + b 理解。x 是輸入，f(x) 是輸出，而 a、b 就像訓練中不斷調整的「參數」。大型語言模型遠比這個公式複雜，但核心概念相同：系統會根據大量範例調整參數，縮小輸入與理想輸出之間的差距。

模型從哪些資料中學習？

訓練資料大致包括一般文字、經人工整理的標註範例，以及訓練人員或系統設計的回饋訊號。它們讓模型掌握詞語關係、常見表達與任務規則。

AI 並不是把所有資料原封不動地存進一個可隨時查詢的資料庫，而是把學習到的語言規律與關聯轉化成模型參數。

二、一個問題送進 AI 後，發生了什麼事？

AI 看到的不只有最後一句話

當使用者輸入問題，應用程式通常不會只把最後一句話交給模型，而是會先組合系統規則、使用者問題、前面的對話，以及可能附加的文件或搜尋結果。

模型如何逐步產生答案？

文字會先被拆成較小的單位，也就是 token，再由模型依照目前看到的內容，計算下一個 token 最可能是什麼。模型透過一次又一次的機率預測，把答案逐步接續出來。

這也是為什麼生成式 AI 能寫出自然、連貫的文字，卻不代表每一句話都經過事實查證；同一個問題若上下文、系統設定或機率選擇不同，答案也可能略有差異。

三、AI 的對話記憶從哪裡來？

對話延續來自上下文疊加

假設你先問：「台灣最高的山是哪一座？」AI 回答「玉山」。接著再問：「第二高呢？」第二個問題沒有重新說明主題，但 AI 仍能判斷你是在問台灣第二高的山，原因是系統把前面的對話一併放進了這次輸入。

記憶功能與對話上下文並不相同

對話中看似自然的「記憶力」，多半來自上下文疊加，不代表模型把整段對話永久寫進自身參數。部分產品另有獨立的記憶功能；但在單次對話中，若內容過長、互相矛盾，或關鍵資料沒有被帶入，回答品質仍可能下降。

四、上下文工程是什麼？

提示詞與上下文工程的差別

上下文工程，就是有系統地決定「哪些資訊要用什麼順序與格式交給 AI」。提示詞著重一句指令怎麼寫；上下文工程還包含任務背景、原始資料、名詞定義、判斷標準、參考範例、輸出格式與禁止事項。

企業使用 AI 時，回答品質不只取決於模型，更取決於它是否拿到足夠且一致的工作資訊。以下用廣告成效分析為例。

企業情境範例：分析 Google Ads 報表

資訊不足：請分析這份廣告報表。

補足上下文：你是數位廣告分析人員。請比較 6 月與 7 月的轉換數、轉換率、點擊量、LINE 點擊與表單送出；任一核心指標下降 20%，或 CPA、CPC 上升 20%，列為異常。先寫成效摘要，再說明可能原因與 3 項改善作法。未提供的資料不得自行補造。

後者建立了角色、比較區間、核心指標、異常門檻、輸出順序與資料限制。AI 因此更容易產出可供工作使用的內容，也能降低回答偏離需求的機率。

五、為什麼有搜尋功能，AI 還是可能出錯？

幻覺是怎麼產生的？

大型語言模型的核心任務，是產生在語境中最合理的下一段文字，而不是保證每個敘述都正確。當資料不足、問題含糊，或模型過度推測時，就可能生成看似合理、實際上卻不符合事實的內容，這就是常說的「幻覺」。

搜尋與文件不能完全消除錯誤

搜尋引擎、企業知識庫或上傳文件能提供參考依據，提高回答的可查證性，但不能完全消除錯誤。模型仍可能誤讀來源、忽略日期、混合文件或過度推論。涉及法規、財務、醫療、合約、客戶承諾與重要數據時，最後仍應由具備判斷能力的人員確認。

六、企業如何建立可靠的使用方式？

上下文六個欄位

企業初學者不必一開始就研究模型訓練或複雜自動化。先把每次任務需要的上下文整理完整，就能明顯提升結果。可以依照以下六個欄位準備。

• 任務：說明 AI 要完成什麼工作，以及這份內容給誰看。
• 背景：交代產業、專案階段、溝通情境與使用目的。
• 資料：提供原始內容、數據區間、文件版本與必要定義。
• 判斷標準：清楚寫出門檻、優先順序與成功條件。
• 輸出格式：指定字數、段落、表格、語氣或欄位。
• 查核要求：要求標示不確定處、引用來源，並禁止補造資訊。

敏感資料與人工審核

企業也應先訂出資料邊界。未經允許，不應將個資、密碼、未公開合約或內部機密輸入外部 AI 服務；如工作確有需要，應依公司政策選用合適方案、去識別化資料並保留人工審核。

結語：AI 的回答品質，取決於模型，也取決於上下文

生成式 AI 看似理解對話，背後是模型參數、機率預測與上下文共同作用的結果。它能快速整理與生成內容，卻不是會自動查證所有事實的萬能資料庫。

企業真正值得培養的能力，不只是一句厲害的提示詞，而是準備資料、交代限制與建立查核流程。當上下文完整、標準清楚、人員保留最後判斷，AI 才能從聊天工具逐步成為可靠的工作助手。