一句話定義

上下文視窗（Context Window）是 AI 模型產生這次回答時，一次能參照的文字總量上限，計算單位是 token。

30 秒看重點

  • 是什麼：上下文視窗是 AI 一次能同時看見的文字總量上限，超過的部分它就看不到了。
  • 為什麼重要：它同時決定了你能一次丟多長的資料給 AI，以及這一次對話要付多少錢。
  • 跟誰相關：常丟長文件給 AI 的上班族、串 API 的工程師、評估導入 AI 的主管都會直接撞到這個數字。
  • 最常見的誤解：很多人以為上下文視窗越大，AI 就一定越聰明，實際上塞太滿反而會退步。
  • 記住這件事就夠了：它是 AI 的工作記憶，不是它的長期記憶，對話結束就沒了。

上下文視窗到底是什麼？

上下文視窗是 AI 模型在生成這次回答時，能夠參照的所有文字的上限，包含它自己正在寫的那段回答。Anthropic 官方文件講得很直白：這跟模型當初訓練吃下的那一大坨資料完全是兩回事，上下文視窗比較像是模型的「工作記憶」。

那什麼東西會佔用它？答案是幾乎全部。系統提示、你打的每一句話、你貼上去的圖片跟 PDF、工具的定義與回傳結果，加上模型自己吐出來的內容（包含它在背後的思考過程），通通要一起算進同一個額度裡。所以那個看起來很大的數字，其實從你按下送出的那一刻就開始被吃掉了。

生活比喻：你可以把它想像成一節捷運車廂。車廂能載多少人有物理上限，這就是視窗大小；你上車後帶的行李、推車、寵物包也全部要塞進同一節車廂，這就是附檔跟工具佔的位置。然後尖峰時段最麻煩的事情你一定懂 — 車廂越擠，你要找的那個朋友就越可能卡在中間，你怎麼喊都喊不到。

為什麼 AI 要設上下文視窗這個上限？

因為算力有極限、注意力也有極限，這兩件事都不是靠加錢就能無限往上疊的。

第一個問題是成本。 AI 讀你丟進去的每一個 token 都要付錢，這不是比喻，是真的按 token 計價。以 Anthropic 公開的價格為例，Claude Opus 5 是每百萬輸入 token 5 美元、輸出 25 美元，Sonnet 5 是 2 美元跟 10 美元。官方文件裡有個換算滿好記的：一份 500KB 的研究論文 PDF 大約是 12.5 萬 token，一般網頁 10KB 大約 2,500 token。所以把那份 PDF 丟給 Sonnet 5，光是「讓它看完」就要 0.25 美元，你還一個字都還沒問。

另一個問題比較少人講，是準確度。 Anthropic 在文件裡直接寫了一個詞叫 context rot（上下文腐化），意思是 token 一多，模型的正確率跟回想能力就會下降。官方自己的結論是「更多上下文不會自動比較好」，重點在你放了什麼，不是你塞了多少。

「那我把整份資料夾都丟進去不就好了？」可以是可以，錢照付、東西照收，只是它讀完之後找不找得到你要的那一句，就是另一回事了。

上下文視窗是怎麼運作的？

運作方式其實很單純：對話每多一輪，前面的內容就原封不動累加上去，直到撞牆為止。

  1. 逐輪累加：你的每則訊息跟 AI 的每則回覆都會被完整保留下來，變成下一輪的輸入。所以聊到第 30 則的時候，模型其實是把前面 29 則重讀一次再回答你（對，圖片也算）。
  2. 全部計價：快取過的內容也一樣佔位置。Anthropic 講得很清楚，prompt caching 改變的是你付多少錢，不是它佔不佔空間。
  3. 滿了就報錯：如果光是輸入就超過上限，Claude API 會直接回一個 400 錯誤，訊息是 prompt is too long；如果是寫到一半才滿，較新的模型會停下來並回報 model_context_window_exceeded。

名詞小教室：token 是 AI 把文字切碎之後的最小處理單位。Anthropic 的官方估算是英文大約 4 個字元、0.75 個單字算一個 token，中文的換算比例各家不同，不要直接套英文那組數字。想搞清楚計費邏輯的話，可以看我們的 AI 的 Token 是什麼？ 這篇。

上下文視窗跟「最大輸出長度」差在哪？

簡單來講，上下文視窗是「這場對話總共能有多大」，最大輸出長度是「這一次它最多能寫多長」，前者包含後者。

比較項目上下文視窗最大輸出長度（max tokens）
管的是什麼整個請求能容納的 token 總量單次回覆最多能生成多少 token
實際數字Claude Opus 5、Sonnet 5 等機型為 100 萬 token100 萬視窗的機型單次最多 12.8 萬 token
誰佔用它系統提示、對話紀錄、附檔、工具定義、模型回覆只有模型這一次寫出來的內容
撞到上限會怎樣回 400 錯誤，或中途停止並回報視窗已滿寫到一半被切斷
什麼時候要注意它丟長文件、跑長時間的 AI 代理任務時要求 AI 一次產出長篇報告時

從這張表可以看出來，這兩個數字根本不是同一件事，可是很多人會混在一起講。你要一次分析一整份合約，該看的是上下文視窗；你抱怨 AI 每次寫報告都寫到一半就斷掉，那是最大輸出長度在擋你。

你會在哪些 AI 工具看到上下文視窗？

現在檯面上的主流模型幾乎都把 100 萬 token 當成基本配備了。

  • Claude：Anthropic 官方文件列出 Claude Opus 5、Opus 4.8、Sonnet 5、Sonnet 4.6 等機型都是 100 萬 token，而且 1M 是預設值、不用另外開 beta header，長上下文請求也照標準價計費。官方原話是「一個 90 萬 token 的請求，每 token 費率跟 9 千 token 的請求一樣」。
  • Gemini：Google Cloud 的官方範例寫得很清楚，Gemini 3 Flash 標配 100 萬 token、Gemini 3 是 200 萬 token。他們還列了 100 萬 token 大概裝得下什麼：5 萬行程式碼、8 本一般長度的英文小說、200 多集 podcast 逐字稿、1 小時影片，或 9.5 小時的音訊。
  • 開源陣營：阿里巴巴的 Qwen3.8-Max 也支援 100 萬 token 上下文，細節可以看我們當時的開放權重報導。

如果你是工程師，你在 API 文件裡看到的 usage 欄位就是在回報這一次吃掉多少。Anthropic 另外提供 token counting API 讓你送出前先估，還有 compaction 這種伺服器端自動摘要舊對話的機制，讓對話能撐過視窗上限。說穿了就是幫你自動忘記一些事

關於上下文視窗最常見的 3 個誤解

  1. 誤解一：視窗越大，AI 就越聰明 — 真相是不一定。Anthropic 自己在文件裡就承認 context rot 的存在，token 一多，正確率跟回想能力都會掉。這也是為什麼 2023 年那篇《Lost in the Middle》會被反覆引用，Nelson F. Liu 等人在 arXiv 2307.03172 研究的正是模型怎麼使用長上下文，實驗包含多文件問答跟 key-value 檢索。
  2. 誤解二：上下文視窗等於 AI 記得住我 — 真相是它只是工作記憶。這一輪對話結束、你開新視窗，它就不記得了。跨對話的記憶是另外一套機制，不是靠視窗大小撐出來的。
  3. 誤解三：反正沒超過上限就不用管 — 真相是你每一輪都在為前面所有內容重新付費。一場拖很長的對話，最貴的往往不是你最後問的那句話，而是你早就忘掉的那三十句 QQ

想多了解上下文視窗，從哪開始？

沒有技術背景的話，我建議你做一件事就好：下次覺得 AI 突然變笨、開始鬼打牆，先別急著罵它，直接開一個新對話把重點重貼一次。老實講這招的成功率高到有點好笑，因為你等於幫它清掉了一車廂的雜訊。

有技術背景的話，直接讀 Anthropic 的 Context windows 官方文件，把 compaction 跟 context editing 這兩節看完，那是目前處理長對話最實際的做法。

常見問題 FAQ

上下文視窗跟 AI 有什麼關係？

上下文視窗是大型語言模型的基本規格之一，它決定模型單次請求能參照多少文字。所有靠 AI 讀長文件、跑長對話、執行多步驟任務的應用，能力上限都被這個數字綁住。

為什麼上下文視窗突然這麼紅？

因為規格在短時間內衝很快。Anthropic 的 Claude Opus 5 與 Sonnet 5 等機型現在標配 100 萬 token 且不加價，Google 的 Gemini 3 更是到 200 萬 token。當 AI 代理（AI Agent）開始跑長時間任務，視窗大小就從一個技術參數變成能不能用的關鍵。

我不是工程師也需要懂上下文視窗嗎？

需要，但只要懂概念就夠了。如果你常把長文件貼給 AI，知道有這個上限，你就會理解為什麼 AI 有時候會漏掉文件後半段的內容，也會知道該把最重要的指令放哪裡。

上下文視窗的中文翻譯有沒有統一？

沒有完全統一。台灣的技術圈很多人直接講英文 Context Window，要翻中文的話最常見的是上下文視窗，也看得到脈絡長度、上下文長度這幾種寫法。本站統一用上下文視窗，需要精確指涉時直接寫 Context Window。

學會上下文視窗之後，下一個該學什麼？

建議先補 token，那是上下文視窗的計算單位，不懂 token 就沒辦法真的算清楚額度。接著看 RAG，它正是為了「不用把所有資料都塞進視窗」而生的做法。行有餘力再看大型語言模型本身的運作原理。

延伸閱讀

  • AI 的 Token 是什麼？ — 上下文視窗的計算單位就是 token，這篇講清楚它怎麼切、怎麼算錢。
  • RAG 是什麼？ — 當資料量遠大於視窗上限時，主流解法就是讓 AI 先去檢索再回答。
  • LLM 是什麼？ — 上下文視窗是大型語言模型的規格之一，先懂模型本身會比較好理解。
  • Claude Opus 5 發表報導 — 當時就寫過它有 100 萬 token 上下文視窗與 12.8 萬 token 輸出長度。

參考來源

  1. Anthropic 官方文件 Context windows — 上下文視窗的定義與「工作記憶」說法、context rot、哪些內容會計入視窗、100 萬 token 機型清單與 12.8 萬輸出上限、prompt is too long 與 model_context_window_exceeded 兩種溢出行為、compaction 與 context editing。
  2. Anthropic 官方定價頁 — Opus 5 每百萬 token 5 / 25 美元、Sonnet 5 為 2 / 10 美元、長上下文照標準價計費、1 token 約 4 個英文字元或 0.75 個單字、10KB 網頁約 2,500 token 與 500KB 論文 PDF 約 12.5 萬 token 的換算。
  3. Google Cloud 官方範例 Intro to Long Context — Gemini 3 Flash 100 萬 token、Gemini 3 為 200 萬 token，以及 100 萬 token 可容納 5 萬行程式碼、8 本英文小說、200 多集 podcast 逐字稿、1 小時影片、9.5 小時音訊。
  4. OpenAI Cookbook: How to count tokens with tiktoken — token 的切分方式，以及計算 token 的兩個理由：判斷字串是否超過模型上限、估算 API 費用。
  5. Lost in the Middle 論文程式碼倉庫 — Nelson F. Liu 等人 2023 年發表（arXiv 2307.03172），研究語言模型如何使用長上下文，實驗任務包含多文件問答與 key-value 檢索。

整理一下重點：上下文視窗真的不是越大越好用，它是一節有座位上限的車廂，你塞什麼進去比塞多少進去重要得多。

希望這一篇有讓你對上下文視窗有比較具體的理解哩～如果發現事實錯誤、定義不準、或翻譯卡卡的，歡迎透過聯絡頁指正，看到我們會盡快修。

我們下篇文章見囉～

本條目由 Array 報報 AI 編輯部根據上方「參考來源」整理，文末已揭露 AI 生成 + 公開資料引用。