為什麼 AI 對話的上下文這麼快就滿了?
從自動載入的任務資料下手,讓每次新對話少讀一點。
我在做一套讓 AI 協助處理工作的流程。
AI 每次回應時,能一起參考的資料有容量上限,這個範圍通常叫作「上下文」。在我這套工作流程裡,系統自動載入的任務背景,也會占用這個空間。
有哪些事情要做、做到哪裡、接下來由誰接手,都記在同一份任務清單裡。
這樣安排,是希望每次開新對話時,就不用重新交代背景。AI 可以從任務紀錄接上進度,知道接下來要做什麼、有哪些細節需要注意。
為了讓 AI 接得上,我把每項工作的背景寫得很完整:為什麼要做、有哪些限制、需要注意什麼。系統也會在新對話開始時,自動把還沒完成的任務介紹載入進來。
任務少的時候,這個安排很方便。
等清單累積到五十項工作,問題就出現了。
背景交代完整,也有代價
假設這次只打算處理一項工作,AI 一開始收到的,卻是五十項工作的介紹。
其他任務的背景即使與這次無關,也一起進了對話。
這讓「重新開始」變得有點矛盾。我清空舊對話,想騰出空間處理下一件事,系統卻馬上又把一大批資料搬進來。還沒開始工作,背景資料就先佔了一部分空間。
當初為了省下重複交代的麻煩,我讓系統每次都提供完整背景。後來才發現,我把「之後可能需要」的資料,也當成了「現在就需要」。
先知道有哪些工作,再看要做的那一項
我仍然需要那些詳細說明。刪掉它們,下次接手時又得重新釐清。
所以這次調整的是讀取方式。
新對話開始時,AI 先收到一份簡短的任務目錄,知道有哪些工作、目前由誰處理。等選定要做的任務,再打開那一項的完整說明。
就像交接工作時,先看待辦清單,找到自己要接手的事情,再翻閱相關資料。其他資料仍然保留著,需要時找得到就好。
給 AI 的工作規則也做了類似整理:先提供索引,讓它知道不同情況該去哪裡查,而不用一開始就讀完所有細節。
資料還在,開場輕了很多
用同一份任務清單比較,調整後,自動載入的任務資料量減少了約 93%。
這個數字指的是開場載入的文字量,不是整次工作的費用。真正需要處理某項任務時,AI 仍然要讀它的詳細內容。
但至少,現在每次重新開始,不必先替所有尚未完成的工作讀一遍背景。
這次修改讓我重新想了一件事:把資料寫清楚,只完成了交接的一部分。另一部分,是讓接手的人或 AI 在需要的時候,找到需要的內容。
以前我比較在意有沒有交代完整。現在我也會多問一句:這些內容,需要現在就讀嗎?
這類東西我常寫: LinkedIn 追蹤/ RSS 訂閱
← 回到所有文章
留言
留言先審後上;email 只用來回覆聯絡,不會公開。
還沒有留言,當第一個。