跳到內容
Crystal CodeDocs
繁繁體中文

上下文預算

在 providers.json 的模型項目中加入可選預算,然後重新啟動:

"my-model": {
"contextWindow": 1000000,
"contextWindows": [272000, 1000000]
}

/context 循環排序後的預算。/context 272k、/context 1m 和 /context 272000 選擇一個已宣告的值;Tab 補全目前模型的選項。每個模型在 config.json.contextSelections 中記住自己的選擇,這是巢狀的 {"provider": {"model": tokens}} 對應。沒有已儲存的有效選擇時,模型從最低預算開始。切換模型會恢復該模型的選擇。切換預算前,先完成任何回合或壓縮。

--context 為啟動時選定的模型選擇一個已宣告的預算,且僅當該模型有多個預算時。它只套用於此行程,不寫入 contextSelections。切換模型使用另一個模型已儲存的預算。之後的 /context 仍會寫入操作者的選擇。

所選預算驅動壓縮、/status 和 CTX 百分比。降低它會保留完整封存,並在下一次模型請求前檢查是否需要壓縮。預設狀態列在思考旁邊顯示 Context 272K;自訂列可以包含 context-window,它也在預設的自訂欄位順序中。這些是本機預算:它們不啟用提供商特定的長上下文功能,也不保證計費閾值,因為 token 估計和大型工具結果可能超出預算。