6 月 19 日消息,，月之暗面官宣 Kimi 開(kāi)放平臺(tái) Context Caching 功能將啟動(dòng)內(nèi)測(cè),，屆時(shí)將支持長(zhǎng)文本大模型,，可實(shí)現(xiàn)上下文緩存功能。

據(jù)介紹,，Context Caching（上下文緩存）是由 Kimi 開(kāi)放平臺(tái)提供的一項(xiàng)高級(jí)功能，可通過(guò)緩存重復(fù)的 Tokens 內(nèi)容,，降低用戶(hù)在請(qǐng)求相同內(nèi)容時(shí)的成本,，原理如下：

官方表示，Context Caching 可提升 API 的接口響應(yīng)速度（或首字返回速度）,。在規(guī)?；⒅貜?fù)度高的 prompt 場(chǎng)景,，Context Caching 功能帶來(lái)的收益越大,。

Context Caching 適合于用頻繁請(qǐng)求，重復(fù)引用大量初始上下文的情況,，通過(guò)重用已緩存的內(nèi)容,，可提高效率降低費(fèi)用，適用業(yè)務(wù)場(chǎng)景如下：

提供大量預(yù)設(shè)內(nèi)容的 QA Bot,，例如 Kimi API 小助手,。

針對(duì)固定的文檔集合的頻繁查詢(xún)，例如上市公司信息披露問(wèn)答工具,。

對(duì)靜態(tài)代碼庫(kù)或知識(shí)庫(kù)的周期性分析,，例如各類(lèi) Copilot Agent。

瞬時(shí)流量巨大的爆款 AI 應(yīng)用,，例如哄哄模擬器,，LLM Riddles。

交互規(guī)則復(fù)雜的 Agent 類(lèi)應(yīng)用,，例如什么值得買(mǎi) Kimi+ 等,。

官方后續(xù)將發(fā)布 Context Caching 功能的場(chǎng)景最佳實(shí)踐 / 計(jì)費(fèi)方案 / 技術(shù)文檔。