AI Helper 现在能精确显示你的 prompt 有多少命中缓存
在 v3.2.70 之前,AI Helper 的上下文指示器按照"字符数 / 4"的规则估算 token 消耗。它能工作,但根据模型和语言不同,偏差在 10–30% 之间。在 v3.2.71–73 中,我们改用来自 API 的真实数字——并额外拆分出有多少 token 命中缓存(其成本约为新鲜输入的 1/10)。
什么是 prompt 缓存
三大 LLM API(Anthropic Claude、OpenAI GPT、Google Gemini)都支持对长 prompt 前缀进行缓存。如果你持续发送开头相同的请求(相同的 system prompt + DOM 快照 + 对话历史),那么从第二次调用开始,这些 token 就不再重复计费——提供商识别出相同的前缀,只按缓存命中价计费(约为 token 全价的 10%)。
对于在对话中逐步推进的 AI Helper 来说——system prompt 不变,DOM 树很少变化,历史线性增长——缓存通常能捕获 70–95% 的 prompt。这就是每一轮花一美元和十美分的区别。
现在你在 AI Helper 中看到的内容(v3.2.73)
在对话窗口下方的统计栏中,有三个独立的 token 指示器:
- 新鲜输入——本轮中 API 必须从头处理的 token(你的新消息 + 任何新的 DOM)。
- 缓存——被识别为上一轮前缀的 token——其价格仅为正常价格的一小部分。
- 输出——模型生成的内容(始终全价,从不缓存)。
input + cached 之和就是本轮 prompt 的总长度——等价于旧版单一的"input"。两者互不相交——不会重复计算。
数字从哪里来
提供商在 API 响应字段中返回用量。各家命名不同:
- Anthropic(Claude)——
usage.input_tokens、usage.cache_creation_input_tokens、usage.cache_read_input_tokens、usage.output_tokens。 - OpenAI(GPT-4o、o1)——
usage.prompt_tokens、usage.prompt_tokens_details.cached_tokens、usage.completion_tokens。 - Google(Gemini)——
usageMetadata.promptTokenCount、usageMetadata.cachedContentTokenCount、usageMetadata.candidatesTokenCount。
AI Helper 读取每家提供商的响应,并将其规范化为统一格式(input / cached / output)。指示器在每一轮结束后立即更新——无需额外调用,无需估算。
在实际使用中能带来什么
v3.2.73 之前你不知道的三件具体事情:
- 每轮的真实成本——你拿到的就是可以直接乘以你提供商费率的精确数字。无需在线计算器,无需猜测。计费金额 = 显示金额。
- 缓存命中率——当你开始新对话时,cached = 0(缓存正在建立)。在后续轮次中,你会看到它逐步上升。命中率达到 90%+ 表示对话高效;只有 30% 则意味着你还在投入大量新上下文。
- "继续还是从头开始"——当你看到 cached 开始下降(例如 DOM 树发生变化,前缀不再匹配),你就知道用新上下文重启对话比再丢更多轮次更划算。
为什么这很重要
LLM API 比一年前便宜了,但在重度使用下,几美分仍会累积。我们使用 AI Helper 在数十个域名上构建复杂的 CSS/JS 规则——每一轮是 5–20 千 token。没有缓存时,每月要花上几美元;命中率 90% 时,只需几十美分。展示真实数字有助于将工作流程引向这个方向。
各提供商说明
缓存因提供商而异——TTL 不同、最小前缀大小不同、价格不同。供参考:
- Anthropic Claude——缓存 TTL 5 分钟,前缀至少 1024 token,缓存写入 = 1.25× 输入价,缓存读取 = 0.1× 输入价。
- OpenAI GPT-4o / o1——从 1024 token 起自动缓存,无单独的写入费,缓存读取 = 0.5× 输入价。
- Google Gemini 1.5——显式的上下文缓存 API,由用户选择缓存内容,需付写入 + 存储费,读取比新鲜输入便宜。
本文写作时(2026 年 5 月)的数值——请向你的提供商核对实时费率。
另请参阅
- 页面窗口——AI Helper 作为开发者窗口之一
- AI Helper 进入 shadow DOM——窗口样式隔离的最新一步
- 交互式新手教程——使用 AI Helper 从零做出一条可用规则
安装 JustZix——用真实数字代替估算。
为这篇文章评分
暂无评分 — 成为第一个。