1 篇博文 含有标签「语义缓存」

在使用 LLM 服务时，重复或相似的查询往往会产生不必要的成本和延迟。LLM Gateway 的语义缓存功能通过智能识别相似查询，可以显著提升响应速度并降低使用成本。

什么是语义缓存？​

传统的缓存基于精确匹配，只有完全相同的请求才能命中缓存。而语义缓存基于文本的语义理解，即使问题表述不同，只要语义相似就能复用之前的结果。

传统缓存 vs 语义缓存​

传统缓存：

查询1: "什么是人工智能？"
查询2: "人工智能是什么？"
结果: 缓存未命中，需要重新请求

语义缓存：

查询1: "什么是人工智能？"
查询2: "人工智能是什么？"
结果: 缓存命中（相似度 0.92），直接返回结果