2 篇博文 含有标签「性能优化」

在使用 LLM 服务时，重复或相似的查询往往会产生不必要的成本和延迟。LLM Gateway 的语义缓存功能通过智能识别相似查询，可以显著提升响应速度并降低使用成本。

什么是语义缓存？​

传统的缓存基于精确匹配，只有完全相同的请求才能命中缓存。而语义缓存基于文本的语义理解，即使问题表述不同，只要语义相似就能复用之前的结果。

传统缓存 vs 语义缓存​

传统缓存：

查询1: "什么是人工智能？"
查询2: "人工智能是什么？"
结果: 缓存未命中，需要重新请求

语义缓存：

查询1: "什么是人工智能？"
查询2: "人工智能是什么？"
结果: 缓存命中（相似度 0.92），直接返回结果

LLM Gateway 的智能路由功能是其核心特性之一，它能够根据不同的策略自动选择最适合的 LLM 服务。本文将详细介绍各种路由策略的工作原理和使用场景。

路由策略概览​

LLM Gateway 提供了四种主要的路由策略：

1. 成本优化（Cost Optimization）
2. 性能优先（Performance Priority）
3. 负载均衡（Load Balance）
4. 综合平衡（Balanced）