Requesty

Requesty 是一款专为企业级复杂生产场景打造的高性能智能大语言模型流量网关与成本优化平台。随着企业内部接入的大模型数量不断攀升，直接在业务代码中硬编码调用特定模型往往会导致两大致命弊端：简单的文本分类调用昂贵旗舰模型造成资源极度浪费，以及单点供应商故障引发全局业务宕机。Requesty 通过在应用与异构模型之间架设智能动态调度层，彻底解耦了大模型工程落地中的成本、质量与高可用矛盾。

智能意图分流与三大路由策略决策

在实际企业应用中，用户输入的问题在计算复杂度上差异巨大。常规的代码生成、数学推理需要 Claude 3.5 Sonnet 或 OpenAI o1 等前沿复杂大模型，而日常的关键词提取、问答分类、情绪判断则只需 GPT-4o-mini、Llama 3 等轻量模型即可完美胜任。

Requesty 研发了一套低延迟的意图前置分类与动态路由引擎。在请求抵达网关的数毫秒内，网关利用轻量嵌入或规则模型快速评估 Prompt 的推理复杂度、上下文 Token 长度以及任务类型，并根据企业预设的三种核心策略执行精细化分发：

第一是成本优先策略（Cost-Optimized）。在保障基础任务指标的前提下，强制将常规请求路由给每百万 Token 费率最低的兼容模型，能够为高并发客服与爬虫分析场景降低 60% 以上的 API 账单开销。

第二是延迟优先策略（Latency-Optimized）。系统实时监控各模型提供商在全球不同地域的可用区握手延迟与首字生成耗时（TTFT），自动将请求调度给当前网络链路最通畅、算力负载最低的节点，专为语音实时交互与即时通讯场景打造。

第三是质量优先策略（Quality-First）。对于检测出复杂多步逻辑推演的输入，网关自动将参数重定向给高算力推理模型，并激活思考链（CoT）配置，确保核心业务决策的绝对准确性。

Model Context Protocol（MCP）原生工具挂载

由 Anthropic 主导提出的 Model Context Protocol（MCP）正迅速成为 AI 智能体（Agent）安全连接外部企业数据源与执行工具的行业标准协议。在传统的开发模式下，每个业务线都需要在自身工程中独立编写适配代码，不仅重复建设严重，更容易在各环节引发凭证泄漏安全风险。

Requesty 在网关核心层实现了对 MCP 标准的深度原生支持。企业运维人员可以在 Requesty 平台中将内网 PostgreSQL 数据库、GitLab 仓库、Salesforce CRM 等工具注册为标准的 MCP Server。当外部大模型需要执行工具调用（Tool Calling）时，统一由 Requesty 网关在沙箱环境中进行权限校验、执行并过滤敏感数据：

# 通过 Requesty 统一网关调用挂载了 MCP 内部工具的大模型
import openai

client = openai.OpenAI(
    base_url="https://api.requesty.ai/v1",
    api_key="sk-req-enterprise-workspace-key"
)

# 请求头中指定走智能动态路由，并挂载已配置的内部数据库 MCP 服务
response = client.chat.completions.create(
    model="requesty/auto-smart-routing",
    messages=[{"role": "user", "content": "查询上季度华东区销售额前三的客户名单"}],
    extra_headers={
        "X-Requesty-MCP-Servers": "internal-postgres-crm,data-sanitizer",
        "X-Requesty-Budget-Tag": "marketing-department"
    }
)
print(response.choices[0].message.content)

这种架构将异构工具的集成与鉴权生命周期完全集中在网关层，前端业务无需感知底层的协议交互，大幅降低了企业 Agent 规模化落地过程中的系统摩擦力。

多租户配额隔离与调用成本动态熔断

针对大型企业多业务线共用大模型账号时的管理混乱痛点，Requesty 提供了完善的多租户隔离与配额控制体系。管理员可为每个部门、每个独立项目分配专属的 API 虚拟 Key，并设置严格的日度、月度支出硬顶（Hard Budget Cap）。一旦某项任务因代码死循环陷入高频请求，网关会在触碰预算阈值瞬间自动熔断该 Key 的调用权限，彻底规避天价账单风险。

敏感数据（PII）本地过滤与企业合规审计

在数据合规层面，Requesty 具备实时的个人身份信息（PII）与敏感财务机密本地过滤引擎。在数据离开企业虚拟专线飞向公有云大模型前，网关会自动将身份证号、手机号、银行卡号以及核心业务密钥替换为混淆占位符，并在模型返回结果时在内存中逆向还原映射，为金融与医疗等严监管行业筑起牢固的安全防火墙。