DeepInfra

DeepInfra 是面向开放模型的推理云，提供 OpenAI 兼容接口、原生多模态 API、模型目录、私有模型部署和 GPU 资源。它适合希望沿用现有 OpenAI 客户端、又需要访问多种开放权重模型的开发者；如果要部署自己的权重或处理非聊天任务，则要进一步理解原生端点和专用部署。模型、价格、硬件与参数会变化，使用前应以当前模型页和文档为准。

先分清两套 API 入口

双入口的价值在于迁移成本和覆盖范围可以分开处理：先用兼容接口验证聊天应用，再在确实需要原生能力时切换，而不是为了“统一”把所有模型都强行套进 Chat Completions。迁移评测要保留模型字符串、请求字段、流式设置和错误码，避免只比较最终文本。

从 token 到第一条请求

1. 创建访问凭证：在 Dashboard 创建 API key，并通过环境变量保存，例如 DEEPINFRA_TOKEN；不要把真实 token 写进浏览器代码、仓库、截图或日志。
2. 沿用已有客户端：安装 OpenAI Python/Node 库或直接使用 HTTP，把 base URL 改为 DeepInfra 的兼容地址，Authorization 使用 Bearer token。
3. 选择模型 ID：从模型目录复制准确的 model 字符串，先用短输入测试鉴权、返回格式、最大输出和错误处理，再接入真实业务。
4. 记录可复现条件：保存模型版本、采样参数、上下文长度、是否流式、请求地区和测试时间；模型下线或版本替换时能快速切回候选模型。

DeepInfra 原生接口同样要求 Bearer 认证，但不同任务的输入可能是 JSON、表单或文件上传。不要仅凭模型名称猜字段；先打开对应模型页的 API 区块，确认输入模态、必填参数和输出下载方式。

用模型目录做可审计的选型

DeepInfra 目录覆盖聊天与文本、视觉与 OCR、Embedding、Rerank、图像/视频生成以及语音等任务。筛选时建立一张小型决策表，而不是只按排行榜选模型：

• 能力：确认模型类型、输入/输出模态、是否支持流式、工具调用、结构化输出或批量接口。
• 上下文与输出：检查 context length、max tokens、图像尺寸、音频格式和单次请求限制；长上下文不等于业务一定更好。
• 性能与价格：用自己的提示集记录首 token、总延迟、吞吐、错误率和输入/输出 token 成本，区分共享推理与私有部署的计费单位。
• 来源与许可：保留模型卡、权重来源、版本和商用条款；平台提供 API 不会替你承担第三方模型许可义务。

目录会不断加入或移除模型。任何“最便宜”“最新”或“最快”的结论都应带上查询日期、地区、硬件和负载条件，不要把首页当前展示的价格卡片当成长期基线。

非聊天任务先选对应工作负载

当前文档除兼容与原生推理外，还单列 Batch API、GPU Instances、Sandboxes 和 Hosted Agents。它们解决的问题不同：批处理适合不要求即时返回的成组任务，Sandbox/Hosted Agents 面向受控执行或代理运行，GPU 与私有模型承担更强的资源和隔离需求。先确认任务是否需要状态管理、文件、执行环境或专用算力，再决定入口，不要把所有新能力都包装成一条聊天请求。

当需求超出文本对话时，DeepInfra Native API 会直接暴露模型类型：图像生成通常返回可下载的图片结果，语音识别接收音频文件，目标检测和图像分类接收图片，Embedding 则返回向量。请求流程应围绕输入文件、异步状态和输出保存设计，而不是只替换一个模型名。

1. 先确认模型页面列出的输入格式、尺寸、候选标签、采样参数和是否支持 stream/webhook。
2. 将大文件、生成图片和音频输出放到受控存储，设置过期时间、访问权限和失败重试，避免把临时 URL 当永久资产。
3. 对分类、OCR、Embedding 等任务准备带有正确答案的测试集，分别评估准确率、召回、向量检索效果或转写质量。
4. 如果客户端只支持 OpenAI 格式，优先选择兼容端点；若必须用原生接口，封装自己的适配层并固定版本。

私有模型与 GPU 部署怎么取舍

DeepInfra 文档支持从 Hugging Face 等来源部署自有模型和 LoRA 适配器。上线前先确认权重格式、GPU 显存、最大 batch、min/max instances、scale-to-zero 和区域；部署后设置消费上限，避免忘记关闭低流量实例。共享 per-token 与私有 per-GPU-hour 的盈亏平衡点应通过真实并发和利用率计算，而不是比较单个标价。

用 scoped JWT 和隐私规则收紧生产边界

除了完整 API key，DeepInfra 还提供可限制模型、有效期和支出上限的 scoped JWT，适合把推理能力交给前端、客户或第三方而不暴露主密钥。令牌应按项目和环境分开，定期轮换，并在服务端检查超时、限流和回退。

• 官方数据隐私说明：推理输入通常只在内存中处理，输出发送后删除；图像生成输出可能为便于访问而短暂保存。
• bulk inference 可能需要在加密磁盘上暂存更长时间；使用 Google 或 Anthropic 模型时还要遵守相应供应商的数据处理例外。
• DeepInfra 通常记录请求 ID、成本和采样参数等元数据，并保留为调试或安全目的记录少量请求内容的权利；敏感数据应先脱敏。
• 上线评估必须同时记录模型许可、数据来源、隐私设置、删除流程和供应商版本，不能只引用首页的 zero-retention 文案。

最终的生产清单应包括：固定模型与版本、兼容/原生端点、token 权限、超时与重试、成本告警、模型回退、离线评测和数据删除验证。这样 DeepInfra 的模型广度才会转化为可控的工程选择，而不是不可追踪的供应商切换。

官网：https://deepinfra.com/