路由
路由
每个请求都由 JoyToken 选择最终模型和 provider。请求必须使用 model: "auto",并可通过 tier 和 API Key 策略控制候选路由范围。
常用写法
档位
钱包回退
当请求使用 model: "auto",且当前 tier 余额不足时,JoyToken 可在策略允许范围内尝试其他 tier。
请求不接受具体模型 ID。若策略、余额或预算过滤后没有可用候选模型,请求会返回错误。
编排模式(多任务规划)
对于复杂请求,JoyToken 可能以编排模式处理单个 model: "auto" 请求:先生成任务计划(plan),用选定的子模型逐个执行任务,最后汇总出最终答案。你无需显式开启,由网关根据请求自动决定。
如何识别
任务生命周期
编排模式下每个任务单独计费(每个任务一条 metadata/billing),且可能使用不同子模型。渲染前请先将 choices[].message.content 按 JSON 解析,并对所有任务 metadata 的 billing.credits_used 求和。
