opensource/sub2api
3
0
Fork 0
mirror of https://github.com/Wei-Shaw/sub2api.git synced 2026-09-24 16:05:44 +08:00
Code Issues Packages Projects Releases Wiki Activity
4,425 Commits 38 Branches 54 Tags
v0.1.147
Commit Graph
1087 Commits
Author SHA1 Message Date
Wesley Liddick 0438057c0b Merge pull request #3816 from Vibeone/fix/ops-inband-sse-error-logging 
fix(ops): 记录固化 200 SSE 流上的就地错误，修复流内限流不进错误看板
 2026-07-09 16:35:29 +08:00
Wesley Liddick c842c3166c Merge pull request #3847 from heathermhuang/codex/grok-45-official-support 
Add official Grok 4.5 support
 2026-07-09 16:07:42 +08:00
Wesley Liddick 9ba0fb3084 Merge pull request #3775 from heathermhuang/codex/grok-media-pricing-labels 
fix: add Grok video pricing controls
 2026-07-09 15:03:38 +08:00
Wesley Liddick b6d2df24d8 Merge pull request #3800 from Ge-limin/feat/codex-models-manifest 
feat: Codex 客户端模型清单（manifest）透传接口
 2026-07-09 14:40:23 +08:00
Wesley Liddick dfff28ab05 Merge pull request #3843 from InCerryGit/fix/issue-3540-lenient-json-limit 
fix(gateway): cap lenient JSON normalization
 2026-07-09 14:39:55 +08:00
Wesley Liddick 9392d1fc43 Merge pull request #3841 from fengshao1227/fix/html-escape-site-name-and-sanitize-doc-url 
fix(security): HTML-escape site_name 并对 doc_url 统一应用 sanitizeUrl
 2026-07-09 14:39:26 +08:00
Heatherm Huang cccba9a82e Add official Grok 4.5 support 2026-07-09 14:26:10 +08:00
InCerry 53a5c45bd8 fix(gateway): cap lenient json normalization 
Fixes #3540
 2026-07-09 11:15:52 +08:00
li bfb827b879 fix(security): HTML-escape site_name 并对 doc_url 统一应用 sanitizeUrl 
Refs #3839 (第 8、12 点)
 2026-07-09 10:03:49 +08:00
wucm667 e0d149d511 feat(api-key): show last used IP 2026-07-08 15:26:54 +08:00
Heatherm Huang 4d702e3234 fix: split Grok image and video pricing 2026-07-08 13:50:49 +08:00
Eyre921 5aba53d542 fix(ops): 记录固化 200 SSE 流上的就地错误，修复流内限流不进错误看板 
流式请求一旦 flush 了 keepalive ping，HTTP 状态码即固化为 200；此后
出现的错误（等待并发槽位超时后回退的限流、Wait 后二次计费校验失败、
流开始后才无可用账号等）只能就地以 SSE error 帧回传。而 ops_error_logger
以 status>=400 为采集触发条件，这类挂在 200 流上的失败此前会在错误看板里
完全隐形——客户端能收到 rate_limit_error，但网关侧没有任何错误记录可供排障。

- service: 新增 OpsStreamError 上下文 + MarkOpsStreamError/GetOpsStreamError，
  采用「首个标记生效」保留根因错误，避免被后续通用兜底帧覆盖。
- handler: handleStreamingAwareError 在 streamStarted 分支标记流内错误。
- handler: OpsErrorLoggerMiddleware 在 status<400 且无上游错误上下文时，
  据标记补记一条错误日志；分级用 IntendedStatus（如并发限流 429），
  StatusCode 仍记 wire 的 200。上游透传错误已由 upstream-context 分支落库，
  故此路径不重复记录。
- 补充单测覆盖补记、no-op、skip_monitoring 跳过与首个标记生效。
 2026-07-08 02:51:51 +00:00
Wesley Liddick 6f43986c37 Merge pull request #3811 from jianjianai/hotfix/admin-scheduler-score-opt-in 
fix(admin): 管理员账号列表默认关闭调度权值计算以降低负载
 2026-07-08 10:22:10 +08:00
shaw a56eb5b4dc fix(compact): body-signal 提升上移到 handler 层并对齐 path-based 链路 
合并 main 解决拆分冲突后，将原先 Forward 内的 body-signal 提升重构到
handler 的 compact 归一化入口之前，修复原方案的四个问题：

- reqStream 未重推导：body-signal 原始请求带 stream:true，Forward 级提升
  后 compact 上游返回 JSON（Accept: application/json）却被流式 handler
  解析，"stream ended before a terminal event" 会触发最多
  max_account_switches 次换号 failover，且每次都白烧一次上游 compact 配额；
  handler 级提升让白名单归一化先删除 stream，reqStream 自然为 false。
- requireCompact 调度过滤失效：原方案 path 改写发生在 requireCompact 判定
  之后，调度器不会过滤不支持 compact 的账号；现在改写先于该判定。
- passthrough / Grok / chat-completions 桥接分支位于 Forward 检测点之前，
  passthrough 账号完全无法命中；handler 级改写对所有分支生效。
- body 归一化口径不一致：body-signal 现在与 path-based 一样走白名单归一化
  （prompt_cache_key 等一并删除），而非仅依赖 OAuth 黑名单转换。

检测函数导出为 HasCompactionTriggerInInput 供 handler 使用，保留原 PR 的
7 个单测；新增 6 个 handler 级回归测试（提升、codex 别名路由、尾斜杠、
子路径不误伤、path-based 无双重后缀、普通请求不受影响）。

Refs #3777
 2026-07-08 10:04:14 +08:00
shaw bb5d2e84a1 refactor(handler): 纯移动拆分 setting_handler.go（3957→468行） 2026-07-08 08:49:22 +08:00
jjaw 6ae5fc31b3 fix(admin): gate scheduler score calculation 2026-07-08 06:58:35 +08:00
limingeandClaude Fable 5 13e773ef5e feat: Codex 客户端模型清单（manifest）透传接口 
背景：Codex CLI / Codex App 会从 provider 的 GET {base_url}/models?client_version=...
（自定义 provider 模式）或 GET /backend-api/codex/models（chatgpt_base_url 模式）
刷新模型选单，期望 ChatGPT Codex manifest 格式（{"models":[{slug,...}]}）。
sub2api 此前只提供 OpenAI 兼容格式的 /v1/models，Codex 客户端解析失败后静默
回落到本地缓存，导致指向 sub2api 的 Codex 客户端模型选单永久冻结在切换
provider 当天的状态，新模型（如 gpt-5.6 系列）永远不会出现。

方案：新增 manifest 透传——用组内可调度 OAuth 账号的凭据向
chatgpt.com/backend-api/codex/models 实时转发请求，响应体与 ETag 原样透传。
不在网关侧解析或维护模型清单：manifest schema 随 Codex 客户端版本演进，
透传保证网关无需跟进 schema 变化，且返回的始终是账号真实的模型权限
（区别于静态 DefaultModels 的"理论列表"）。

路由：
- GET /backend-api/codex/models（新增）
- GET /v1/models 带 client_version 查询参数且组平台为 openai 时分发到
  manifest 透传（client_version 是 Codex 客户端的天然指纹，普通 OpenAI
  客户端不携带）；其余请求保持原有 OpenAI 格式行为不变。

上游失败时按 fast-fail 返回错误，不伪造列表；Codex 客户端自身会回落缓存。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-07 19:49:40 +08:00
shaw 80a229bce5 fix(batch-image): 修复审计发现的计费死锁、状态机与队列原子性缺陷 
修复 PR #3768 批量图像 MVP 合并后审计报告中的全部问题：

结算与计费（高危）：
- 所有 SETTLEMENT_* 失败（超冻结/计数非法/manifest 冲突/定价缺失/扣费失败）
  统一计入 retry_count 并在耗尽时释放冻结转 failed，消灭 settling 无限
  requeue 导致的冻结余额永久锁死
- 耗尽出口的释放指纹统一为 RequestHash，与 processor/Cancel/recovery 一致；
  release 遇同 request id 指纹冲突视为幂等成功，治愈历史毒消息
- 管理端校验 hold_multiplier >= discount_multiplier，定价快照对存量脏数据钳制
- 释放前校验 per-job hold claim（dedup+归档表），杜绝幻影释放

索引对账（高危）：
- provider 输出与提交 custom_id 集对账：未知条目丢弃并记事件，
  漏项补 PROVIDER_RESULT_MISSING 失败行，保证 success+fail == item_count

提交与恢复（高危）：
- 提交前转 uploading 并在 provider.Submit 期间心跳刷新 updated_at；
  恢复扫描改为原子复核（FailStaleUnsubmittedBatchImageJob），
  消灭慢提交被误杀退款而上游任务照常计费的孤儿场景
- 上游任务创建成功但本地状态推进失败时，尽力取消上游并清理输入
- recovery 释放失败时入队交由 worker releaseTerminalHold 兜底重试

队列与并发（中危）：
- Enqueue（SetNX+LPush）与 Reserve（BRPop+ZAdd）均改为 Lua 原子脚本，
  消灭崩溃窗口导致 job 脱离队列、被 7 天 inflight 键锁死
- 锁冲突按 LockConflictDelay 重新入队（原直接丢弃需等 10 分钟 stale 恢复）
- 处理期间心跳：active zset 续期（ZAddXX 防幽灵成员）+ 锁 TTL 续期
- ReplaceBatchImageItemsForJob 增加 indexing 状态守卫，防掉队 worker 重写账目

存量回归（中危）：
- image-only 定价条目（仅图片价无 token 价）恢复 token 计费 fail-closed，
  不再按 $0 计费；图片计费路径不受影响
- 鉴权余额门槛恢复 balance <= 0 语义，MinimumBalanceReserve 不再作硬 403

加固：
- ZIP max_items 钳制到管理员上限；Submit 补齐 Platform==Gemini 校验；
  gemini downloadUri 跟随前做 host 白名单校验
- 批量客户端改用共享 httpclient（拨号/TLS/响应头超时有界）
- 审计点名的忽略错误（MarkDownloaded/SettlementFailed/AppendEvent 等）改为记日志
 2026-07-07 18:53:56 +08:00
Turtle_Li a6023840f7 Merge remote-tracking branch 'origin/main' into feature/batch-image-foundation 
# Conflicts:
#	deploy/Dockerfile
 2026-07-07 15:14:37 +08:00
li 40c563c4ae fix(gateway): 记录请求体解析失败的真实原因，不再吞错 
400 "Failed to parse request body" 此前丢弃底层错误，无法区分
JSON 真非法、还是 body 被截断/被中间件提前消费。

- 服务层 invalid json 错误增补 len/offset/非法字符信息
  （仅诊断元数据，不含 body 内容，可安全 wrap）；
- handler 层新增 logRequestBodyParseFailure，向服务端日志输出
  底层错误 + body 长度 + 转义后的 head/tail 片段（各 256B），
  客户端响应文案保持不变；
- 接入全部 9 处入站解析点（messages/count_tokens/responses/
  chat_completions/embeddings，Anthropic 与 OpenAI 网关）。

Fixes #3715
 2026-07-07 13:53:39 +08:00
Turtle_Li 5494261902 Merge remote-tracking branch 'origin/main' into feature/batch-image-foundation 
# Conflicts:
#	.github/audit-exceptions.yml
 2026-07-07 10:53:17 +08:00
Turtle_Li aff148167c fix: address batch image ci failures 2026-07-07 10:50:36 +08:00
alfadb ddd63a8402 test: cover endpoint wildcard edge cases 2026-07-07 10:20:23 +08:00
alfadb 75e3089496 fix: normalize inbound endpoints from raw request path 2026-07-07 10:20:23 +08:00
alfadb 2fb212b7d6 fix(openai): 区分 responses compact 入站端点 
/v1/responses/compact 及其别名路径（/responses/compact、/openai/v1/responses/compact、
/backend-api/codex/responses/compact 等，含嵌套子路径）是独立的客户端端点，
新增 EndpointResponsesCompact 常量并单独归一化，不再与根 /v1/responses 混同。
根 Responses 别名（/responses、/backend-api/codex/responses 等）仍归一到
EndpointResponses。NormalizeInboundEndpoint 优先匹配 compact 分支，避免根路径
前缀提前命中。DeriveUpstreamEndpoint 在 inbound 已为 compact 但原始路径无法
派生后缀时，回退到 compact 而非根 upstream。
 2026-07-07 10:20:23 +08:00
Turtle_Li 1b07fe821a merge: sync batch image branch with origin main 2026-07-07 03:27:11 +08:00
Wesley Liddick d1d3400b69 Merge pull request #3645 from bestony/worktree/lucky-harbor-dbe4 
feat(keys): add api key concurrency stats
 2026-07-06 16:45:15 +08:00
shaw d56e94b875 feat(payment): 订阅 CNY 换算改为独立汇率配置的显式 opt-in 
- 新增 SUBSCRIPTION_USD_TO_CNY_RATE 配置（1 USD = X CNY，默认 0=关闭），
  替代复用 balance_recharge_multiplier 的隐式换算，促销倍率与订阅定价解耦
- 未配置汇率时订阅保持 price 直付的存量行为，存量部署升级零影响
- 前端确认页/原价/手续费/方式限额与后端换算条件严格镜像（rate>0 且币种为 CNY）
- 管理后台新增汇率配置输入（zh/en 文案），checkout-info 透出 subscription_usd_to_cny_rate
- 单测锁定：汇率未配置时不换算、换算使用汇率而非余额倍率、余额订单不受影响、返利仍按 USD price
 2026-07-06 14:34:17 +08:00
Turtle_Li 9703ca9d33 merge: sync batch image foundation with upstream main 2026-07-06 13:40:09 +08:00
Turtle_Li 8fab636998 feat: complete batch image workflow 2026-07-06 12:22:04 +08:00
shaw 0fd2e9216d fix(scheduler): 修复 OpenAI 高级调度器审计发现的正确性与性能问题 
针对 #3692 合并后审计发现的问题集中修复：

- previous_response_id 剥离条件改为按 call_id 全覆盖校验，
  部分可重建的工具续链不再被误剥离（不受开关门控的行为回归）
- 粘性加权回退路径补分组归属校验并清理失效绑定，杜绝跨分组账号泄漏
- 账号列表页：无 OpenAI 账号时跳过分数计算、过滤池限定 openai 平台、
  负载批查合并为账号并集一次查询，消除全表扫描与 Redis N+1
- 订阅优先模式下常规池不可用时回退订阅池等待计划，
  busy-but-waitable 的订阅账号不再导致请求硬失败
- TopK/权重 DB 覆盖显式受总开关门控，与兄弟子开关语义一致
- 前端未分组 OpenAI 账号回退展示基础分，不再显示 "-"
- ListAllWithFilters 等能力正式进入 AccountRepository/AdminService 接口，
  移除匿名接口断言与静默降级；负载批查失败补 warn 日志
- SelectAccountWithSchedulerForCapability 增加显式 previousResponseCanMove
  参数，移除 "previous_response_can_move" 魔法字符串哨兵
- 设置写入路径补"基础权重不得全为零"聚合校验；
  运行时设置批量读取失败的降级路径覆盖全部键并留痕
 2026-07-06 11:43:16 +08:00
Wesley Liddick 759332aa92 Merge pull request #3692 from linshuboy/codex/openai-advanced-scheduler-controls-squashed 
[codex] add OpenAI advanced scheduler controls
 2026-07-06 10:59:23 +08:00
linshuboy f26ca5661e feat: add OpenAI advanced scheduler controls 
Related: #1089, #408, #123
 2026-07-05 17:24:38 +08:00
wucm667 41cdd438d7 fix(gateway): honor Anthropic custom models list 2026-07-05 08:35:34 +08:00
Wesley Liddick 707b87a96f Merge pull request #3676 from wucm667/fix/codex-import-refresh-token-missing-collision 
fix(admin): Codex Session 导入 refresh_token 缺失时不再合并同 workspace 不同账号
 2026-07-04 10:29:47 +08:00
wucm667 6bd248fd1f fix(admin): avoid merging Codex access-only imports 2026-07-04 09:53:01 +08:00
Wesley Liddick 8e07ec55db Merge pull request #3685 from jianjianai/fix/optimize-slot-cleanup 
fix: 优化并发槽位定时清理性能
 2026-07-04 09:19:34 +08:00
Turtle_Li a994fbd77a feat: add batch image MVP 2026-07-04 05:30:50 +08:00
DaydreamCoding ebbdc70311 feat(usage): 错误请求对齐用量明细(UI/排序/筛选/列设置) 
错误请求列表(/admin/usage 错误 tab、Ops 弹窗、用户端 /usage 错误 tab)
对齐用量明细的交互与信息密度。Squash of:

- feat(usage): 错误请求全面对齐用量明细(UI/列序/排序/筛选/列设置/新列)
- refactor(usage): 错误表提取共享徽章工具与 IP 批量工具条,后端排序解析归并 SetSort
- feat(usage): /admin/usage 错误请求新增分类过滤
- fix(ops): 错误列表 phase=upstream 过滤生效,守卫豁免改为显式 opt-in
- fix(ops): 错误列表用户列回退显示已删除 KEY 所有者
- fix(usage): 错误请求状态码排序对齐展示/过滤,筛选项改固定常用码
 2026-07-03 23:02:27 +08:00
jjaw f3a3a0869d 优化并发槽位清理 2026-07-03 21:02:31 +08:00
Wesley Liddick 87dfc66132 Merge pull request #3659 from jianjianai/fix/ops-realtime-stats-performance 
fix: 优化运维实时账号统计接口性能
 2026-07-03 10:45:24 +08:00
shaw a5638a4e54 fix: match Codex session imports by chatgpt_user_id before shared account id 
Members of the same ChatGPT team share chatgpt_account_id, so matching
imports by the account key first could overwrite another member's
account credentials. Identity keys are now ordered by strength
(user > email > access > account), and an account-key hit is rejected
when both sides carry different chatgpt_user_id values.

- Keep the account-key fallback when either side lacks a user id, so
  legacy accounts without chatgpt_user_id are updated and backfilled
  instead of duplicated
- Index all candidate accounts per shared key so a teammate's row can
  no longer shadow a legacy account depending on row order
- Apply the same conflict check to in-batch dedup and emit a warning
  when a legacy account is claimed via the shared account key
- Scope a 120s timeout to the Codex session import request instead of
  raising the global client timeout
 2026-07-03 10:13:51 +08:00
jianjian 3f2ef60468 fix: optimize ops realtime account stats 2026-07-02 20:04:47 +00:00
Wesley Liddick 3020652fa1 Merge pull request #3565 from zy6p/zy6p/pr-openai-ws-http-bridge 
feat(openai-ws): 支持 http_bridge ingress 模式
 2026-07-02 17:40:32 +08:00
Wesley Liddick 821399ade1 Merge pull request #3622 from deqiying/feat/subscription-revoke-restore 
支持恢复已撤销订阅
 2026-07-02 17:34:20 +08:00
shaw 11a3da65c0 fix(group): harden peak-rate config handling and label peak windows with server timezone 
Follow-up fixes to #3569 based on code audit:

- Expose server_timezone / server_utc_offset in public settings (and the
  __APP_CONFIG__ injection payload) and label every peak-window display
  with the server UTC offset, so users don't misread the billing window
  as browser-local time
- Unify CreateGroup/UpdateGroup peak-config sanitization via a single
  NormalizePeakRateConfig chokepoint: non-subscription groups always get
  peak fields cleared; unparseable window strings and negative
  multipliers are scrubbed when peak is disabled
- Replace hot-path time.Parse in PeakMultiplierAt with a manual HH:MM
  parser (accept set verified byte-for-byte identical to
  time.Parse("15:04") by exhaustive fuzzing) and reuse it in validation
- Revert the zero-behavior CalculateCost indirection churn in
  billing_service/gateway_service introduced by #3569
- Remove dead GetGroupPlatformMap and the duplicate deref helper in the
  admin handler package
- Share frontend peak formatting via utils/peak-rate.ts, unify the ×N
  label format, and move hardcoded Chinese tooltips to i18n keys
 2026-07-02 16:11:07 +08:00
Bestony@Homelab 089a7b7fae feat(keys): add api key concurrency stats 2026-07-02 15:58:29 +08:00
Wesley Liddick a632cb0050 Merge pull request #3569 from xueshiji/main 
feat(group): 订阅分组新增可选的高峰时段倍率，以支持智谱等coding plan的高峰时段
 2026-07-02 14:55:34 +08:00
deqiying b26dcc3da2 feat(subscription): 支持恢复已撤销订阅 2026-07-01 22:19:21 +08:00
Wesley Liddick 5eb9da9c93 Merge pull request #3593 from heathermhuang/codex/grok-media-routing 
fix: route Grok media endpoints
 2026-07-01 17:49:27 +08:00