1Panel Version
v2.2.0-alpha.22
Please describe your needs or suggestions for improvements
现有AI网关用量统计仅按照【用户+服务商+模型名称】三个维度汇总Token消耗。
在生产使用场景里,针对同一个服务商、同一款模型,通常配置多个独立模型账号,依靠 AI 网关轮询策略实现负载分摊与接口容灾。
当前统计逻辑缺少账号粒度拆分,带来如下问题:
- 无法拆分单个模型账号的Token消耗,看不到各个账号实际流量分摊比例,难以校验轮询负载均衡的实际分发效果;
- 不能按独立账号核算调用成本,精细化对账、分账号成本核算无法落地;
Please describe the solution you suggest
希望 AI网关-用量统计 能够增加 模型账号 的维度,根据模型账号去做用量的区分,否则在模型相同,供应商相同,模型名称相同的情况下,看不到各账号实际轮询分摊效果。
Additional Information
No response
1Panel Version
v2.2.0-alpha.22
Please describe your needs or suggestions for improvements
现有AI网关用量统计仅按照【用户+服务商+模型名称】三个维度汇总Token消耗。
在生产使用场景里,针对同一个服务商、同一款模型,通常配置多个独立模型账号,依靠 AI 网关轮询策略实现负载分摊与接口容灾。
当前统计逻辑缺少账号粒度拆分,带来如下问题:
Please describe the solution you suggest
希望 AI网关-用量统计 能够增加 模型账号 的维度,根据模型账号去做用量的区分,否则在模型相同,供应商相同,模型名称相同的情况下,看不到各账号实际轮询分摊效果。
Additional Information
No response