您好,
我使用 NVIDIA NIM API(integrate.api.nvidia.com/v1)作为 AI 编程助手 hermes 的底层模型提供商,默认模型为 meta/llama-3.1-70b-instruct。
使用场景与现状:
- 使用场景:AI 编程助手的实时对话与代码生成(个人开发/测试用途)
- 当前限制:40 RPM
- 实际瓶颈:AI 编程助手涉及多轮对话+工具调用,单次会话可能连续发起多个请求,40 RPM 在深度交互场景中频繁触发 429 限流,中断工作流
- 用户体验:限流导致对话中断,需要等待 1-2 分钟恢复,严重影响开发连续性
因此申请将当前 40 RPM 提升至 200 RPM。
账号信息:
- NVIDIA 注册邮箱:[mrxubing@qq.com]
- API Key(末4位用于核对):c3ba、及acd3
- 使用范围:个人非商业开发/测试
我已阅读并遵守 NVIDIA API 使用协议。
感谢审核!