ReliAPI

与普通的API代理不同，ReliAPI专门为大型语言模型（LLM）API（如OpenAI、Anthropic和Mistral）以及HTTP API而设计。它的主要特点包括：

· 智能缓存：可以将成本降低50%到80%。

· 幂等性：防止重复收费。

· 预算上限：拒绝高额请求。

· 自动重试：采用指数回退和熔断机制。

· 实时成本跟踪：可以监控LLM调用的费用。

· 兼容多种API：支持OpenAI、Anthropic、Mistral及HTTP API。

· 理解LLM面临的挑战：例如令牌成本、流媒体和速率限制。

可通过RapidAPI使用该服务。