Auriko

Auriko将大型语言模型（LLM）提供商视为交易场所，并通过套利来获取利润。这个由前量化交易员打造的成本套利引擎，会根据每个用户的请求模式进行调整，选择最优的推理路径。这些路径会基于代币价格、缓存行为、延迟、可靠性和请求质量等因素进行优化。Auriko的基准测试显示，与行业同行和直接提供商相比，平均可以降低30%的成本。想了解更多，可以查看来源网站：https://www.auriko.ai/reports/llm-cost-arbitrage