telemetry.dev

telemetry.dev 将您每次运行的 AI 代理视为一个追踪（trace）。每次模型调用和工具调用都是一个跨度（span），记录了它的持续时间、使用的令牌数、成本和错误信息。提示（prompts）和评估（evals）使用相同的追踪：您可以在不进行部署的情况下更改提示，然后在数据集上运行它，并将得分与生产环境中的得分进行比较。警报功能会通知您错误、成本激增和代理循环的问题。您可以通过我们的 TypeScript 或 Python SDK 进行连接，或者使用您已经在用的 OpenTelemetry 导出器。