APIEval-20

APIEval-20 是一个用于 API 测试代理的黑箱基准测试。每个代理只获得一个 JSON 架构和一个示例负载，然后生成一个测试套件。我们会将这些测试在带有故障的实际参考 API 上运行，并对故障检测、API 覆盖率和效率进行评分。与基于大型语言模型的评估不同，这里的评分完全客观：要么发现了 bug，要么没有。测试任务涵盖了身份验证、错误处理、分页、架构以及多步骤流程等方面。该项目在 Hugging Face 上公开。