The Decoder· Maximilian Schreiner·· 2 小时前AI 评分53
CloudOpsBench 1.0 开源基准测试云端 DevOps 智能体能力
New open-source benchmark reveals reasoning as the biggest bottleneck for AI in cloud operations
AI 导读
CloudOpsBench 1.0 是一项用于测试 AI 智能体处理云端 DevOps 任务能力的开源基准，包含 AWS 上的 45 项任务。团队称，Claude Fable 5.1 完成了 60%，GPT-6 Astra 完成了 53%；约 80% 的失败与智能体误判任务范围、未检查相关服务或过早停止有关。
来源：The Decoder · the-decoder.com