Papers With Code 背后的团队一直在致力于一项新的免费服务 sotabench，它可以直接从 GitHub 进行基准测试。sotabench 的任务是对每个开源机器学习模型进行基准测试和绘制地图。该团队从具有代码的论文中收集他们的代码和结果，但是他们发现难以判断这些代码是否足以达到他们声称的目的，这就是他们创建 sotabench 的原因。该团队日前在 Reddit 上发帖表示希望 sotabench 将有助于从业人员和研究人员找到高质量的模型实现，并深入了解这些模型的准确性和模型的速度权衡。目前 sotabench 已经过了一些基准测试，现已开放给所有人免费添加基准测试并连接其存储库。