麻省理工大学的研究人员收集了一个大规模偏差控制的数据集—ObjectNet，用于通过对象背景，旋转和成像视点是随机的控件进行对象识别。大多数科学实验都有控件，这些控件已从数据中删除，以确保受试者无法通过利用数据中的琐碎相关性来执行任务。从历史上看，大型机器学习和计算机视觉数据集缺乏这种控制，这导致必须针对新数据集对模型进行微调，并且在数据集上的性能要优于实际应用程序。在ObjectNet上进行测试时，由于对偏差的控制，对象检测器的性能相对于其他基准性能下降了40-45％。研究人员开发了一个高度自动化的平台，该平台可以通过众包图像捕获和注释来收集带有控件的数据集。 ObjectNet与ImageNet测试集的大小相同（约有50,000张图像），并且在设计上并未与训练集配对以鼓励通用化。尽管在研究中他们专注于对象识别，但是可以在整个机器学习过程中使用自动化工具大规模地收集带有控件的数据，以生成以新方式行使模型的数据集，从而为研究人员提供有价值的反馈。这项工作为研究通用性、鲁棒性和更人性化的计算机视觉开辟了新途径，并为创建结果可预测实际性能的数据集开辟了新途径。