- 主页：https://structured3d-dataset.org
- 论文：https://arxiv.org/abs/1908.00222
- 代码：https://github.com/bertjiazheng/Structured3D
论文：Structured3D: A Large Photo-realistic Dataset for Structured 3D Modeling
引言
在计算机视觉领域，全局、结构化的3D重建在近些年受到越来越多的关注。它能对场景提供更简洁而鲁棒的恢复与理解，在不同行业有许多潜在应用。这些结构（如下图所示）包含平面、线框、立方体、房间布局、房屋平面图、三维形状的线框和立方体的抽象表达等。
由于近年来数据驱动的方法如深度学习的迅猛发展，大规模高质量的数据显得尤为重要。然而由于标注成本高昂，之前的工作大多只标注自己感兴趣的结构，并且数据集的规模都比较小；另外，人工标注的质量也良莠不齐。以全景图的房间布局任务（room layout estimation）为例，目前常用的真实场景数据集如PanoContext和Stanford-2D-3D分别只含有几百张图片，并且均假设房间结构为立方体模型（即房间由六面墙构成，且墙与墙之间相互垂直）。最新的一篇CVPR'19的工作Realtor360提供了2.5k的真实场景数据（截止发稿时，该数据集尚未公开）。所以，如何利用合成数据来自动生成大规模标注引起了研究人员的兴趣。
Structured3D Dataset
三维房屋设计模型对比：(a)为酷家乐的模型库，(b)为SUNCG的模型。
我们基于酷家乐专业的房屋设计解决方案，如上图(a)所示。我们利用机器自动提取房间结构，包括: 线段(line segment)、交点(junction)、平面(plane)这些型元(primitive)，和他们之间的关系(relationship)，满足立方体(cuboid)和曼哈顿世界假设(Manhattan-world assumption)的平面集合，如下图所示。
3D结构我们选取了3500个不同场景，共计20k房间。我们利用酷家乐真实的渲染引擎，得到近两百万图像，以及相应的3D结构化标注，包括不同的装修配置，不同的光照，深度图，语义图。
2D渲染图
我们统计了我们数据集房间布局的统计信息，如下表，可见我们数据集房间布局更具多样性。
下面几张图展示了数据集提供的房间布局标注，从上到下，墙体逐渐增多，布局也逐渐复杂。
至于渲染引擎的真实与否，大家可以猜猜看下图哪列图像是渲染生成的，答案请移步论文查找。
真实和渲染图片对比
实验
合成数据对算法性能的影响
合成数据规模对算法性能的影响
随后我们探索了合成数据的规模对于算法性能的影响，我们分别用2.5k/5k/10k的合成数据作为预训练的合成数据集。实验表明，用更多的数据一般情况能够提升算法的性能。
