Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

Xtreme1 新版本 v0.5.5发布! 新增本体中心&数据可视化

Xtreme1 经过了 10 周的打磨,已于 12 月 26 日正式发布 0.5.5 版本!

在 Data-centric AI 中,提高数据质量、找到模型的问题并且快速修正错误才是提升模型性能的最有效方法。

0.5.5 版本数据的可视化功能,图片数据可以基于向量维度来展示数据的分布情况,算法工程师可以直观地找出数据类型的缺失。

而对 3D 点云数据的治理,一直是算法工程师的难题,例如读取各种不同的点云文件格式,配置复杂的点云和相机融合数据参数,然后进行原始数据的预览,标注结果的展示以及同一个数据集在不同模型和 Ground-truth 值的对比,最终修改数据的错误而提升模型的表现。数据的质量才是算法质量的关键。

第一图

通过Ontology Center中的标签筛选出跨数据集的标注目标

  1. 新增全局的Ontology Center(本体中心)

开源版本增加了 Ontology center(本体中心),这样用户可以在全局设置自己的实体标签或增加各种模版库。并且在 Dataset(数据集)中配置时,可以直接复用已经配置好的实体。

交互界面的改动优化了配置标签和属性的便捷性。

第二图



例如在有些规则中,实体很多,但是它们的属性却是相同或相似时,可以通过此操作来快速设置:

只需完整创建 Car 的内容后,一键 Push to all,其他 Class 的 Attribute 均可获取到相同的属性。


第三图


2. 新增的数据可视化功能

2.1 新增 Ontology center 场景搜索功能

· 在数据集里直观地显示数据和标注结果

· 通过标签搜索,找到感兴趣的场景

· 发现错误和重复的数据,直接进入标注页面进行修改


第四图


如开头介绍的,3D 点云数据也同样支持在数据集界面里,直接快速查看标注数据的结果。3D 向量抽象数据的的功能也会在之后的版本中推出。

· Relate To 功能,即关联实体的功能

关联实体的功能可以确保通过实体之间的关系来更好的运用数据。

当我们的数据集众多时,每个数据集中的实体的命名经常出现不一致的情况,但是它们中有些确实在表达相同或是近似的含义。例如在数据相对复杂的自动驾驶场景中,常见的“卡车”标签会被命名为“Truck”,但有的数据集会细分为“Pickup_Truck”,“Semi-Truck”, “Garbage_Truck”等。在通过“Truck”的名字来搜寻跨数据集的实体和结果时,很容易丢失掉已有的数据。再举一个简单的例子,“dog”和“cat”的实体,在数据集里可能只需要以“Animal”的标签而归为一类。


2.2 新增数据集总览

通过图表,统计数据集标注的完成状态和标签的数量。


第五图


数据重复的问题,并且发现数据类型分布不均匀时,可以快速找到方向,继续填补缺失的数据类型。


在一个区域中,距离很近的点说明附近图片相似度很高。如果很稀疏,则表明此类的数据数量有缺失,如果模型的效果不佳,可以通过再增加采集这类的数据的数量,继续进行数据的标注并灌入模型中。这样通过丰富数据来提高模型的表现。


第六图


从技术上,Xtreme1是采用PyTorch框架并经过预训练的MobileNetV3 small模型,它将图片转化为向量。然后应用了openTSNE通过把高维数据压缩到2维空间上来评估算法的有效性,进行向量可视化。


3. 开放API

Xtreme1 开放了核心数据管理的 API,包括数据集的上传和下载、标注结果的上传和下载、模型自动识别等,以便开发者将 Xtreme1 和上下游产品进行集成。

开放 API 采用主流的 Bearer Token 认证方式,首先在 API Token 管理页生成一个 Token,然后在调用 API 时通过Authorization 头将该 Token 传递给 API 服务器。

代码

详见Docs的开发者指南章节。

  1. S. 全新 Xtreme1 文档正式上线 docs.xtreme1.io。


参考文献

[1] Searching for MobileNetV3: https://arxiv.org/abs/1905.02244

[2] openTSNE: https://github.com/pavlin-policar/openTSNE

[3] Visualizing data using t-SNE: Maaten L, Hinton G. Visualizing data using t-SNE[J]. Journal of machine learning research, 2008, 9(Nov): 2579-2605

[4] openTSNE: Extensible, parallel implementations of t-SNE: https://opentsne.readthedocs.io/en/latest/


如果大家对 Xtreme1 感兴趣,欢迎关注 GitHub Repo:https://github.com/xtreme1-io/xtreme1/如果您遇到了一些问题,欢迎在交流群讨论或者通过提 issue 的方式告诉我们,我们一定会帮到您。


产业
暂无评论
暂无评论~